为了糊口，他只有凭自己念过四书五经的能耐，刻苦攻读“相命书”，为他人卜卦算命。
次年，驻扎在天津的淮军聂士成部，因在四年前的中日甲午战争中伤亡惨重，奉命招兵，扩充队伍。曾经在家乡当过水师营学兵的吴佩孚，决定投笔从戎，到天津应征入伍，从此踏上军旅生涯。
无论是吴佩孚本人或是翁氏都没有想到，烟馆“雅间”的一脚会踹出日后的一个手握重兵，叱咤风云的大军阀。
谍战中初露锋芒吴佩孚虽当过学兵只不过是混点饭钱，实乃一文弱书生，初人聂部常因军训动作不合格，被教官惩罚示众，而吴佩孚又总是保持沉默寡言，所以大家都称他“吴傻子”。
上司只好让他当了个勤务兵，在军中听差。一日，吴佩孚为巡警营幕僚郭梁丞送一份公文，发现郭错用了一个典故，郭才得知吴佩孚是个秀才，遂与吴佩孚结为把兄弟，并时常把吴佩孚叫到家里吃饭。
在郭梁丞的极力保荐下，1902年9月吴佩孚进入保定陆军速成学堂测量科学习。一年后，以优等成绩毕业，任北洋督练公所参谋处中尉，正式成为北洋系的一员。
1904年2月，争夺我国东北地区控制权的日俄战争爆发了。清政府陷入了若“附俄则日以海军扰我东南，附日则俄分陆军扰我西北”的外交困境忧虑之中。为打破俄国独占东北局面，维护东北主权，国势衰微的清政府，表面保持中立的态度，暗地里却联日拒俄，为日军提供情报帮助。
日俄战争前夕，在日驻华军事顾问、近代间谍战鼻祖青木的主持下，从北洋督练公所中选拔出包括吴佩孚在内的16个能干得力的青年军官，与31名日本情报人员秘密组成中日混合侦探谍报队，由日军守田利远少佐带领渡海分别到旅顺、大连等地刺探俄军军事活动情报，尤其是俄国东方舰队的实力情况。
在执行此次任务中，吴佩孚给人的印象是“温和良顺，举动不苟;交人圆和而不露圭角;任事处变而不急近功和不邀虚名;所自信以为是者，则行之以渐……”因此给他起了个绰号叫“总有法子先生”。
吴佩孚出色的情报工作才能，深受守田的青睐。守田奖赏吴佩孚500大洋，并破例准假一周让吴佩孚骑着自己的坐骑回家探亲。
日俄双方开战不久，2、3月份海军对盘踞在旅顺口的俄国舰队进行攻击，遭到猛烈还击，久攻不下。主帅东乡平八郎决定对俄国舰队实行封锁战(闭塞战)。
由于俄军设立多道防线，船只没能自沉在指定海区对俄海军实施封锁，导致日军遭到重创。吴佩孚建议用多只普通渔船日夜不停地对俄舰队进行骚扰、试探，趁其麻痹之际，把日军情报船混在渔船中送到海上阵地，港内各舰阵位信息成功地反馈到指挥舰，为日军歼灭俄国远东海军残余，以及陆上要塞决战作出了贡献。
10 月，已荣升为上尉的吴佩孚奉命携带重要情报到奉天(今沈阳)附近的新民屯参加秘密会议，途中被俄军以“间谍”之名逮捕。吴佩孚拒不承认自己谍报员身份，在押往哈尔滨途中跳车逃脱。
1905年9月，日俄战争以沙俄惨败告终。吴佩孚因屡次立功，赠其六等“单光旭日勋章”一枚。在历时一年有余的日俄战争谍报工作中，吴佩孚初露锋芒，可视其为日后吴氏跃为北洋之星的端倪。
识曹锟，北洋之星冉冉升起吴佩孚在以间谍身份出色完成了其一生当中的第一次重大军务后，被派到北洋陆军主力第三镇，从此与日后为民国八大总统之一的曹锟结下了不解之缘。
1906 年春，吴佩孚在第三镇步队十一标第一营任督队官(营副)，不久被保荐到天津讲武堂进行短期培训，毕业后回到原所在营部升为管带(营长)。翌年，曹锟成了第三镇的统制(师长)。
一次吴佩孚随曹锟驻防吉林时，曹锟要用东北地图，整个第三镇只有吴佩孚有一张在日俄战争时期自己绘制的东北地图，由此曹锟对吴佩孚开始有所关注。
