此后，彭雪枫便在竹沟设立中共河南省委军事部，正式以部长的身份肩负起中共中央长江局赋予他的光荣使命。9月中旬，毛泽东向河南省委通报“开封失守，豫东沦陷”后的情况，同时令彭雪枫“先行开展敌后抗日游击战争”。根据毛泽东的指示，彭雪枫“以新四军游击支队名义”，于9月30日率部在竹沟誓师东征。
次年春，挺进敌后的新四军游击支队住在豫东小镇书案店。时至春荒严重，群众缺粮断炊，部队经费困难靠野菜生活。彭雪枫忍痛割爱，卖掉了直属队包括自己心爱的战马在内的所有马匹，为战士们解决吃饭问题，救济断炊的贫困群众。书案店的群众在镇西门为彭雪枫建一座纪念碑，两侧刻着一副对联：“救民涂炭恩泽同山河并寿，益国磐石功勋共日月齐光”，横批：“民族长城”。
在淮北抗战的日子里，彭雪枫多次通过电、信与毛泽东传递交流各方面的讯息，为建立豫皖苏抗日根据地，壮大抗日武装建言献策。在6年多的艰苦奋战中，彭雪枫将中原抗日武装部队由300余人发展到3万余人，进行大小战斗2700多次，累计歼敌4.8万余人。淮北根据地从一块到多块，从小块到大块，成为拥有30余县、面积2万多平方公里的全国19个着名的抗日民主根据地之一。
毛泽东对彭雪枫的工作非常满意，于1939年12月30日和1940年4月29日、5月17日接连发出三次贺电、贺信，嘉奖彭雪枫快速发展豫皖苏抗日根据地所取得的战果。
