4月2日，高敬亭在潜山县桃岭头(今属岳西县温泉镇)巧设埋伏，全歼了两个营的尾追之敌。胜利地粉碎了敌人的“三个月清剿”的计划。同时，红二十八军及地方党组织在鄂豫皖边区的20多个县建立了80多支便衣队。红军便衣队是党政军二位一体的武装工作队，是秘密苏维埃，是不穿军装的红军，便衣队是鄂豫皖红军的一个重大创举，是高敬亭领导大别山游击战争胜利的一个重要法宝。
在大别山的3年游击战争中，高敬亭指挥红二十八军转战3省45个县，南临长江，北越淮河，牵制了国民党正规军30至68个团，成建制地歼敌18个整营和25个整连，共约50000多人，为掩护和策应主力红军的长征以及其他地区的游击战争作出了重大的贡献。
1937年7月13日，高敬亭与中共皖鄂特委书记何耀榜，根据中共中央的指示，毅然决定与国民党鄂豫皖边区督办公署进行停止内战，共同抗日的谈判，史称“岳西谈判”。谈判历时13天，分为南田接触，衙前初议，青天谈判，九河签字，土门集中五个阶段，最终达成协议。7月28日，高敬亭化名李守义以红二十军政治部主任的身份，前往和平九河亲自参加和谈签字仪式。这次谈判是在统一战线尚未建立之前进行的，在南方8省14支游击队中，最早同国民党进行谈判，并达成协议的成功谈判。
1937年12月25日，叶挺、项英在武汉召开新四军军部成立大会。12月27日，高敬亭应召赴汉口八路军办事处，参加中共中央长江局召开的关于部队改编的会议。会上，周恩来副主席对红二十八军和鄂豫皖根据地人民在十分艰苦的条件下坚持敌后斗争的功绩，给予了高度评价，表彰了他们为中国革命事业做出的重大贡献。周恩来代表中共中央宣布鄂豫皖红二十八军和鄂豫边桐柏山红军游击队合编为新四军第四支队，由高敬亭担任第四支队司令员。当时，红二十八军是南方8省14个游击区中保存人枪最多的部队，高敬亭对人事安排有看法，对项英等个别领导人心存不满，但他还是服从了组织的决定。1938年2月中旬，红二十八军在七里坪改编成为新四军四支队，高敬亭任司令员兼政委、参谋长林维先、政治部主任萧望东(后来是戴季英)后勤部主任吴先云。四支队下辖支队部、七团、八团、九团和手枪团共3100余人，是新四军4个支队中建制最整齐、人数最多、装备最强的支队。
1938年春，日军第六师团坂井支队从芜湖北渡长江，先后占领和县、含山、巢县，国民党第五战区的第二十一、二十七集团军闻风丧胆，向西撤退，地方政权垮台，百姓四处逃难，华北战局处子危急之中。高敬亭正在生病期间，立即率手枪团和后方机关偕已有身孕的夫人来到舒城西港冲指挥部队作战。四支队迅速展开，七团、八团进驻无为地区，九团、支队部进驻巢县地区，手枪团、后方机关也积极寻找战机，伺机打击日军。日军攻占巢县后，除留下守备队，主力继续向合肥进攻。巢县守备队经常派小队日军下乡抢掠，巢县城东南5公里蒋家河口是敌人乘船常去的地方。高敬亭利用该地河道纵横，芦苇丛生，地形复杂的堤埂设伏，打了一个大胜仗。5月12日上午8时许，日军20余人乘船进犯蒋家河口。四支队九团二营伏击部队以密集的火力射向敌船，打了敌人一个措手不及。经20分钟激战，共毙日军20余人，缴枪数十支。5月25日，《新华日报》刊登了胜利消息，蒋介石也于5月16日致电叶挺军长：“蒋家河口出奇挫敌，殊堪嘉慰。希望继续努力为要。”四支队打响了新四军对日抗战的第一枪。
为了配合正面战场作战，高敬亭指挥四支队在安庆至合肥、合肥至六安公路两侧，专事伏击日军运输车队。从6月至10月，四支队先后在舒城县、桐城县、潜山县、怀宁县取得大关、小关、范家岗、椿树岭、棋盘岭、铁树岭、三十里岗、运槽等大小60余次战斗的胜利，歼灭日、伪军1400多人，缴获了大批的枪支、弹药，击毁敌军车150多辆。狠狠地打击了日本侵略者的嚣张气焰，大大地鼓舞了人民群众的抗日斗志。四支队在打击日军的同时，还积极打击汉奸土匪武装，维护社会治安，保护人民群众的利益。七团先后歼灭无为石涧埠、巢湖姥山等地的汉奸土匪武装数百人。八团消灭庐江的土杂武装吴可庄部200多人。手枪团围歼舒城土匪武装300余人，并活捉匪首，为民除了害。四支队的抗日活动，迅速打开了皖中的抗日局面，建立了背靠大别山以舒城为中心的皖中抗日根据地.为以后建立皖江抗石根据地奠定了基础。在敌后军民抗日热情高涨的情况下，高敬亭领导的四支队先后组建了东北抗日挺进纵队、淮南抗日游击纵队和游击第二纵队，部队发展壮大到近万人。
