冯玉祥以辞副委员长相劝蒋介石同意红军编3个师。蒋介石深知不同意共产党的整编方案，红军上不了前线，自己罪责难逃；给了红军番号，让其名正言顺地抗日又无异于放虎归山。在内外压力下，蒋介石表面答应给红军番号尽快让其改编，可肚子里仍然盘算着如何消灭共产党。谈判伊始，国民党军政委员会部长黄绍竑和副参谋长白崇禧提出“黄白案”：八路军以2个师由渭南上车，经风陵渡、同蒲路至代县附近下车，到蔚县一带集中。另一师沿陇海路转平汉路，在徐水下车，到冀东玉田、遵化一带，开展游击战争。毛泽东看后轻蔑地一笑：“胃口不小啊，他们这是想吃掉我的整个红军啊！” “黄白案”遭到拒绝。谈判再被搁置。
8月13日，日军大举进攻上海。一直断尾求生的蒋介石有点恐慌了。“九一八事变”后，东北、华北喂不饱侵略者，这次日本直掐咽喉。江浙是蒋介石发家之地，也是英美等国在华重要利益所在地，非东北、华北可比。如今日本人打上海，要抄老家、断后路了。蒋介石再三权衡后，终于放弃了“收编”的企图，国共会谈出现了转机。蒋介石在调动国军淞沪会战的同时，同意“三八协议”。红军整编后的番号是桂系空出的第八路军，3个师的番号则是吃败仗被撤销的东北军115、120、129师。
8月25日，中共中央军委宣布红军改编为八路军，设总指挥部，朱德、彭德怀任正副总指挥。115师师长林彪，120师师长贺龙，129师师长刘伯承，全军编制4.5万人。为加强党对军队的绝对领导，成立前方军委分会，以朱德、彭德怀为正副书记。军委强调：“各师改编为国民革命军后，必须加强党的领导，保持和发扬十年斗争的光荣传统，坚决执行党中央与军委会的命令，保证红军在改编后成为共产党的党军，为党的路线及政策而斗争，完成中国革命之伟大使命。”
中共中央在针对八路军领导权的同时，对新四军整编中的领导权也同样重视。叶挺担任军长的过程和新四军番号的由来就说明了这一点。
广州起义失败后，叶挺流亡国外，“九一八事变”后到澳门居住。“七七事变”后，他结束流亡回到国内。“八一三事变”后，叶挺向蒋介石提出为了抵抗日本侵略，“让我来集合仍留在南方的红军和改编这些军队”的建议，并说改编后番号叫“新四军”。蒋介石接受了叶挺的建议，番号则得到了国共两党的认可。蒋介石认可“新四军”，是他任总司令的北伐军中有个第四军。毛泽东认可“新四军”，是他创建人民军队的第一个军是红四军。第一次国共合作北伐，北伐的8个军中第四军共产党员最多、战斗力最强。共产党员叶挺任第四军直属独立团团长。1926年8月下旬，在进攻湖北重镇汀泗桥和贺胜桥战役中，面对吴佩孚3万余精锐主力，叶挺独立团的2000多名勇士勇猛血战。1927年1月15日，武汉的粤侨联欢社将精心铸造的一巨型铁盾赠送给第四军将士。该盾正面中央铸有“铁军”两个竖写的大字，铁盾右上方题“国民革命军第四军全体同志伟鉴”。 因铁军“独负盛名、战绩辉煌”，朱德、毛泽东井冈山会师后的第一支部队合编为“中国工农革命军第四军”，成为中共第一军。叶挺提议把红军游击队改编为新四军，就是希望继承“铁军”和红四军的优良传统。
