两个方面军会师后，中央确定继续北上的战略方针。他在担任中革军委副主席后，又再次以“统一指挥”等为借口，写信向中央要权，消极对待北上的方针。中央考虑到两大主力红军的团结，并为促使四方面军北上，于7月18日，在芦花召开中央政治局常务扩大会议，同意他担任红军总政委，并让陈昌浩担任军委常委。
由于他的一再拖宕，以致让胡宗南部得以集结扼守松潘，红军决难由松潘而入甘南，只得从自然条件极端恶劣的大草地北上。8月3日，红军总部将两个方面军混编为左右路军，继续执行北上的方针。总司令朱德、总政委张国焘和总参谋长刘伯承随左路军行动。
当右路军终于走出荒无人烟的草地，并打开红军北上向甘南进军的门户时，他的南下主张非但丝毫未变，而且越发的无所顾忌。
正在此时，中共驻共产国际代表林育英由苏联回国到达陕北。1936年1月24日，林育英以共产国际代表的身份致电张国焘：“共产国际派我来解决一、四方面军的问题，我已会着毛泽东同志，询问一、四方面军通电甚少，国际甚望与一、三军团建立直接的关系。”
得此电文后，他的心情是复杂的，与毛泽东所各执一词的“北上南下”之争，终于等来了可以裁判的关键人物。细细揣度，建党初期，他便和林育英在武汉出生入死，这种私交旧谊，林育英总不会淡然处之，无动于衷。想到此，他胸有成竹地回复一封长长的电文，将“分裂党和红军”责任，完全推给中央的“北上”路线。这封电文还是以中央的名义发出的，其用意无非是求得林育英的承认或默许。林育英接电后即复电说：“共产国际完全同意中国党的政治路线，”“中央红军的万里长征是胜利了。”并说：“兄处可即成立西南局直属代表团。”
读着态度如此鲜明的电文，他仍然不甘心，又给林育英去电：“浩兄：是否允许你来电自由?”怀疑林育英已失却自由，其阴暗的心理可见一斑。此时，中央政治局通过《关于张国焘同志成立第二“中央”的决定》，电令“张国焘立刻取消他的一切‘中央’”。自分裂活动以来，一直遭到朱德、徐向前等的反对，中央的决定和国际代表的态度，更使张国焘茕茕孑立，形影相吊了。
1936年6月6日，张国焘在炉霍宣布取消第二“中央”。7月，红二方面军与红四方面军在甘孜会师。会师后，中共中央批准成立西北局，任命张国焘为书记，任弼时为副书记。这期间，毛泽东频频去电张国焘，反复强调：“对过去争论一概不谈”，“中央内部的团结一致，是我们战胜敌人的必要条件”，“等待国焘同志等北上商讨一切”。“我们一、四两方面军合则力厚，分则力薄”。他再没有理由拒绝中央的指示，不得不下达北上的命令。10月，红一、二、四方面军在甘肃会宁胜利会师，至此，南下分裂主义错误彻底破产。
