1935年3月初，根据党组织的指示，东北人民革命军第三军军长赵尚志在方正县境内某处与处于困境中的谢文东进行了会晤，并同时会晤了另一支抗日武装领导人李华堂。三方经协商一致同意在“不投降、不卖国、反日到底;没收敌伪财产充当抗日经费;保护群众利益，武装群众共同抗日，允许群众自由”三个条件下，成立东北反日联合军总指挥部，赵尚志为总指挥，李华堂为副总指挥，谢文东为军事委员长。
反日联合军刚刚组建就打了一场漂亮仗。3月9日，由东北人民革命军第三军、自卫队支队、民众救国军、义勇军明山队共四百五十余人组成的联军攻克了方正县城，击毙县警察署警察6人，俘虏1人，缴获枪械15支，并焚烧了日本参事官住宅。从此，以谢文东为首的民众救国军在共产党倡导的抗日统一战线的旗帜下重新发展起来。
1935年8月1日，中华苏维埃中央政府和中共中央发表《为抗日救国告全体同胞书》(“八一宣言”)。宣言呼吁：为反对日本灭亡中国，全国各党派、各阶层、各军队，应本着“兄弟阋于墙外御其侮”的精神，“为抗日救国的神圣事业而奋斗”。宣言提出，由红军、东北人民革命军和各种抗日义勇军共同组成抗日联军。“八一宣言”对东北抗日战争给予了高度评价，指出：“我东北数十万武装反日战士在杨靖宇、赵尚志、王德泰、李延禄、周保中、谢文东、吴义成、李华堂等民族英雄领导之下，前赴后继的英勇作战，在在都表现我民族救亡图存的伟大精神，在在都证明我民族抗日救国的必然胜利。”10月，“八一宣言”通过秘密渠道传达到东北各级党组织。
根据“八一宣言”的精神，11月，东北人民革命军第三军提议将东北反日联合军总指挥部改称为东北抗日联军总司令部并获准实行。次年2月由杨靖宇、王德泰、赵尚志、李延禄、周保中、谢文东等署名发表了《东北抗日联军统一建制宣言》，将东北各抗日军队、抗日武装改建为东北抗日联军第一至第六军以及抗日联军游击队。谢文东率领的东北反日民众救国军改编为抗日联军第六军，谢文东任军长。9月，第六军改称第八军，军长谢文东、副军长滕松柏、参谋长于世光，中共第五军党委派刘曙华任第八军政治部主任。
抗联第八军成立后，中共党组织派出政治工作人员在军中建立政治工作机构，并分别担任军、师政治部主任和团政治委员。政治工作者在部队建立中共党组织，发展新党员。同时，成立教导队，为部队培训基层军事政治骨干。到1937年6月，全军共有六个师，一千余人，活动在依兰、方正、延寿、勃利、桦川、富锦等县。
1937年9月，根据上级指示，抗联第四、五、七、八、十军以及另两支抗日武装组成东北抗日联军第二路军，周保中任总指挥。
