这一时期，谢富治紧跟张国焘。在“肃反”过程中，他常无端怀疑别人，整黑材料，审讯干部，惟张国焘之命是从。因此，鄂豫皖苏区许多干部被排挤、打击、降职，甚至杀害，但谢富治的职务却上升了，当上了红四方面军总政治部组织部长，主管干部工作，掌控人事大权。
当然，应该肯定的是，谢富治对红四方面军的发展壮大也是做出过贡献的。他参加了红四方面军建立以来的许多重要战役。在红四方面军反“围剿”的战斗中，他打过不少防守战和进攻战，成团成营地歼击过国民党军队;在随部队西进川陕开辟川陕苏区的过程中打了不少胜仗，四川军阀武装都怕他三分;在战斗中，他常身先士卒，与战士们同甘共苦，在部队遭受挫折时也善于做政治思想工作。
谢富治参加过长征。跟随张国焘，让他吃了不少苦头。在现实面前，他认识到张国焘搞的那一套不对头，因此他反对张国焘搞分裂、另立中央。
红军到达陕北后，中央清算了张国焘的分裂主义路线，但对他手下的干部还是团结和爱护的，谢富治也受到了中央的重视。抗日战争爆发后，红军进行整编，谢富治被任命为八路军三八五旅政委。
当时三八五旅的旅长是陈赓。应该说，谢富治与陈赓的合作是好的。许多重要战役都是他们二人共同商定后组织实施的。谢富治与陈赓一起，创造了许多发动群众、组织群众、武装群众好的办法。抗战八年，谢富治在太岳地区活动了八年，可以说，他为抗日战争的胜利和发展，壮大我军，是做出了贡献的。1945年9月，谢富治任晋冀鲁豫太岳纵队政治委员。重庆谈判期间，陈赓、谢富治正确地领会中央意图，发起上党战役，配合了重庆谈判。重庆谈判后不久，谢富治改任晋冀鲁豫军区第四纵队政委。1947年8月，中共中央军委在这个纵队基础上组建兵团。这就是名盛一时的“陈谢兵团”。陈谢兵团组建不久，就奉中央之命，挺进豫西，牵制并歼灭了大量国民党军队，有力地配合了刘邓大军挺进中原。1948年5月，谢富治任中原野战军第四纵队政委，成为刘伯承、邓小平麾下的一员战将。陈赓、谢富治还率部参加了淮海战役，立下赫赫战功。
