彭绍辉知道事态严重，便与一些同志连夜出发，去赶中央红军。那天晚上，一片漆黑，伸手不见五指。走了三四个小时，在上包座附近，彭绍辉他们被红四方面军总政委陈昌浩发现。陈昌浩将他们堵在路上，训斥了一顿，随后，把他们带到红四方面军总部附近的一间房子里住下。彭绍辉一连两夜睡不着觉，在床上写了一封长信，向朱德报告情况，托红九军团一个同志代为转呈。不料，此信竟落到了张国焘手中。张国焘十分恼怒，派人通知彭绍辉去谈话。
彭绍辉从未见过张国焘。他走进屋，看到朱德等很多人在开会，正想给朱德总司令敬礼，不料此时，坐在旁边的一个人蓦地站起来，将彭绍辉劈头盖脸地痛骂了一顿，并严厉责问他见了张(国焘)主席为何不敬礼，为什么反对南下和反对张主席，反对成立新中央。说着，竟然掏出驳壳枪，推上子弹，把枪口顶在彭绍辉的胸膛上。在这紧急时刻，朱德几步赶上，夺过驳壳枪，厉声说道：“同志，这是党内斗争!”那人见朱德下了他的枪，便抡起手给了彭绍辉一个嘴巴。朱德十分气愤：“打人是不对的，这是党内斗争，应该允许同志讲话。”而张国焘则若无其事地坐在那里，一言不发。朱德又说：“这样谈话怎么行呢?”然后亲切地对彭绍辉说：“你回去吧!”彭绍辉后来回忆起这段往事时感慨地说：“我的命是朱总司令从枪口下抢下来的。”
不久，一批反对张国焘的红军将领被剥夺了对部队的指挥权，彭绍辉被调到红四方面军红军大学去当政治科长。1936年7月，红四方面军与红二方面军在四川甘孜地区会师。会合后，在朱德、任弼时、贺龙、关向应、刘伯承等人的斗争和红四方面军指战员的要求下，张国焘被迫放弃反对党中央的活动，同意与红二方面军共同北上。于是，彭绍辉又跟随部队第三次爬雪山过草地，重新经受严寒、饥饿和死亡的考验。
同年8月，彭绍辉在朱德和贺龙的过问下，调任红二方面军第六军团参谋长(军团长陈伯钧、政委王震)。
抗日战争爆发后，红二方面军编为国民革命军第八路军第一二〇师。1939年3月，彭绍辉调任第一二〇师第三五八旅旅长，回到晋西北，创建根据地。
1939年冬至翌年春，国民党顽固派发动了第一次反共高潮。三五八旅被调到北线，改为晋绥独立二旅，彭绍辉仍任旅长。1940年九十月间独立二旅参加了百团大战。11月，晋西北成立军区和军分区，彭绍辉兼任第二军分区司令员。此后一年多时间里，彭绍辉率部参加了数次反“扫荡”战役。
1943年3月，彭绍辉调任抗大总校副校长。年底以后，改任抗大七分校校长。彭绍辉的军事生涯似乎与军事院校有着不解之缘，因而被人称为“校长将军”。
1945年，彭绍辉到延安参加中共七大。开会前夕，毛泽东听说他到了延安，就邀他见面。彭绍辉非常激动，立即前往毛泽东的枣园住地。见面后，毛泽东很高兴，用他那浓重的湖南口音招呼道：“绍辉同志，你是湘潭瓦子坪的人呀!我们是老乡啊。你是个放牛娃出身，我记得我们在老家见过面。”听到湖南话，彭绍辉感到非常亲切，忙答道：“主席，是的。我第一次见你，是在1927年1月10日。那时候，你回到韶山考察农民运动。”见彭绍辉提到早年的事情，毛泽东很高兴：“呵呵，绍辉同志，你的记性不错嘛!”听到毛泽东的表扬，彭绍辉略显得羞涩：“主席，那时候能见到你不容易。这样的好日子是不会忘记的。再说，主席，不瞒你说，我有个习惯，每天都记日记。”毛泽东很是欣赏地说：“你这个习惯好，将来革命成功后，你这些日记本都要献给新中国。”接着，又问了抗大分校的一些情况，彭绍辉详尽地作了汇报。
当彭绍辉介绍抗大七分校的情况，说该校是陕甘宁晋绥、晋察冀和太行3个单位抽人组建起来的，编为3个大队，共有3000多人，教职员工700余人时，毛泽东饶有兴趣地说：“孔夫子是‘弟子三千，七十二贤人’，你比孔夫子还高明啊!”他接着问：“学校是怎么办起来的?”彭绍辉回答：“领了30万边区银行的票子、1000把锄头、2000把镰刀，开赴豹子川、平定川、大风川扎下营来，就这样学校就办了起来。响应主席的号召：组织起来，自己动手，开荒生产，丰衣足食，积蓄力量，准备胜利。”毛泽东笑了：“哦，我这几句话成了你们的办校方针啦!”彭绍辉说：“是啊!我们上的第一课是搭茅棚;第二课是挖窑洞;第三课是开荒;第四课是播种、修理房屋。”
