他使尽全身解数，也没有取得令戴笠满意的成效，而此时蒋介石又在戴笠的一份报告上批示：“凡是能叛变共产党的人，也会随时叛变我们。”戴笠的态度也就发生了很大的变化，明为给他派去秘书，实际是在监视他，他的专车也被取消。戴笠是这样的态度，军统特务更是瞧不起他，穿小鞋，找岔子、瞪白眼的事常有发生。他对友人说：“我是身家不清白的人。”
军统是待不下去了，他找到国民党中央组织部长朱家骅，谋了个国民参政员的头衔，可是，但逢国民参政会开会，不要说周恩来、董必武等共产党参政员不理睬他，就是其他党派的参政员也不愿和他接触，他只能一个人向隅而坐，孤独发愣。抗战胜利后，他又被安排到善后救济总署江西分署任署长，而江西省省长王陵基则是他的老对头，当年他在四方面军时，王陵基就曾吃过四方面军的不少败仗。如今张国焘落在他的手下，岂能让他轻松快活。他自知和这些军阀有理讲不清，便三十六计走为上计，主动辞职，来到上海。
转眼间，淮海战役、平津战役开始，国民党的败局已定，上层人士纷纷安排往台湾的退路，可张国焘并不在安排之列。1948年11月，他携全家秘密来到台湾。在台湾也不过一年的时间，他倍受冷遇，所赖以栖身的住处也被东南军政长官公署强行征占。台湾也无他的立足之地，他只得来到香港，另谋生路。
在香港，他与顾孟余等人发起“第三势力运动”，可又被顾孟余等排挤出局。走投无路的他，来到一家小报馆担任主笔，以写点评论的稿酬，养家糊口。在国际黄金市场价格上涨的利益驱动下，他以仅有的5000美元作为启动基金，做起了黄金的生意，谁知刚有点斩获，黄金价格就一路下滑，不仅分文未赚，而且血本无归，过起一贫如洗的生活。
在困境中，他想起了大陆。1955年，他通过香港友人向北京提出请求，想送次子去广州中山医学院读书。经周恩来批准，他的次子来广州读书，后成为医生，现在美国从医。中共八大召开时，他又通过这位友人向北京捎去想回大陆的信息，北京的回复很简单，只要公开承认错误，回大陆的门是敞开的。可他不愿认错，这扇门又被关上了。
就在他山穷水尽时，美国堪萨斯大学找上门来，让他撰写个人回忆录，并答应每月付给2000港元的研究费，他的日子这才有了起色。他废寝忘食地写着，终于完成这部百万字的著作，也就是《我的回忆》。1966年，香港《明报月刊》又买了他的版权，开始连载，并于1973年分三册出版，他由此赚了一笔稿酬。
文化大革命在大陆如狂飙兴起，美国驻香港的外交人员出于对中国文革内幕的神秘感，曾访问过他，他不排除西方人关于毛泽东发动文革是权力的考虑，但他主要认为，毛泽东发动文革是出于哲学的考虑。他认为，毛泽东有着超凡的政治魅力和能力，又是个出身于农民的社会主义者，对平等的诉求是与生俱来的，一旦发现自己所建立的政权违背了这种诉求，就一定要采取剧烈的非常规的行为。这大概就是毛泽东所说的反修防修。这是他的一家之言，笔者倒发现这些言论，多少与毛泽东自己所说有着惊人的相似之处。
他3个孩子，1个在美国，2个在加拿大。1968年，他离开香港，移居美国。不久，又移居加拿大多伦多。1973年，他突然中风，行走不便的他被送入官办的免费老人病院，他将在这里度过余生。1976年9月9日，毛泽东逝世，他多少有些感慨地说：“我们的时代已经过去了。像我一样，毛泽东也是凡世之人，死亡只是时间问题。”
多伦多老人病院的护理条件较差，一间狭窄的房间里住着2个不能自理的老人。北美的冬天刺骨的寒冷，而暖气又时断时续。这天深夜，他冻得实在难熬，因按铃求助才摔到地上。第二天清晨，医生发现时，他已冻得僵硬。死后，他被安葬在多伦多公墓，享年82岁。
