1968年冬，因家庭成分而被“清洗”的建筑工程师刘乃基从西藏回来。大队造反派没收了他的存款和贵重衣物，让他在两间危房中居住，以便监督。甘祖昌知道后，立刻找来有关人员，对他们说：“据了解，此人曾在西藏和平建设中立过功，同时有一技之长，应该按照党的知识分子政策办事。建议安排他在社办企业工作，专门负责全公社的桥梁建筑。”随后，甘祖昌找刘乃基谈话，鼓励他为家乡的建设出力，同时对他的生活也给予适当照顾。刘乃基感动地说：“我一定要好好工作，报答大家的关怀!
从1969年开始，甘祖昌和刘乃基冒严寒，顶酷暑，为全社的建桥事业奔忙。短短3年时间里，甘祖昌带领群众修建了12座大小桥梁，改善了全公社的交通条件。为了集体的事业，他捐献了自己的大部分工资和多年的积蓄。他常说：“为人民做有益的事，就是共产党人的理想。”
甘祖昌功成身退以后，依然保持着艰苦朴素的优良传统。他自己种菜自己吃，每件衣服至少穿10年。衣服破了就补，补好再穿，实在不能补了就拿去做鞋底。群众称他的形象是：一身补丁打赤脚，一根烟斗没有嘴，白罗布手巾肩上搭，走路笔挺快如风。
甘祖昌回乡29年，一直坚持与疾病做顽强的斗争。他对脑震荡后遗症的办法不是“营养疗法”，也不是卧床休息，而是夏天光着头让烈日晒，冬天让北风吹。经过十几个寒暑的锻炼，脑子里淤血消散，脑震荡后遗症竟奇迹般地痊愈了。1985年10月，甘祖昌旧病复发，莲花县医院立即组织抢救。住院期间，新疆军区派人前来慰问，提出为甘祖昌在南昌盖房子，让他到南昌定居，甘祖昌摇摇头说：“感谢组织上和同志们对我的关心，我已经80多岁了，还盖房子干什么?为国家节省点开支吧。”
1986年春节过后，甘祖昌病危。在弥留之际，他嘴里仍在断断续续地说：“领了工资……留下生活费……其余全部买化肥农药，支援农业……我不要房子，不要给我盖房子……”
1986年3月28日，甘祖昌这位为中国革命事业奋斗一生的老战士，停止了呼吸，走完了他从农民到将军、又从将军到农民的全部战斗历程。
