此时的吴成德同样陷入了极大的困惑之中。敌人为了让他投降和拉拢他去台湾，无所不用其极，然而他始终没有低头屈服。如今，在“归管处”看到自己的付出不仅得不到他人的理解与信任，甚至被当成了罪人，这是他怎么也想不通的。有人要吴成德承担一八○师失利的主要“罪责”，这一点吴成德更不能接受，也承受不起。直性子的他，想不通的事宁折不弯，因此他的“交代”一直未能获得通过。这种政治上的不公和精神上的压力，使吴成德的精神已到了濒临崩溃的边缘，他的言谈和举止甚至都有些失常了。
1954年6月，上级下达了对这批遣返人员的具体处理结果，被遣返的6400多人中，绝大部分离开了军队。像吴成德这样的人，自然也是不可能继续留在部队的。他被开除党籍和军职，安排去了有“南大荒”之称的辽宁盘锦的大洼农场。
好在吴成德并没有就此趴下，他凭着自己的诚实和苦干，在农场获得了广泛的信任。在“文化大革命”中，有人主张对他进行批斗，但人们都知道他是个好人，没有几个人去参加他的批斗会。
多少年来，吴成德与其他散落在各地的志愿军战俘们一样，从没停止为自己的不平遭遇而奔走呼号，仅吴成德一人就向上级有关部门写了数十封上访信。他们只求组织上给他们一个公正的结论。这一天终于盼到了。1980年，中共中央下发了《关于志愿军被俘归来人员问题的复查处理意见》的第74号文件，全面地、正确地规定了对志愿军被俘归来人员的重新审查、正确处理办法。
经过组织部门的重新鉴定与处理，吴成德享受部队军级干部待遇，具体事项由地方负责。数十年前遗留的政治问题终于得到了解决，吴成德终于可以拜见家乡父老了，他带着自己的家人回到了老家山西运城落了户，在运城军干所度过了他最后的时光。1996年3月，吴成德去世，享年78岁，薄一波、柴泽民等老首长向他献了花圈。
