为了党和人民事业戎马一生的聂荣臻，晚年虽主动辞去所担任的一切领导职务，但关心党和人民事业的痴心不改。1986年7月30日下午，中央指定的党的十三大人事安排五人小组成员王震突然来访，征求聂荣臻对邓小平提出的十三大上他也全退一事的意见。对这一重大的问题，聂荣臻异常慎重，沉默了好一阵才缓缓说道：“我认为，现在是过渡期，局面还不稳，小平暂时还不能全退，他可以不参加常委会。他全退了，不当军委主席，一旦有事，怎么号令全军?只有他能镇得住。他在，军队就不会乱。所以，小平还不能全退。”送走王震后，聂荣臻为了郑重起见，又委托秘书起草一份“备忘录”正式上报中央，其中写道，我总的想法是：我们党要有自己坚强的领袖……现在，我们党实际上的领袖就是小平同志。他是众望所归，自然形成的，无论党内外、国内外，一致公认他是我们的领袖。在当前形势下，小平同志不是退的问题，应该是继续进。他的健康情况也允许他再领导大家奋斗几年。由于我们现在没有党的主席职务，那就在政治局常委中仍然保持小平同志的重要的领导地位……当然，我们的事业还需要更多的新生力量，在政治局常委中再增加两三位年轻一点的同志也需要……人们对包括小平同志在内的政治局常委的充分信赖，正是构成我们今天建设事业发达的重要因素。关于军委主席一职，还是由小平同志兼一个时期好。当前大仗是一时难打，但自从宣布军队整编，裁军百万以后，基层思想很不稳定。如此时小平同志再退出，确实对稳定军心不利。中央对聂荣臻的意见高度重视，最后形成了“四老全退”(叶剑英、徐向前、聂荣臻、邓颖超)、“三老半退”(邓小平、陈云、李先念)的格局。
