胡耀邦反对个人崇拜，非常坚决。不仅揭露它的危害，而且提出一些防范措施。在1980年11月19日的一次政治局会议上，谈到个人崇拜，他开列四大罪状，予以讨伐：“搞个人崇拜这个东西，是我们党的一大教训。搞个人崇拜，第一，根本谈不上民主生活;第二，根本谈不上实事求是;第三，根本谈不上解放思想;第四，不可避免地要搞封建复辟。可以说，危害之烈，莫此为甚。个人崇拜永远不能搞了。”
此前，1978年8月中旬，他出席并主持全国信访工作会议，谈到个人崇拜必然要搞封建复辟时，引司马迁《秦始皇本纪》中的话说：“秦俗多忌讳之禁，忠言未卒于口，而身为戮没矣!故使天下之士，倾耳而听，重足而立，钳口而不言，是以三主失道。忠言不敢谏，智士不敢谋，天下已乱，奸不上闻，岂不哀哉!”“天下已乱，奸不上闻”这两句，不就是文化大革命的生动写照吗?他引历史经验，告诫全党，个人崇拜搞不得。
为了制止个人崇拜借尸还魂，卷土重来，胡耀邦提出和支持三条措施：一条是，今后二三十年内，一律不挂现任中央领导人的像。一条是少宣传个人，多宣传人民。再一条是，坚决不搞终身制。三条措施中，废除终身制是最为关键的，他不仅赞成，而且身体力行。他曾打算“成为党内首先自觉退下来的一个”. 现在，我们国家终身制是没有了，这是一个进步。但“变相终身制”还在，这就是退而不休，垂帘听政，操控高层人事，特别是指定接班人，甚至指定隔代接班人。指定接班人，就是权力私相授受，就是用另一种方式延续自己的权力。这比我国古代的太子制度、君主制国家的王储制度，有过之而无不及。因为有这个“变相终身制”在，退下去以后，照样有人吹喇叭，抬轿子，仍然被排在一人之后众人之上，称为“党和国家领导人”.下台了，怎么还是“党和国家领导人”?这究竟符合党章，还是符合宪法?不过，我相信，这种格局不可能延续太久。一个文明世界怎么能容忍这等封建遗毒长期存在?
个人崇拜、终身制、家长制、一言堂，是专制制度最直接最赤裸裸的表现，其社会历史根源就是封建主义遗毒。胡耀邦坚决主张肃清封建主义遗毒。 1979年底，李维汉因病住院，胡耀邦去探望他。谈到文化大革命的经验教训，李维汉说：“文化大革命历时十年之久，据我看，关键在于封建余毒在我们党内、在我们国家实在太深了。”
胡耀邦对李维汉的看法深表赞同。他说，自己也考虑过这个问题，感到此事关系重大，建议李维汉向邓小平直接谈谈。李维汉接受胡耀邦的建议，和邓小平作了交谈。
1980年6月10日，中央政治局常委开会，讨论政治体制改革。胡耀邦说，要从两个根本问题上考虑肃清封建主义影响，一个是制度问题，一个是思想舆论问题。从制度上说：十月革命到现在63年了，从我们自己讲也30年了，革命成功以后，党没有搞好，国家制度也没有搞好，权力过分集中，终身制，铁饭碗，能上不能下，这方面我们比资产阶级差。这个问题必须从制度上下决心解决。思想舆论方面，我们没有经过资产阶级民主革命的洗礼。资产阶级民主同封建专制来比，是很大很大的进步。我们革命成功后，无形之中发展了封建的东西。我们现在的宣传再不能搞封建这一套了，再搞下去就有亡党亡国的危险。 现在看来，李维汉、胡耀邦的讲话，以及1980年8月18日邓小平关于《党和国家领导制度的改革》的讲话，充其量只是提出问题，唱了个开篇。但是，即便如此，如果真正循着“清算封建遗毒”这个方向，去进行政治体制改革，那还是有很大意义的。
