粉碎“四人帮”后，严如平到胡耀邦家拜访他，当谈到毛主席点将让小平同志出来主持工作，整顿得很有成效，怎么一下又把他和胡耀邦一批人打成“右倾翻案风”的急先锋呢?胡耀邦叹了口气，神情黯然地说，他老人家老了，听不得一点点不同意见，对他的那一套很固执。“四人帮”这批人又挑拨离间，怎么会搞得好呢?接着他心情沉重地说：“四人帮”粉碎了，可是如今批“四人帮”还要连带批邓，因为“批邓”是毛主席讲过的、点过头的。这不还是原来那一套吗?林彪、“四人帮”这10年来弄得我们党不成党，国不成国，再要按照原来那一套搞下去，就危险至极!
胡耀邦说到这里，神情更为严峻，疑虑重重。严如平有些不解地说：“四人帮”已经粉碎了，还能再怎么样啊?胡耀邦回答：那可不一定!林彪、“四人帮”不都是打着毛主席的旗帜吗?这是最高指示，那是最新教导。今后如果这也是毛主席讲过的、那也是毛主席定下的，那还不是“文化大革命”那一套吗?说到这里，胡耀邦又点了一支烟，猛吸起来，加快思索。严如平惭愧地说，想起“文化大革命”初期自己真是太幼稚太糊涂了，做了多少傻事蠢事，还认为是读毛主席的书、听毛主席的话!胡耀邦宽慰他说，那时候有几个人是清醒的?我也被搞蒙了嘛!因为是毛主席他老人家亲自发动和领导的嘛!他有一系列指示嘛!不过我们应当好好想一想，应当吸取哪些教训?恐怕还是我们自己学习马克思主义不过硬，对毛泽东思想理解得不深，被林彪那一套骗了。
接着，胡耀邦向严如平谈了一个他思考已久的问题。他说：毛主席他老人家发动“文化大革命”，是想要把阶级斗争在全国上上下下搞彻底，这是和他这些年来一直搞阶级斗争一脉相承的。这两年反复想，觉得毛主席对中国革命，对党、对国家，是个有大功的人，他的功绩谁也比不了，历史上也很少见;以他为代表的毛泽东思想，是指挥中国革命胜利的法宝，可是他在晚年十几二十年里有些东西，已经背离了他原来的思想体系。
这时，胡耀邦陷入对过去岁月的沉思，他继续沉重地说：还记得1957年初毛主席在最高国务会议上讲正确处理人民内部矛盾吧，本来讲得多好啊，可是后来整理发表的时候，添了很多政治思想领域阶级斗争的东西，成了那年划几十万“右派”的理论依据，也是后来在政治思想领域、意识形态领域一再搞政治运动的理论基础，把八大提出的路线实际上给否定掉了。1958年搞“大跃进”、人民公社，说要跑步进入共产主义，开始我们头脑也跟着发热。可是到下面去一看，什么亩产几万斤，什么大炼钢铁，都是瞎吹;办公社、吃食堂，也是形式主义，强迫命令。现在看来，他老人家脱离实际、脱离群众太严重了。即使到各地视察，也看不到真实的情况、听不到群众的心声，大都是听少数干部汇报，或者是看几个“样板”，难以作出正确的判断。倒是彭老总真正深入到家乡群众中去了，在庐山会议上写了那封信，结果倒了大霉，说彭老总是资产阶级野心家，是“右倾机会主义”总头目，空气搞得紧张得很，最后还要通过一个决议，大家不能不举手。接着在全国“反右倾”，掀起又一场阶级斗争。
胡耀邦谈到这里，心情更加沉重，他说：三年困难刚刚度过，他老人家就要搞“四清”运动。1963年5月那次杭州会议我是去了的，他把农村的一些问题都上纲到“严重的阶级斗争”。这些问题不是没有，我在湘潭也看到不少，大多数是基层干部多吃多占的问题，强迫命令脱离群众的问题，性质到底是什么?严重贪污、盗窃、打骂群众、违法乱纪的人有多少?用百分比一比，占多大的面?可是他老人家看得很严重，别人都插不上嘴，这样写出的“前十条”，搞“四清”运动就必然过火;后来温度越来越高，“二十三条”要降温，可是又说有个“走资派”。我心里有点嘀咕。当时在陕西，只能多讲“二十三条”里“要正确对待干部”这些东西。最后，他又把“走资派”这个概念从基层弄到上头、弄到中央来了，就发动起了“文化大革命”。
“文化大革命”说是要反修防修，要吸取苏联的教训，他老人家当然是想要把我们国家搞好，让红色江山不变颜色，可是他把我们党的情况看得很糟糕，甚至说有一大批领导干部已经是修正主义分子了，相当多数单位的领导权已经在敌人手里了，中央已经有一个资产阶级司令部了，于是把这场“文化大革命”定性为“一个阶级推翻另一个阶级的政治大革命”。这当然要被林彪、“四人帮”用来搞他们的阴谋。《毛选》第一篇开头就说：“谁是我们的敌人，谁是我们的朋友，这个问题是革命的首要问题。”“文化大革命”恰恰在这个首要问题上搞颠倒了，背离了毛泽东思想的基本原理。
对于自己的认识同一贯十分尊敬的革命领袖存在差异，胡耀邦显得十分痛苦，他满脸愁云，心情沉痛地说：对于他老人家这些大搞阶级斗争的东西，过去自己也不是没有疑惑过，可是自己是个党的干部，还是个中央委员嘛，有疑惑也得遵守纪律啊，也得举手啊，往往不敢多想下去，反而还不断反省这些疑惑是不是在阶级斗争面前的动摇呢，是不是对毛主席他老人家不忠呢?……
胡耀邦在同严如平谈话中列举了毛泽东晚年的重大错误，进而提出自己的疑惑是否“不忠”的问题，正说明他对毛泽东是尊敬而不是愚忠，是学习而不是迷信。
