罗瑞卿不同意林彪对大比武的批评，认为“1964年军事训练工作是建国以来最好的一年”，“去年是不是冲击了政治、冲击了学毛着?主要的不是，有一些是，主要的我看不是。”对于林彪关于“突出政治”的指示，罗瑞卿说：政治“也不能乱冲一气”。以后，罗瑞卿又多次提出，不要搞空头政治，说：“如果单纯把政治搞好，别的都不好，垮下来，这种政治恐怕不能算政治好，是空头政治，哪里有这种政治!”“军事训练搞不好，浪费事小，打起仗来就要亡党亡国”。
本来在大比武这件事上，林彪就认为罗瑞卿不听话，同他有二心，产生了要将罗整下来的想法。1964年5月，毛泽东提出培养革命事业接班人的问题，要求每个人都要准备接班人，还要有三线接班人。在贯彻执行毛泽东指示的过程中，罗瑞卿曾就新老干部交替问题向林彪作过汇报，并曾讲过有些老干部应当主动“让贤”之类的话。一向多疑的林彪听了，认定这是罗瑞卿要他让贤，更坚定了打倒罗瑞卿的决心。
可是，仅一顶“不突出政治”的帽子，还不足以整倒罗瑞卿。于是，从1965年下半年起，林彪就授意李作鹏等人写揭发罗瑞卿的材料。1965年11月30日，林彪写信给毛泽东说：“有重要情况需要向你报告，好几个重要的负责同志早就提议我向你报告。我因为怕有碍主席健康而未报告，现联系才知道杨尚昆的情况，觉得必须向你报告。为了使主席有时间先看材料起见，现先派叶群呈送材料，并向主席做初步的口头汇报。如主席找我面谈，我可以随时到来。”
同一天，叶群坐专机到杭州，单独向毛泽东作了几个小时的汇报，至于汇报的内容，用中央文献研究室编写的《毛泽东传(1949—1976)》中的话说：“现已无从知道。”因为汇报是单独进行的，自然没有留下记录。但据几天后叶群在上海会议上的发言了解，揭发的内容大致是罗瑞卿要夺军权，罗瑞卿一贯反对突出政治、反对毛泽东思想、存在单纯军事技术观点等。
当年中央警卫团负责人张耀祠曾安排叶群向毛泽东汇报，因为叶群谈话的时间太久，他还三次进去催叶早点结束谈话。据他回忆：
三次催叶群，只听到她的话头话尾。联系起来看，是叶群向毛主席告罗瑞卿的状。她对主席说：“我过去对罗瑞卿是毕恭毕敬的，没想到罗瑞卿跟林彪的关系搞得这个样子。”
叶群又说：“罗瑞卿掌握了军队大权，又掌握了公安大权，一旦出事，损失太大，他的个人主义，已经发展到野心家的地步，除非林彪同志把国防部长让给他。”“林彪的位子让给他没关系，但会不会发展到‘逼上夺位’的程度呢，我想是会的。主席，他是两个眼睛盯着这个位置的。”叶群还罗列了罗瑞卿的一些罪名，她说：“罗瑞卿反对林彪‘突出政治’，他说，‘病号嘛，还管什么事，病号应让贤!不要干扰，不要挡路。’”
林彪
在叶群来杭州前几天，罗瑞卿也到了杭州。11月25日下午，毛泽东接见柬埔寨的朗诺将军，罗瑞卿在参加接见时见到毛泽东，并且说：“评《海瑞罢官》的文章，我已要了一本，还没看。”毛泽东只向他笑了笑，没有说什么话。当晚，江青见到罗瑞卿又说：“北京各报至今都不转载姚文元的文章，不知道为什么?”还说：“现在在北京看家的是彭真。”罗瑞卿听江青讲完这几句话后，回到住地即给彭真打电话，说：“姚文元写的评《海瑞罢官》的文章，我同毛主席提起时，主席笑了。估计毛主席是看了这篇文章的。我已要《解放军报》转载，请你也考虑，如果北京的报纸不能同时转载的话，就先指定一家报纸和《解放军报》同时转载。”11月29日，《解放军报》转载了姚文元的文章。11月28日，罗瑞卿离开上海去苏州看望林彪，行前将他这一想法报告了毛泽东。毛泽东鼓励说：“去看看好，去看看好。”可见此时的罗瑞卿根本就没想到林彪要对他下手，毛泽东对他的态度也没有什么变化。
