1949年10月,徐向前被任命为总参谋长后,因为病重,其职由副总参谋长聂荣臻代理,实际主持工作。1951年10月,粟裕被增调为第二副总参谋长,分管作战、训练及海军、空军和陆军各特种兵工作。
在此期间,聂荣臻担心毛泽东事情太多,太忙,提出不必事无巨细都直接报到毛泽东那里。显然,他对呈送毛泽东和中央的文件有所控制。过去一向按毛泽东撮出的要求每半月报告一次的粟裕,自然也只好照聂荣臻的意见办理。没想到,毛泽东很快对军队系统的报告减少格外关注,当时的总参作战部部长张震在回忆录中这样记载:
(1952年7月)毛主席在颐年堂召集军委开会,通知我列席。会议由毛主席主持。他开门见山地说:今天这个会,算军委主持日常工作的副主席的交班会。我与彭总谈过,总理太忙了;今后军委的日常工作由他主持,但对外暂不公布。朝鲜战场看来大仗打不起来,最后是要和谈停战的,待停战后再正式公布。
还没有等大家发言,毛主席突然把话题一转,严肃地说:最近一个时期,我感觉工农青妇的菜,摆满一大桌,吃也吃不了。可是.军队系统的菜太少,我饿得慌。你们为什么对我封锁呢?……我看了看聂总,他的表情很平静,只是一言不发。
毛主席见聂总不吭声,就对着他说:你讲话呀!过去政治局开会,我请你列席,你也不讲话。我怕把椅子坐坏了,就不请你了。……接着,毛主席又对聂总说:荣臻,你讲讲。聂总还是不作声。毛主席更生气了,说:如果你不讲,就作组织调整。这时,其他领导同志赶紧出来打圆场,表示不要急忙处理,由荣臻回去后向毛主席写个报告再说吧。会议就没有继续开下去。
聂荣臻回来后,不得不写报告向毛泽东作了检讨。粟裕认为,自己是副总长,作为总参领导人之一也应该承担责任,因此也向毛泽东作了书面检讨。他在检查中说:在总参工作期间,违反了“每半个月向您汇报一次情况与工作”的指示。
不料毛泽东不仅在他的检讨上作了批示,表示“检讨很好”,而且把粟裕和聂荣臻的工作作了对比,肯定了粟裕半年来的工作,并借机对聂荣臻又作了批评。批示说:“粟(裕)在半年中所反映的情况和看出的问题……好得多,所以我那天没有批评粟。”
毛泽东还特地把这个批示交刘少奇、周恩来、朱德、彭德怀、聂荣臻等传阅,这就引起了聂荣臻的很大误会。
这件事,粟裕无论从个人行为还是中共的组织原则来说,向中央领导直接写报告作检讨都是无可非议的,是光明磊落和符合组织原则的,何况粟裕也不可能预料到毛泽东会作这样的批示。然而,这件事后来被批判为“告阴状”。
1952年7月,主持军委日常工作的周恩来因为太忙,提名从朝鲜战场回来的彭德怀接替他在军委的工作,得到了政治局会议的批准。
彭德怀上任以后,很快提名调老部下黄克诚担任第三副总参谋长。于是,黄克诚成为彭德怀抓军委和总参工作的主要助手。
1954年10月31日,粟裕被毛泽东提名任命为总参谋长。同日,黄克诚也被彭德怀提名,经毛泽东批准任命为军委秘书长,实际上全面负责主持军委和总参的日常工作。建国以后,军委本来没有秘书长一职,但彭德怀主持日常工作以后,专门提议为黄克诚设了这个职位。显然,彭德怀对粟裕这个总参谋长是信不过的。
粟裕为人谦逊,对彭德怀一向很尊重。但他具有极强的党性原则,不事迎合,在正确的问题上,常常据理力争。加上粟裕对未来战争的认识和在战争准备上,与彭德怀显然有不同的看法,这就不可避免地引起了两人之间的种种不融洽。
粟裕就任总参谋长之后,为应付突然事变,极有远见地提出抽几个军作为统帅部战略预备队,配置在便于机动的地区,平时由各军区领导,但不编入各军区战斗序列,战时由统帅部统一机动的建议。正如他后来所指出的:“在未来反侵略战争初期,为了保持还击力量,迅速抽调机动兵力打歼灭战,或加强某一方向的防御力量,建立新的防御体系,必须在战前就建立强大的战略预备队和战役预备队。”
对此,彭德怀认为没有必要,说全国都属解放军,一旦战争爆发,统帅部完全可以从各军区临时抽调部队组织战略预备队。
粟裕则坚持认为,等战争爆发再抽调组织这支部队,一是会打乱各军区的作战计划;二是战争一爆发,交通被破坏,部队行动受阻,将会失去战机。但因为人为的阻梗,粟裕的建议未能实现。后来在批判粟裕时还被扣上了“有争夺这几个军的阴谋”。直至彭德怀1959年离职后的若干年后,军委从战备需要出发,才建立了类似粟裕当年建议的部队。