1954年11月9日，毛泽东根据第一届全国人民代表大会常务委员会第二次会议的决定，任命粟裕为中国人民解放军总参谋长，张宗逊、李克农、陈赓、王震、许世友、邓华、彭绍辉、张爱萍、杨成武、韩先楚为副总参谋长。粟裕负责总参全面工作，抓国防和军队建设的大事，同时侧重作战。他既勇于负责拍板，又不独断专行，对几位副总参谋长十分尊重，遇事总是一起商量，大家工作协调，感情融洽。
这时抗美援朝战争已经结束，国家已全面开始社会主义建设，人民军队的现代化、正规化建设也同时开展。但台湾和一些沿海岛屿尚未解放，帝国主义不断在我国的台湾和周边地区建立军事基地，制造紧张局势，战争的危险仍然存在。粟裕认真研究了现代化战争的要求和国际形势的大背景，从国家、军队的实际情况出发，提出军队建设和国防建设，必须研究解决以下几个方面的问题：一是未来战争可能是什么样的模式;二是如何尽快地建立起必要的防御反击力量和积极防御体系，以对付敌人可能对我的突然袭击;三是制订军队建设的远景规划和作战计划，以有效地指导军队建设和战备工作。为了实现这些设想，他付出了巨大的努力，克服了工作中的碰到的种种困难和阻力，为军队建设、国家安全尽了全力。在总参谋长任上，粟裕还提出重新划分全国军区方案，围绕努力建成积极防御体系，提出了一系列富有创建的建议。粟裕在四年的总参谋长岗位上，不负毛泽东的重望，呕心沥血，任劳任怨，在军队建设、战略方针、作战指导、站场建设和对敌斗争等方面作出了重大贡献。
