国民党军撤离大陆时，把不能开到台湾的破舰旧船，不是沉入江底，就是炸坏了。对于造船厂也是破坏殆尽，把能用的关键性的机床和重要器件运到台湾，一些关键重要设备不能带走的也破坏了。
这种一穷二白的状况对于要在全国取得决定性胜利的中国共产党人和人民解放军来说，建设一支强大的人民海军的形势是多么的严峻，任务又是多么的迫切。毛泽东主席在渡江胜利前夕英明决策，由第三野战军筹建人民海军，并任命张爱萍为中国人民解放军华东区海军司令员兼政委。
张爱萍于1949年4月23日在江苏泰州白马庙宣布成立海军，随即带着李进、黄胜天、张渭清等13人，轻车简从，从靖江渡过长江到达江阴，筹建人民海军。陆续到达的还有三野教导师师部及一个团、苏北海防纵队和野司侦察营等部队。后来又将30军和35军及其军部，计10000多人调归海军。张爱萍把先期到达的部队临时组成司令部、政治部、后勤部3个办公厅和上海市军事管制委员会海军接管部，分别接收上海、江阴、镇江、湖口等地的海军设施和破旧舰船;同时在上海、福建、青岛等地招贤纳士，广为招罗人才。
当时的情况是，绝大多数官兵不懂海军，有许多人甚至连大海和军舰都未见过。张爱萍不耻下问，专门找人谈话，征询意见，谋划建设海军。他多次找金声、徐时辅、曾国晟等原国民党海军高层人士，让他们献计献策;组建南京海军学校培训舰员，任命30军参谋长夏光为校长，35军政治部主任孔繁彬为政委，徐时辅为教育科长(后兼华东海军军调处副处长);组织原海军人员、陆军官兵互教互学，毕业后上舰见习。
张爱萍亲自到上海四川北路曾国晟住处，请他出山担任华东海军主管后勤的副司令员兼舰船修缮委员会主任。曾国晟，福建长乐人，国民党海军总司令部技术署少将署长，著名造船专家。他看到国民党内部派系纷争，对其黑暗、腐败十分不满，拒不去台湾，遂告老还乡，是一位爱国、有正义感、技术全面的海军专家。曾国晟被请到上海后，住在四川北路的一位亲戚家。张爱萍冒着炎热亲自登门，请他担任重要职务。
