很快，朝鲜战争爆发，蒋介石允许美国第七舰队进入台湾海峡，致使沿海形势更趋紧张。肖劲光请示中央军委，从全军部队中抽调曾经受过海军或商船训练的干部，到海军工作;与张学良的胞弟张学思携手创办大连海军学校，并组织创办了海军鱼雷快艇学校、海军航空学校、海军炮兵学校等院校，大力培养人才。在装备扩充方面，他一边组织技术人员整修旧舰艇，改造民船、商船，一边派人到香港等地购买。肖劲光还提出，要争取苏联援助，并在毛泽东的支持下，与苏联签订了海军装备购置等协议。从1952年起，海军从苏联进口的武器装备以及来华援助的各类顾问、专家、技术人员逐年增加。中国海军就是在这样艰难的条件下组建起来的。
重返国际舞台
就在中国组建海军之时，甲午海战埋下的祸根——钓鱼岛问题凸显了出来。二战中，中国牵制了日军绝大部分主力，为同盟国的最终胜利做出了巨大贡献，也付出了惨痛代价。1943年，《开罗宣言》确认，“日本所窃取于中国之领土，例如东北四省、台湾、澎湖群岛等，归还中国。其他日本以武力或贪欲所攫取之土地，亦务将日本驱逐出境”。因为当年清朝政府与日本签订《马关条约》第二条所割让“台湾全岛及其附属岛屿”包括钓鱼岛，所以日本应该归还钓鱼岛。
然而，1951年9月4日，美国单方面邀请了除中国以外的52个战争相关国，在旧金山举行“对日和会”，签订了非法的《旧金山和约》，将琉球列岛等交给联合国托管。9月18日，周恩来代表中国政府宣布，旧金山“对日和会”是一个片面的会议，中国政府不承认《旧金山和约》。但美国一意孤行，并于1953年在划定琉球列岛的版图时，擅自将中国的钓鱼岛划入琉球列岛，也交给联合国托管。
尽管钓鱼岛问题悬而未决，但中日关系进入了“民间先行”的回暖期。周恩来从维护世界和平和保障国内发展的大局出发，在1954年力促中国红十字会代表团接受日方邀请，前往东京访问。他对代表团成员说：“只要到达东京就是胜利。”他的远见，为日后中日邦交正常化奠定了基础。
另一方面，中国也没有屈服。周恩来在1954年的日内瓦五大国(中、苏、法、英、美)外长会议上，对美国干涉朝鲜、台湾等地区的行为提出了严正抗议：“无可辩驳的事实证明，美国在亚洲推行的侵略政策，是造成亚洲局势紧张和不安的根源……侵略行动应该被制止，亚洲的和平应该得到保证，亚洲各国的独立和主权应该得到尊重，亚洲人民的民族权利和自由应该得到保障，对亚洲各国内政的干涉应立刻停止，在亚洲各国的外国军事基地应该撤出，驻在亚洲各国的外国军队应该撤退……我们尊重各国人民的选择和维护他们自己的生活方式和国家制度不受外来干涉的权利;同时，我们也要求其他国家用同样的态度对待我们。”
