守卫涟水的是成均的第5旅、第十纵队和淮南5旅。张灵甫又打了一个战术，他先向涟水县南面的茭菱镇发起佯攻，吸引守军增援，然后亲率主力猛攻涟水城。1946年10月22日，敌整编74师全部炮兵，对涟水城的南门渡口炮击，国民党军乘橡皮舟渡过废黄河。我军前沿一个排力战后全部牺牲，南门渡口失守，国民党军遂攻入涟水城内。我军立即反击，重新堵上了突破口。但敌整编74师占住了废黄河北岸滩头阵地，架起了浮桥，敌军源源不断渡河，准备第二轮更大的猛攻。
23日，国民党军在城南再撕开一个宽大缺口，直扑涟水城。这时，王必成率6师赶到。我军猛烈反击，在南门击溃国民党军。在东门外，6师的官兵与敌拼起刺刀，歼灭了一个营。
26日张灵甫再发起猛烈的进攻。74师连续发动8次冲锋，却无法突破6师的防线。夜间后，6师发起反击，仅两小时便全歼废黄河北岸敌军两个营。
28日，华中野战军主力部队全部赶到，粟裕下达了歼灭74师的命令。30日夜，华野全线围攻，陶勇的1师和王必成的6师首当其冲，扑向敌整编74师。张灵甫立即收缩，逃回淮阴城。
