又过了约五分钟,敌第三、四、五辆汽车接踵而至,车上约有日军30余人。粟裕命令已经全部进入阵地的战士们猛烈射击,第三、四辆车被击中。第五辆车见势不妙,紧急刹车停在伏击火力射程之外,车上日军全部跳下车,潜伏在公路两侧,以密集的火力抵抗。一场激战过后,日军只抢了一部分伤兵和死尸上车逃走了。粟裕命令部队打扫战场,收集战利品及焚毁日军汽车,然后迅速分路撤退。很快自镇江开来17卡车日军,还有1辆坦克,赶到战地大肆轰击,又飞来3架飞机低空盘旋侦察。而此时粟裕早已率部安全撤离了。
韦岗伏击战激战半小时,击毙日军10余名,伤数十名,击毁汽车4辆,缴获长短枪10余支,日钞7000余元,以及车中满载的军需物品。