张宣武见情形危急，立即命令张进如连长带人冲上去，作最后一搏。敌我双方短兵相接，一阵乱砍乱杀，突入东关的一小队日军被尽数炸死、砍倒，张连官兵亦死伤70余人。至此，严翊营仅剩20余人。
日军不惯夜战，夜幕一上来便停止了攻击。滕县守军抓住这几个小时的宝贵时间，开沟掘壕挖防空洞，补充弹药，调整防守力量。王铭章考虑到41军在城内城外部队伤亡都很大，第二天恐难支持，便决定将41军在城外的部队撤进城内，死守滕县。经清点，全军仅剩两个团的兵力了。
王铭章殉国
3月17日早上6时，日军调集了60余门重炮，20余架轰炸机，对滕县实施炮击和轰炸近两个小时，滕县每寸土地都处在火海黑烟之中，房屋、高墙均被炸倒。紧接着，日军在10余辆坦克的掩护下向东关发起凶猛的集团冲锋，企图一举拿下东关，突破全城防线。
守卫东关的124师740团，予日军以迎头痛击。很快，双方形成近距离拼杀，以肉搏战纠缠在一起，战场上尸横遍地。727团3连坚守的东南段，由于城墙已被轰塌，成为日军攻击重点，经反复争夺后被敌突破，四五十名日军冲了进来。营长王承裕把作预备部队的一连拉上去，猛投手榴弹，然后挥刀冲上去一阵砍杀，突入之敌悉数毙命，但该连150余人仅剩14人，连长、副连长均阵亡。
在南城墙，守军743团的两个连先遭日机轰炸扫射，接着被重炮轰击，城墙早已被炸成平地，连夜构筑的临时掩体在日军重火力轰击下几乎没有什么作用;740团蔡钲营同日军反复拼杀至下午3时许，全营官兵死伤殆尽。124师吕康旅长、汪朝廉副旅长均身负重伤。下午3时半，南墙失守。
几乎是在南墙失守的同时，日军对东关守军再度发起猛攻。由于城墙多处被轰塌，垒筑的沙袋食盐包也被炸成黑尘，守军无险可据，遂以血肉之躯捆上手榴弹扑向日军坦克，赤膊挥刀上前砍杀日军。指战员们皆抱以命换命的必死决心，在手榴弹甩光之后又血刃至最后一刻，124师740团团长王麟、团政训专员胡清先后阵亡，东关亦失守。
西城亦然，在守军死伤殆尽的情况下被敌突破。至此，滕县东、南、西三面皆被日军占领，同时日军迅速从三面向城中心进逼，形势已极度险恶。王铭章命令各部收拢余部，与敌展开巷战，逐街逐巷争夺。他向孙震总司令发出最后一道电文：“……决以死拼，以报国家，以报知遇。”
下午5时许，王铭章率军、师部人员欲转移至西关火车站作最后一拼，行进至电灯厂附近时，遭到西关城楼上日军的猛烈火力射杀，王铭章身中数弹倒地，他挣扎着半跪起身子，大吼：“杀呀!”并推开冲上来救护他的官兵：“你们快去同敌人拼吧，不要管我，我死在这里很痛快!”说完便气绝身亡。同时阵亡的还有：122师参谋长赵谓滨、124师参谋长邹慕陶、副官长傅哲民、参谋罗毅成、谢世文、张重、谢大薰等。
王铭章阵亡后，41军少量余部一直坚持到第二天上午，零星抵抗至中午才最后停息。滕县之战坚持了四天半，41军的两个师基本上全部拼光，代军长王铭章以下大部将校官佐阵亡殉国，士兵与敌血刃至最后一人而无被俘者。
第22集团军滕县一线的坚决拒敌，迟滞了日军攻占徐州的战役行动，为第五战区台儿庄战役参战各集团军赢得了宝贵的时间，大部分完成了战役运动集结。第五战区司令长官李宗仁战后慨然指出：“若无滕县之苦守，焉有台儿庄之大捷?台儿庄之战果，实滕县先烈所造成也!”
