就在此时，张灵甫的军事生涯戛然而止，他惹上了官司，罪名是故意杀人，被害人不是别人，正是张灵甫当时的妻子吴海兰。至于杀妻的原因，坊间流传着很多版本，有说因张灵甫怀疑吴海兰有外遇愤而杀妻，有说是因为吴海兰盗取了张灵甫的重要文件而招致杀身之祸。不管哪种是真，张灵甫坐牢已成必然。
然而，张灵甫的牢狱生活过了不到一年，就因1937年的七.七事变而出现转机。抗战爆发后，国民政府下令所有服刑官兵除政治犯外一律调服军役，戴罪立功，并保留原军衔。出狱后的张灵甫编入新成立的74军，担任305团团长开赴上海，参加淞沪保卫战。出发前，张灵甫给兄长写了一封绝笔家信。信中说：“此次对日之战，为国家民族争生存，兵凶战危，生死难卜。家人当认我已死，绝勿似我尚生。”从上战场的那一刻起就将自己的一切置之度外了。
这个平日在家人印象中沉默寡言、气定神闲的张灵甫，一上战场就成了连命都不要的拼命三郎。在嘉定作战的时候，面对日寇的疯狂冲锋，张灵甫光着膀子从战壕里一跃而起，抱着机枪就冲向敌阵，率领自己的部下连续打退敌人七次冲锋，一时间，张灵甫这个曾经的杀妻囚犯名声鹊起。
