5月21日，李家钰率集团军总部人员继续殿后，在友军各部相继撤退之后，于上午10时从东窑院出发，按原计划向西行目标——南寺院行军。由于对敌情疏于侦察，情况不明，李家钰率部到达张家河谷底时，埋伏在安家山上的日军已居高临下，对其形成包围。中午时分，当缺乏战斗力的总部人员及家属刚登上旗杆岭，早有准备的日军大队人马从山头上冲下来，李家钰率部与敌战斗，背部和左腋下连中两抢和一片弹片，壮烈殉国。同时受伤的一个士兵后来回忆说，他跟着李总司令跑，看到李家钰挨了敌人两枪及一个榴弹碎片。李家钰还挣扎着跑了几步，终于倒在了旗杆岭上。同时把鲜血洒在陕县土地上的抗日将士还有200余人。担负殿后任务、跟在总部后边的四十七军一〇四师闻讯赶来，在南寺院与日军激战，悬赏募来五名敢死的士兵，冲到旗杆岭上，将李家钰的遗体抢回。
李家钰殉国后其遗体旋即被运回四川，这是继第三十三集团军总司令张自忠战死于枣宜会战后，国民政府丧失的又一位集团军总司令。
李家钰抗日殉国后，四川省各界爱国人士为他举行了隆重的追悼会。6月上旬，成都各界举行了隆重的公祭和追悼会，国民党四川省政府主席张群称：“其相‘贤人君人，肝脑涂中原，膏液润野草’。”重庆国民政府称其“器识英毅，优娴韬略”，“中原抗战，急赴前锋，喋血兼旬，以身殉国”。对李家钰做了盖棺论定的中肯评价。重庆《新华日报》为此于1944年6月11日发表短评：“我们哀悼李家钰将军抗战殉国”、“李家钰将军在此役中杀敌殉国，是应受到全国尊敬的”。著名社会贤达柳亚子在为李家钰撰写的挽诗中有云：“万里中原转战来，前师忽报将星颓。归元先轸如生面，化碧苌弘动地哀。”
1944年6月22日，国民政府追赠李家钰为陆军上将，准入祀忠烈祠，并颁布对他的褒扬令。嗣后，李家钰的遗体国葬出殡式在成都举行，其遗体安葬于成都城南红牌楼，并在成都市北门和浦江县为李家钰各塑建雕像一尊，永葆忠魂。1984年5月2日，经中华人民共和国民政部批准，追认李家钰为“在抗日战争中壮烈牺牲的革命烈士”。
