当时，因弹缺粮绝，多日长途跋涉行军作战，官兵饥饿，农民仅有的玉米、杂粮、红薯根等已被前边撤退的军队抢吃一空，后来的部队，只能搜寻些野菜、草根煮后充饥。次日，李家钰命参谋长张仲雷率集团军赶往陕县菜园乡雁翎关，筹措粮食。5月19日晨，因日军一部已在陕县会兴镇渡河，灵宝也有日军驻防。李家钰一面派出数名侦察兵向陕县大营、灵宝等处搜索敌情，一面在雁翎关村外召集官兵训话说：“再饥饿也不能擅入民间抢劫。违犯者，军法处置!”还当场处决了一个抢劫百姓财物的士兵。
此后，各路大军分道西行，李家钰的部队就担负起了掩护友军撤退的任务，这时，从晋南平陆茅津渡过黄河的日军进入陕县城。5月20日，李家钰率部从雁翎关出发，宿营于陕县张村镇东窑院村。据友军情报，日军千余人由陕县南关太阳渡出发，正追击高树勋部，已进犯到距东窑院村仅10余里处。李家钰判断：日军来得不会这么快。同时鉴于友军正纷纷向西转移，掩护任务急需进行到底，即决定按原计划行军。
5月21日，李家钰率集团军总部人员继续殿后，在友军各部相继撤退之后，于上午10时从东窑院出发，按原计划向西行目标——南寺院行军。由于对敌情疏于侦察，情况不明，李家钰率部到达张家河谷底时，埋伏在安家山上的日军已居高临下，对其形成包围。中午时分，当缺乏战斗力的总部人员及家属刚登上旗杆岭，早有准备的日军大队人马从山头上冲下来，李家钰率部与敌战斗，背部和左腋下连中两抢和一片弹片，壮烈殉国。同时受伤的一个士兵后来回忆说，他跟着李总司令跑，看到李家钰挨了敌人两枪及一个榴弹碎片。李家钰还挣扎着跑了几步，终于倒在了旗杆岭上。同时把鲜血洒在陕县土地上的抗日将士还有200余人。担负殿后任务、跟在总部后边的四十七军一〇四师闻讯赶来，在南寺院与日军激战，悬赏募来五名敢死的士兵，冲到旗杆岭上，将李家钰的遗体抢回。