元狩四年(前119年)，大将军卫青与骠骑将军霍去病深入漠北打击匈奴。李广多次请求随军出征，武帝认为他年老未被启用。直到元狩六年才被任命为前将军，随卫青出征。出塞，卫青得知单于的驻扎地，卫青决定自率精锐部队与刚失去了侯位的好友 公孙敖 一同袭击单于，希望能够立功。而命前将军李广与右将军赵食其从东路出击。东路道迂回且远，水草极少，不利于行军。李广亲自请求为先锋，说：“臣部为前将军，今大将军乃徙令臣出东道，且臣结发而与匈奴战，今乃一得当单于，臣愿居前，先死单于。”(《史记·李将军列传》)可是卫青曾暗中受到武帝的嘱咐，认为李广年老又命数不好，不要让他与单于正面对阵。李广坚决拒绝调动。卫青不接受他的请求，命令长史下道文书，让李广赶快到所在部队去，照文书说的办。李广没有向卫青告辞就动身了，内心极其恼怒地回到营中，领兵与右将军会合，从东路出发。部队因无向导，迷失了道路，落在大将军后面，耽误了约定的军期。漠北之战，李广赵食其战时不曾赶到，“见单于兵陈而待”，卫青当机立断，创造性地运用车骑协同的新战术，命令部队以武刚车“自环为营”，以防止匈奴骑兵的突然袭击，而令5000骑兵出击匈奴。伊稚斜单于乃以万骑迎战。此战汉军追击200余里，俘斩敌军1.9万余名，但伊稚斜单于“视汉兵多面士马尚强，战而匈奴不利”，遂趁夜幕降临，跨上一匹善于奔跑的精骑，率领数百壮骑杀出重围向西北方向逃去。
回师后，卫青派长史拿了干粮酒食送给李广，顺便问起李广等迷路的情况。李广不予回答，卫青又派长史紧催李广的幕府人员前去听候审问。李广说：“诸校尉无罪，乃我自失道。吾今自上簿。”(《史记·李将军列传》)
李广回到军部，对他的部下说：“广结发与匈奴大小七十余战，今幸从大将军出接单于兵，而大将军又徙广部行回远，而又迷失道，岂非天哉!且广年六十余矣，终不能复对刀笔之吏。”(《史记·李将军列传》)言毕引拔刀自刎。李广部下军士大夫一军皆哭。百姓闻之，无论认识与不认识他的，无论老者青年，皆为之流泪。 一代名将，就这样陨落了。
李广有子三人，长子李当户早死，有遗腹子李陵。次子李椒为代郡太守，也先于李广而死。幼子李敢常随军出征，李广死时，李敢正跟随骠骑将军霍去病征战。李广死第二年，李蔡因罪自杀。李敢以校尉身份随霍去病击左贤王，力战，夺左贤王鼓旗，斩首甚多，被赐爵关内侯，食邑二百户，代李广为郎中令。不久，怀恨其父李广之死而击伤大将军卫青，卫青却没有声张。后李敢至上雍，到甘泉宫狩猎，被骠骑将军霍去病射杀。当时霍去病正被武帝所宠，武帝辨说：“鹿触杀之”。
