公元前140年，汉武帝即位，众臣认为李广是名勇将，武帝于是调任李广任未央宫的卫尉。这时程不识也任长乐宫卫尉，他俩从前都以边郡太守的身份统帅军队，却有截然不同的带兵方法。程不识曰：“李广军极简易，然虏卒犯之，无以禁也;而其士卒亦佚乐，咸乐为之死。我军虽烦扰，然虏亦不得犯我。”士兵人人自便，晚上不打更巡逻自卫，但如果匈奴进攻，大军没办法抵挡。程不识则以严格治军而闻名，他注重部队的编制，队列和阵式。晚上敲刁斗巡逻，军中事务繁琐，却不怕匈奴进犯。可是士兵却苦于程不识之严，都喜欢跟随李广作战，这是程不识对老战友李广委婉的批评。程不识景帝时因数次直谏而被任为太中大夫，为人清廉，谨于文法。
汉武帝三年(前133年)，汉用马邑城(今山西朔县)诱匈奴单于入塞。派大军埋伏在附近的山谷中，李广担任骁骑将军，受护军将军韩安国节制。单于发觉这种情况，引兵离去。
四年后，李广率军出雁门关，被成倍的匈奴大军包围，李广终因寡不敌众而受伤被俘。匈奴单于久仰李广威名，命令手下：“得李广必生致之”(《史记·李将军列传》)匈奴骑兵便把当时受伤得病的李广放在两匹马中间，让他躺在用绳子结成的网袋里。走了十多里路，李广装死，斜眼瞧见他旁边有个匈奴少年骑着一匹好马，李广突然一跃，跳上匈奴少年的战马，把少年推下马，摘下他的弓箭，策马扬鞭向南奔驰，匈奴骑兵数百人紧紧追赶。李广边跑边射杀追兵，终于逃脱，收集余部回到了京师。汉朝廷把李广交给法官，法官判李广部队死伤人马众多，自己又被匈奴活捉，应当斩首，后用钱赎罪，成为平民。这正是匈奴称其为“飞将军”的由来。
李广在家闲居期间，常与颍阴侯灌婴的孙子灌强到蓝田南山中射猎。曾有一次在夜间带着一个随从骑马外出，跟别人在乡间饮酒。归来时路过霸陵亭，霸陵亭尉喝醉了酒上前呵斥李广不让通行。李广的随骑说：“这是前任的李将军。”亭尉说：“就是现任将军尚且不能夜间通过，何况是前任将军!”于是就扣留了李广等人，留宿霸陵亭下。过了不久，匈奴攻人辽西，击败了韩安国的军队。于是皇帝召李广，封他为右北平太守。李广随即请求武帝，准许派遣霸陵亭尉一同前去。到了军中李广就把亭尉杀了，然后向皇帝上书谢罪。皇帝回报说：“将军，是国家的爪牙。《司马法》讲：登车不抚车前横木以礼敬人，遇到丧事不根据亲疏关系穿规定的丧服，振兵兴师去征伐不顺服的人，出征时，要统率三军之心，协同战士之力，这样才能做到一怒千里惊惧，威振则万物归顺，是以名声显露于夷貉，神威使邻国畏惧。报仇除害这是我期望于将军的，您若叩头请罪，这岂是我所指望的!”看来皇帝并没有因此而责备李广，倒欣赏他的这种做法。但这件事也从一个侧面反映出李广心胸的狭窄。
[同样是同时代的御史大夫韩安国，他坐牢的时，狱吏田甲辱安国。韩安国说：“你就不怕我死灰复燃?”田甲此人很幽默：“你复燃，我当洒尿灭之。”后韩安国被拜为梁内史。田甲知后，逃走。韩安国更幽默说：“不逃走就不杀，如果逃走，就灭其九族。”田甲不敢走，向韩安国认罪。韩安国笑着说：“你给我洒泡尿看看。”韩安国不仅放走了田甲，而且还善待了他。这就是韩安国一种大人不计小人过的气度。但李广却做不到。 ]
李广任右北平太守后，匈奴畏惧，避之，数年不敢入侵右北平。
