经过几次打击，匈奴依然猖獗。入代地，攻雁门，劫掠定襄(今山西省定襄)、上郡(今陕西绥德县东南)。公元前 123年二月，汉武帝又命卫青攻打匈奴。公孙敖为中将军，公孙贺为左将军，赵信为前将军，苏建为右将军，李广为后将军，李沮为强弩将军，分领六路大军，统归大将军卫青指挥，浩浩荡荡，从定襄出发，北进数百里，歼灭匈奴军数千名。这次战役中，卫青的外甥霍去病率 800精骑首次参战，取得了歼敌两千余人的辉煌战果。战后全军返回定襄休整，一个月后再次出塞，斩获匈奴军一万多名。但是，右将军苏建和前将军赵信与匈奴打了一场遭遇战，汉军死伤惨重，苏建突围逃回，赵信本是匈奴降将，兵败后就又投降了匈奴。
在讨论如何处置苏建弃军而逃的罪过时，有人建议将他斩首以建立大将军的威严，有人认为苏建是尽力而战的，不应斩首。卫青认为自己身为皇亲国戚，没有必要再建立威严;自己本有权力可以处决部将，却不敢擅杀。他要做一个人臣不敢专权的榜样，于是把苏建用囚车送回长安由皇帝处理。汉武帝赦免了苏建的死罪，令其交纳了赎金后贬为平民。
公元前 121年，西汉对匈奴的第二次大战役开始，由霍去病指挥，结果使汉朝完全控制了河西地区，切断了匈奴与羌人的联系。
为了彻底击溃匈奴主力，汉武帝集中全国的财力、物力，准备发动对匈奴的第三次大战役。公元前 119年春，汉武帝召集诸将开会，商讨进军方略。他说：“匈奴单于采纳赵信的建议，远走沙漠以北，认为我们汉军不能穿过沙漠，即使穿过，也不敢多作停留。这次我们要发起强大的攻势，达到我们的目的。”于是挑选了十万匹精壮的战马，由大将军卫青、骠骑将军霍去病各率精锐骑兵五万人，分作东西两路，远征漠北。为解决粮草供应问题，汉武帝又动员了私人马匹四万多，步兵十余万人负责运输粮草辎重，紧跟在大军之后。
原计划远征大军从定襄北上，由霍去病率骁勇善战的将士专力对付匈奴单于。后来从俘获的匈奴兵口中得知匈奴伊稚斜单于远在东方，于是汉军重新调整战斗序列。汉武帝命霍去病从东方的代郡出塞，卫青从定襄出塞。力战深入之士皆归属骠骑将军霍去病。
