有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“你现在穷困，将来定为贵人，官至封侯。”卫青笑道：“我身为人奴，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢?”
卫青长大后，不愿再受郑家的奴役，便回到母亲身边，并做了平阳府的骑奴。他怨恨郑家对他没有一点亲情，决定冒姓为卫，完全与郑家断绝关系。
公元前 139年春，卫青的姐姐卫子夫被汉武帝选入宫中，卫青也被召到建章宫当差。这是卫青命运的一大转折点。
卫子夫有了身孕，引起了陈皇后的嫉妒。陈皇后是汉武帝姑姑馆陶长公主刘嫖的女儿，与汉武帝成亲后，被立为皇后，但是无子，妒忌卫子夫。馆陶大长公主为了给女儿出气，意图谋害卫青。她抓到卫青，准备处死。卫青的好友公孙敖听到了消息，马上召集了几名壮士，赶往抢救，把卫青从死亡的边缘夺了回来。汉武帝得知后，大为愤怒，于是任命卫青为建章宫监、侍中，“及同母昆弟贵，赏赐数日间累千金”。卫子夫为夫人，卫青也为太中大夫。
公元前 129年，匈奴又一次兴兵南下，前锋直指上谷(今河北省怀来县)。汉武帝果断地任命卫青为车骑将军，迎击匈奴。从此，卫青开始了他的戎马生涯。
这次用兵，汉武帝分派四路出击。车骑将军卫青直出上谷，骑将军公孙敖从代郡(治代县，今山西大同、河北蔚县一带)出兵，轻车将军公孙贺从云中(今内蒙古托克托东北)出兵，骁骑将军李广从雁门出兵。四路将领各率一万骑兵。卫青首次出征，但他英勇善战，直捣龙城(匈奴祭扫天地祖先的地方)，斩首 700人，取得胜利。另外三路，两路失败，一路无功而还。汉武帝看到只有卫青胜利凯旋，非常赏识，加封关内侯。
汉朝对匈奴的反击，使得匈奴的进犯更加猖狂了。公元前 128年的秋天，匈奴骑兵大举南下，先攻破辽西，杀死了辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。汉武帝派匈奴人敬畏的飞将军李广镇守右北平(今辽宁省凌源西南)，匈奴兵则避开李广，而从雁门关入塞，进攻汉朝北部边郡。汉武帝又派卫青出征，并派李息从代郡出兵，从背后袭击匈奴。卫青率三万骑兵，长驱而进，赶往前线。卫青本人身先士卒，将士们更是奋勇争先。斩杀、俘获敌人数千名，匈奴大败而逃。
