大军出发前正值秋收，关东发生罕见的蝗灾。集结到敦煌的大军没有得到充足的给养就踏上了征程，只好沿途向西域各国筹集军粮。拒绝交粮的，一律视为大宛盟国，破其城，灭其族。
汉军到达大宛边界的时候，已经是初冬时节。由于水土不服，粮食缺乏，一路跋涉大漠荒滩，汉军饿死、渴死、病死的不计其数，2万大军损失了一大半，马匹也伤亡殆尽。士兵们一个个面黑肌瘦，像灾民一样。
两军在郁成国都城附近展开了激战。精疲力竭的军队呐喊着发起冲击，竟然将大宛和郁成国的联军压制。最后郁成军逃回国都，大宛军则向贵山城后撤。汉军立即包围了郁成国都城，猛烈攻击。双方一连两天僵持不下，郁成国损失惨重，国王甚至产生了投降的想法。就在这时，大宛骑兵突然从侧后杀了回来。疲惫不堪的汉军腹背受敌，终于支持不住，向东方溃败。大宛骑兵沿途追杀，汉军尸横遍野，最后，李广利仅带着几百人逃回了敦煌。
汉武帝听说李广利战败，怒发冲冠。他已经几十年没有尝过打败仗的滋味了，李广利带大军竟然攻不下西域一个小国，这对他来说实在是莫大的羞辱。而且，一些西域小国如轮台等，得知汉军讨伐大宛失败，也不再把大汉放在眼里，驱逐、侮辱汉朝使节之事时有发生，有的还重新与匈奴取的联系。
幸亏李广利是汉武帝爱妃的哥哥。因此，汉武帝没有治李广利的罪。但他命边境守军关闭玉门关，称军队中有敢进入玉门关的杀无赦。李广利惊恐万状，留在敦煌待命。
超重大臣们原本不同意汉武帝兴师动众地讨伐大宛。但这次打了败仗之后，大家的意见却空前一致了。大臣们都认为：本来这仗不值得打。但既然打了，而且打输了，就决不能这样算了。因为，这次败仗将严重影响汉朝的威严，让西域各国小觑汉朝，重新与匈奴勾结，导致汉朝几十年抗击匈奴的心血白费。因此，朝廷上下一直请求汉武帝再次出兵，为汉朝赢回威信。
得到了大臣的一致支持，汉武帝大为振奋，命桑弘羊负责军需，调10万匹军马、10万头牛和骆驼，运输物资，调 50万只羊作为随军的肉食，同时继续征集各地刑徒、无赖、恶少组成20万人的大军队，所有物资、军队仍交给李广利率领，命他继续进攻大宛，戴罪立功。汉武帝听说大宛人饮水都是接自城外，还特意派了几名水利专家随军前往。
