张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴。张骞的一席话，更使他动心。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居(今乌兹别克斯坦和塔吉克斯坦境内)。康居王又遣人将他们送至大月氏。
不料，这时大月氏人，由于新的国土十分肥沃，物产串富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了。加之，他们又以为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但始终未能说服月氏人与汉朝联盟，夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城(今阿富汗的汗瓦齐拉巴德)。元朔元年(前128年)，动身返国。
归途中，张骞为避开匈奴控制区，改变了行军路线。计划通过青海羌人地区，以免匈奴人的阻留。于是重越葱岭后，他们不走来时沿塔里木盆地北部的“北道”，而改行沿塔里木盆地南部，循昆仑山北麓的“南道”。从莎车，经于阗(今和田)、鄯善(今若羌)，进入羌人地区。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。
元朔三年(前126年)初，军臣单于死了，其弟左谷蠡王伊稚斜自立为单于，进攻军臣单于的太子于单。于单失败逃汉。张骞便趁匈奴内乱之机，带着自己的匈奴族妻子和堂邑父，逃回长安。这是张骞第一次出使西域。从武帝建元二年(前139年)出发，至元朔三年(前126年)归汉，共历十三年。出发时是一百多人，回来时仅剩下张骞和堂邑父二人。所付出的代价是何等高昂!
张骞这次远征，仅就预定出使西域的任务而论，是没有完成。因为他未能达到同大月氏建立联盟，以夹攻匈奴的目的。如从其产生的实际影响和所起的历史作用而言，无疑是很大的成功。自春秋以来，戎狄杂居泾渭之北。至秦始皇北却戎狄，筑长城，以护中原，但其西界不过临洮，玉门之外的广阔的西域，尚为中国政治文化势力所未及。张骞第一次通使西域，使中国的影响直达葱岭东西。自此，不仅现今中国新疆一带同内地的联系日益加强，而且中国同中亚、西亚，以至南欧的直接交往也建立和密切起来。后人正是沿着张骞的足迹，走出了誉满全球的“丝绸之路”。张骞的“凿空”之功，是应充分肯定的。
张骞第一次出使西域，不仅是一次极为艰险的外交旅行，同时也是一次卓有成效的科学考察。张骞第一次对广阔的西域进行了实地的调查研究工作。他不仅亲自访问了位处新疆的各小国和中亚的大宛、康居、大月氏和大夏诸国，而且从这些地方又初步了解到乌孙(巴尔喀什湖以南和伊犁河流域)、奄蔡(里海、咸海以北)、安息(即波斯，今伊朗)、条支(又称大食，今伊拉克一带)、身毒(又名天竺，即印度)等国的许多情况。回长安后，张骞将其见闻，向汉武帝作了详细报告，对葱岭东西、中亚、西亚，以至安息、印度诸国的位置、特产、人口、城市、兵力等，都作了说明。这个报告的基本内容为司马迁在《史记·大宛传》中保存下来。这是中国和世界上对于这些地区第一次最详实可靠的记载。至今仍是世界上研究上述地区和国家的古地理和历史的最珍贵的资料。
汉武帝对张骞这次出使西域的成果，非常满意，特封张骞为太中大夫，授堂邑父为“奉使君”，以表彰他们的功绩。
张骞这个人性格坚强而有毅力，度量宽大，对人讲信用，蛮人很喜爱他。堂邑甘父是匈奴人，善于射箭，处境窘迫的时候就射捕禽兽来供给食用。当初，张骞出发时有一百多人，离汉十三年，只有他们二人得以回还。
西域有广义与狭义之分。狭义的西域自玉门关以西至葱岭以东，即今天的新疆天山南北，包括准噶尔沙漠以南，西藏高原以北，巴尔喀什湖附近地区;而广义的西域则包括葱岭以西的亚洲西部和欧洲东部一带。本书所指的西域，主要是今新疆地区。
西域同内地的联系据说开始于西周时期的第五个君主周穆王。西晋汲郡战国魏襄王墓中发现的《穆天子传》曾记载，周穆王驾八骏，率六师，行数万里，到西方的瑶池会见西王母国君。据传，西王母国即在西域。但是，西域同内地频繁的联系，则是始于西汉王朝，特别是汉武帝统治时期，所以史称西域以孝武时始通②。
