公元前123年，张骞以校尉随大将军卫青出征匈奴，有功，封博望侯。公元前121年为卫尉，与李广出右北平（今河北东北部）击匈奴，张骞因延误军期，当斩，后用侯爵赎罪，免为庶人。两年后，张骞复出，给武帝上书建议联合乌孙（在今伊犁河流域）断“匈奴右臂”。汉武帝批准后，派张骞第二次出使西域。
汉武帝派了三百人跟张骞一同出使，另有牛羊金帛以万数。张骞到乌孙，分遣副使往大宛、康居、月氏、大夏、安息、身毒等周边各国，足迹遍及中亚、西南亚各地，最远的使者到达地中海沿岸的罗马帝国和北非。不过，这次出使乌孙虽然一路顺利，但目的并没有达到，因为此时乌孙国内爆发了内战。尽管没能立即与乌孙结成军事联盟，但双方在政治上和经济上的联系变得频繁而密切，两国之间的农牧产品的交流蓬勃开展，并确立了和亲关系。公元前105年，江都公主刘细君下嫁乌孙王昆莫。
张骞回国后被封为大行，列于九卿，于第二年去世。之后，他派出去的那些出使西域各国的副使陆续与西域诸国建立了往来关系，汉朝与西域的道路完全打通，来往使者络绎不绝。张骞两次出使西域，不仅丰富了当时国人的地理知识，扩大了地理视野，而且直接促进了汉朝和西方物质文化的交流。中国精美的手工艺品，特别是丝绸、漆器、玉器、铜器传列西方，而西域的土产如苜蓿、葡萄、胡桃（核桃）、石榴、胡麻（芝麻）、胡豆（蚕豆）、胡瓜（黄瓜）、大蒜、胡萝卜，各种毛织品、毛皮、良马、骆驼、狮子、鸵鸟等陆续传入中国，西方的音乐、舞蹈、绘画、雕塑、杂技也传入中国，对中国古代文化艺术产生了积极的影响。