在楚汉战争时期，匈奴冒顿单于乘机扩张势力，控制了中国东北部、北部和西部广大地区，建立起统一的奴隶主政权和强大的军事机器。
西汉初年，匈奴冒顿单于征服西域，设僮仆都尉，向各国征收繁重的赋税。匈奴还以西域作为军事上的据点和经济上的后盾，经常侵占汉朝的领土，骚扰和掠夺中原居民。
西汉王朝的统治者在同匈奴斗争的过程中，逐渐认识到西域的重要性，特别是在汉武帝即位之后。建元二年（前139 年），继位刚满三年的汉武帝更是雄心勃勃，在发会稽兵经略东越的同时，和谋臣们计议如何对付强敌匈奴，报复雪耻，改变屈从的地位。
这时，汉武帝从匈奴降人的口中得到一个使他振奋的消息。他听说在二三十年前，敦煌和祁连山一带有一个以游牧为业的月氏国，人口多达四十余万。由于人多势众，国力强大，所以一向不把匈奴人放在眼里。而匈奴的冒顿单于在很小的时候就曾经在月氏做过人质，后来冒顿率兵打败了月氏。冒顿单于死后，继任的老上单于更是一不做二不休，不仅再次击败月氏，而且还杀死了月氏王，并且把他的头颅做成酒器以饮酒扬威。
被逼无奈的月氏人有一部分被迫离开世代生活的居住地，心里充满了怨恨，但他们无能为力，只好含着眼泪朝西长途跋涉。到了天山北麓的伊犁河流域，月氏人才停顿下来，得以重整旗鼓，重建家园。这部分月氏人被称作大月氏，而留在敦煌祁连山故地的月氏人被称作小月氏。
可是好景不长，大月氏受到了匈奴支持的乌孙人的攻击，大月氏人只好再次向西南迁到妫水流域。在那里，他们征服了大夏国并定居下来。西迁的大月氏有报匈奴世仇之意，但一直苦于无人相助。
汉武帝听后跃跃欲试。他决定沟通与西域的联系，想联合大月氏夹攻匈奴，“断匈右臂”。所谓西域，是指后来的敦煌以西、葱岭内外的广大地区。后来由于交通益广，在葱岭以西、今中亚细亚一带，也概称西域。西域当时有36 国，人口最多的60 万，最少的只有几万人。