西域，最早的时候，并不归属于大汉王朝管理。
原本这里，有一大群的零散小国，之所以，大汉王朝的手脚，会涉足到这里来，其实，这也要多亏了匈奴人。
匈奴是大汉王朝北边的一个游牧民族，秦末汉初的时候，逐渐发展成为强大的奴隶制国家。它到处向外扩张。在西面，它击走了月氏，取得河西走廊，并出兵西域，残酷统治西域各族人民。
到了汉武帝即位时，大汉的社会经济已得到恢复发展，国力空前强盛。于是改变防守态势，决计主动出击，根除边患。
汉武帝一方面派张骞两次出使西域，寻找同盟力量，以断匈奴右臂，另一方面派卫青等率骑出雁门、代郡、云中等地，打败了匈奴，夺回河套地区。
后来，骠骑将军霍去病两次进军河西，击败匈奴，汉得河西走廊，置河西四郡。
不久之后，卫青、霍去病又率大军深入匈奴腹地，与单于接战获胜，杀的匈奴远遁，而漠南无王庭。
除了武力镇压之后，汉武帝，还派遣了张骞前后二次去西域，扩大了汉朝的影响。西域诸国早就知道大汉是个非常富饶的国家，很想建立关系，苦于匈奴的阻挠，欲通不得。
当下匈奴已遭受汉朝的打击，当然更乐意与大汉接近了。
于是汉朝频频派人到西域，一年中出使的多则十余次，少的五六次；每次去的人有百余、数百不等，出现了“使者相望于道”的空前盛况。但这时匈奴在西域的统治还没有根本动摇，一些国家慑于匈奴的压力，故意刁难汉使。
但几年之后，大汉远征大宛取胜，自此西域震恐，都遣使来贡献。
因为这条丝绸之路的成立，大汉为了让商道没有阻隔，便开始在这里设立校尉，以保护汉与西域诸国间的交通孔道，天山以南地区便在汉的控制下。