在刘邦新政权有“内忧”的同时，“外患”也出现了——北方的匈奴南下，开始威胁汉王朝的统治。
早在夏王朝时，匈奴就在北方渐渐发展起来，且因为匈奴民族的游牧习性，他们擅长骑马射箭、游击，“神龙见首不见尾”，难以捉摸。秦统一六国后，曾派蒙恬大将军率兵三十万攻击匈奴，收复了河套一带。
秦末汉初到楚汉争霸这些年，匈奴人休养生息、发展壮大，渐渐势力强大起来。冒顿单于杀死了其父头曼单于，自立为单于，并且统一了匈奴和部，使匈奴达到了前所未有的强盛。匈奴很快占领了河套平原的一些郡县，到汉初，甚至已经开始威胁到汉王朝的统治。
前面，我们提及韩王信曾投降匈奴。其实，刘邦在为韩王信划封地时就后悔了，因为韩王信的封地是战略要地，一旦失守，就会危及中原。于是，刘邦便以防御匈奴为名，将韩王信的封地迁至太原郡，以晋阳（今山西省太原市）为都。
不久，韩王信上奏，说晋阳离边疆太远，不利于守御，请求将王都迁到更北方的马邑（今朔州），得到刘邦批准。
韩王信与匈奴交战，败多胜少。汉高祖六年（公元前201年）秋，冒顿单于亲率军队，以十万铁骑围攻马邑，韩王信只得多次派使者与匈奴求和。
刘邦怀疑韩王信暗通匈奴，致书责备韩王信，韩王信担心会被诛，便与匈奴约定共同攻汉，以马邑之地请降。随后韩王信与匈奴挥师南下，攻下太原郡。
由于汉军节节胜利，产生了麻痹轻敌的思想。刘邦到达晋阳后，听说匈奴驻兵于代谷（今山西省繁峙县至原平市一带），于是先派人侦察冒顿虚实。而冒顿将其精锐士兵、肥壮牛马等隐藏起来，只显露出年老弱小的士兵和瘦弱的牲畜，派去的十余批使臣回来都说匈奴可以攻击。刘邦派刘敬（娄敬）再去出使匈奴，他回来报告说：“两国交兵，这时该炫耀显示自己的长处才是。现在我去那里，只看到瘦弱的牲畜和老弱的士兵，这一定是故意显露自己的短处，而埋伏奇兵来争取胜利。我以为匈奴是不能攻打的。”这时汉朝军队已经越过了句注山，二十万大军已经出征。刘邦听了刘敬的话非常恼怒，骂刘敬道：“齐国孬种！凭着两片嘴捞得官做，现在竟敢胡言乱语阻碍我的大军。”就用镣铐把刘敬拘禁起来押在广武县，准备凯旋后进行处罚。