曹操在南征孙权、刘备于赤壁失败后于209年七月自涡水、淮水出兵到达合肥，想攻取合肥，却不想又败于孙权之手，曹操感到向南实在难以发展，于是他便目光转向了东面的关中、凉州及汉中。关中、凉州是马腾和韩遂的势力范围，虽然马腾和韩遂表面上臣服于朝庭，马腾与先前入邺城作为人质的马铁、马休二子又入朝为官，韩遂也派儿子到邺城作为人质，但实际上关中、凉州仍是马腾与韩遂的割据范围，并不完全服从王化，所以，曹操便想先取关中、凉州，再去取汉中及至益州。
关中地区的部队是由十个大小军阀组成的联合体，马腾和韩遂只是这个联合体的两个头领，平时他们分散割据于自己的地盘，但在有外敌入侵时他们会集中起来共同对敌。
此前马腾与韩遂因部曲间的矛盾发生冲突，韩遂杀掉了马腾的妻子，两人连年交战，互不服气，208年，曹操派司隶校尉钟繇和韦端前去劝和，加封马腾为前将军，改屯于槐里，封为槐里侯、假节，同年，张既劝说马腾放弃部队入朝为官，曹操表马腾为卫尉，其部队由长子马超统领。
马腾带着家属迁往邺城，与先前在邺城为人质的次子马休、三子马铁住在了一起，曹操又表马休为奉车都尉、马铁为骑都尉。
曹操有心想取关中及凉州，但是曹操对外却只字不露，毕竟邺城内还有马腾父子及韩遂的儿子，曹操只说要去取汉中。但要去取汉中，曹军必须要经过马超和韩遂所控制的关中地区，在举行的军事会议上，曹操阐明了自己的想法：借关中道路去取汉中，丞相仓曹属高柔谏道，“丞相，如果借关中道路去取汉中，马超和韩遂必定生疑，甚至会举兵阻拦，以我看，丞相不如先取关中，如果关中平定，丞相只要一封书信到达汉中，汉中张鲁必会举城投降。”