元代政治制度中对后世影响最为深远的就是行省制度的建立。
忽必烈即位后，采用汉制，在开平建立了中书省，作为全国的最高行政机构。后来随着元代统治中心迁往燕京（现北京），忽必烈在燕京又设立了行中书省，以行使中书省的职责。约在中统三年，中、行两省合并，此后就不再有“燕京行中书省”。
正如中书省是全国的最高行政机构，行中书省则是个地方的最高行政机构。在习惯上行中书省被称为行省。在设立尚书省主持政务期间，又改称为“行尚书省”，简称“省”。
大体上行省的设立过程是这样的。1260年5月，也就是在忽必烈设立中书省一个月后，即设置了十路宣抚司，“以总天下之政”。这十路分别是：燕京路、益都济南等路、河南路、北京等路、平阳太原路、真定路、东平路、大名彰德等路、西京路、陕西四川等路。每司分领一路或数路，派藩府旧臣出任宣抚使、副，作为朝廷的特命使臣，监督和处理地方政务。但宣抚司无处置军务的权力，使、副又多数没有宰臣职衔，如果发生叛乱或社会治安等方面的特殊情况就不足以应付了。于是忽必烈把一些地区改置行中书省。1261年11月，忽必烈撤销了十路宣抚司。在第二年的12月，重新设立十路宣抚司，但将它作为中书省的派出机构。
忽必烈在外路设立的第一个行中书省是陕西四川行省（京兆行省）。
陕西四川行省设立在阿里不哥叛乱时期。1260年，京兆宣抚使廉希宪到任时，为防止阿里不哥已派来的亲信大臣刘太平联络六盘山及四川蒙古军帅，占据京兆地区。廉希宪果断地捕杀了刘太平等人，征调秦、巩等处诸军进入六盘，发仓库金银充军赏，同时遣使入奏，自劾越权的罪过。忽必烈没有责怪他，因为这是他建立的制度存在缺陷而造成的。所以在这件事后，他赞赏廉希宪善于行权应变。这一年的8月，忽必烈将京兆宣抚司改置为行省，即陕西四川行省，以廉希宪为中书右丞，行行省事。这以后，忽必烈又在其他地区先后设立了行省。由于种种原因，几经置废分合，最后稳定为十个行中书省，分统除中书省直辖诸路以外的各大地区，形成了“都省握天下之机，十省分天下之治”的行政区划格局。吐蕃地区直属中央机构宣政院统辖，所以不置行省机构，但也被视为一个行省。这样，元朝全境共划分为12个一级政区，即中书省直辖、十行省及吐蕃。在1286年以前，行省仍属于中书省的临时派出机构。直到1290年，忽必烈在晚年再次调整了行省建制，他将山东、山西、河北等地直接划归中书省管辖，称为“腹里”。腹里以外的地区则分置岭北、辽阳、河南、陕西、四川、甘肃、大理、江浙、江西、湖广10个行省。自该年始，行省各长官不再是中书省衔，这样行省就成为最高地方行政机构。不过，吐蕃和畏兀儿地区另立管辖机构，不在这一范围之内。