借着称王建国的机会，张武又对国家机构进行了一些调整，摒弃了以前的三公九卿制，在中央正式施行三省六部制。
三省即中书省、门下省和尚书省，六部指尚书省下属的吏部、户部、礼部、兵部、刑部、工部。
三省六部制从西汉时期就开始发展，至隋朝时期正式确立，随后成为封建时期各个王朝的主要行政体制，对于分散丞相的权力、加强中央集权、提高工作效率有很积极的作用。
三省之中，中书省负责草拟和颁布皇帝的诏书，算是决策机构；门下省负责审核政令，如果发现不符合皇帝的意思或者政令不可行，则有权驳回；尚书省只负责执行政令，无其他权利。这样三省之间互相分工合作又互相监督牵制，将原来丞相的权力一分为三，加强了皇权。
尚书省形成于东汉时期，当时叫做尚书台，中书省和门下省在东汉末年已经有了雏形。汉光武帝刘秀在尚书台设三公曹、吏曹、民曹、客曹、二千石、中都官曹等六曹尚书，其实就是六部的前身。
因此张武推出这个三省六部制后，很快就被文武百官熟悉和接受，因为很多机构以前就有，现在只不过是换了个称呼。
随后，张武任命了各省各部的长官。中书省的长官为中书令，由黄射担任，下设中书侍郎、中书舍人等官职，分别由原楚候府的属官和能力出众的文官担任。
门下省的长官称侍中，由马良担任，下设门下侍郎、给事中等官职，也由原楚候府的属官和能力出众的文官担任。马良身为正宗的外戚，前几年被张武一直压着没有升官，但这两年的升官速度可谓飞快，也许张武觉得自己年龄越来越大了，想做一些未雨绸缪的事情。
马良虽然兄弟多，但大都身体不好，马家老大已经病故，老二也已经辞官在家养病，只有老三和老四在张武身边做事，然后就是马谡这个最小的在甘宁麾下锻炼。