等霍光去世之后，大司马的权势并没有被削减，相反的，越发的膨胀了起来。汉成帝即位之后，王凤为大司马大将军辅政，政事大小皆自凤出，天子曾不一举手。
在当时，大汉的朝堂分为内朝和外朝。
大司马左右前后将军、侍中、常侍、散骑、诸吏为中朝。丞相以下至六百石为外朝也。
当时的大司马作为中朝之首，其主要职能只是为天子处理政务时充当参谋和顾问，献可替否，为更好地体现辅政职能。
西汉之制均以内朝官领尚书事，因此对诸将军来说，加官大司马实际成为领导中央枢机，直接辅佐皇帝，在内朝处理政务的重要标志。
对外戚而言，能否合理辅政，重要的是看能否袭司马号。被加授司马号，就可“履上将之位，食膏腴之都，任周召之职，拥天下之枢，可谓富贵之极，人臣无二。
大司马权位之重，由此可见一斑。
发展到了汉成帝、汉哀帝时期，大司马逐渐由加官向本官转化。废丞相改为大司徒，但大司马仍存，与大司空同属三公之一，共掌朝政。
据《汉书.百官公卿表》:“成帝绥和元年初赐大司马金印紫绶，置官属，禄比丞相，去将军。哀帝建平二年复去大司马印绶，官属，冠将军如故。元寿二年复赐大司马印绶，置官属，去将军，位在司徒上。“
从此以后，大司马由原来必须依附于将军的加官变成了金印紫绶，有官属，禄比丞相，位在司徒上的实实在在的独立职官，成为名正言顺的三公，正式纳入了正常的百官公卿官僚系统之中。
这就意味着大司马由旧的内朝领袖开始转为外朝首领。
后来王莽加九锡时策曰:“登大司马，职在内辅“。使大司马无论在名义上还是实际中都成为百官之首。大有汉初相国的风采。
最终王莽以三公大司马身份篡夺了汉家的天下。