唐太宗登上王位之后，亟须整顿最高决策集团。这是因为当时的决策机构已经不能顺应形势，只有及时调整，才能促进唐朝的发展。要想进行调整和改组，唐太宗就要罢免很多老臣。首先，他罢免了裴寂。对待裴寂，唐太宗给予了很优厚的待遇，但是他却剥夺了裴寂的实权，使得裴寂不能继续参与政事。后来，因为抓住了裴寂与法雅往来的证据，唐太宗决定处死裴寂。但虽然证据确凿，他最终还是免裴寂一死，而是把裴寂发配到了边地，从而使得裴寂和当朝的大臣都心服口服。李世民不仅对李渊时期的老臣进行罢免，对于追随自己、对自己忠心耿耿的人，唐太宗也会罢免。他罢免这些人只有一个原因，那就是他们的思想因循守旧，不能做到与时俱进，对朝廷和国家的发展不利。唐太宗虽然罢免了这些旧臣的职务，但是并没有削减他们的待遇。例如，他经常会慰问对自己忠心追随的陈叔达，在宇文士及患了重病的时候还亲自去看望等。在此过程中，唐太宗提拔了很多优秀的人才，把他们分配到重要的岗位上，其中就有他从东宫争取过来的人才。唐太宗任人唯贤，他并不因为这些人曾经效忠东宫，就对他们冷眼看待，反而会对他们委以重任。
唐太宗历时几年终于完成了对唐朝最高决策层的改组，唐朝呈现出焕然一新的局面。在完成了对朝廷官员的改组后，唐太宗又开始改革官制。中国封建社会经历了几百年的动乱时期，从来没有真正实现繁荣。唐太宗深刻总结了隋朝灭亡的经验，认识到如果君主昏庸，政治体制不完善，那么朝代必然会很快灭亡。为了顺应社会发展的需要，唐太宗制定了改革的方针。
首先，他沿用魏晋时期形成的三省制度，并且对三省制度进行了改革。其次，他还改革了各地的郡县。因为旧的郡县设置很不利于朝廷的统治。最后，他还根据山川的形势对全国进行划分，把全国分为十道，这就使得朝廷对地方的控制更加严密。