支持武则天的势力暗流涌动，反对她的大臣也开始逐步集结。这一派的首领是元老重臣长孙无忌。此外，还包括唐太宗任命的另一位顾命大臣，长孙无忌的忠实追随者褚遂良，以及刚刚在立宸妃问题上投过反对票的来济和韩瑗。两派人马都在暗中发展势力，中央的政治风云开始变得波诡云谲，并且逐渐向下波及。
风乍起，吹皱一池春水。立武则天为后的事，一时间成为大家关注的中心话题。长安县令裴行俭私下找到长孙无忌和褚遂良，议论说，武昭仪心术不正，她要是立为皇后，国家可就要遭殃了。这种私下议论马上被武则天的情报网探听到了，御史中丞袁公瑜迅速把这件事汇报给武则天的母亲杨氏，杨氏再传达给武则天，武则天再推动高宗作出反应。很快，裴行俭被贬为西州都督府长史，也就是被贬到今天新疆的吐鲁番，远远地离开了政治中心。此后不久，武则天的首席支持者许敬宗升迁为礼部尚书。皇帝的巨手终于显示出了威力：顺我者昌，逆我者亡。
随着两派官员的或升或降，原本看起来铁板一块的外廷官僚队伍逐渐分化。每个人都在观察，考虑自己的立场以及可能引发的后果。就在这紧张的气氛之中，永徽六年（655年）九月，唐高宗和武则天终于决定摊牌了。
据《唐会要》记载，这天，唐高宗在退朝之后单独留下了四位宰相，说要跟他们到内殿商量一件事。这四位宰相是谁呢？第一位是太尉、同中书门下三品长孙无忌，第二位是司空、同中书门下三品李勣，第三位是左仆射、同中书门下三品于志宁，第四位是右仆射、同中书门下三品褚遂良。唐朝的宰相制度比较复杂。首先，有一些官职是法定宰相，比如尚书省的长官尚书令，中书省的长宫中书令，门下省的长官门下侍中。在这之中，尚书令是正二品，中书令和侍中都是正三品。但是，因为尚书令权力过大，从太宗朝开始，尚书省不再设尚书令，所以，尚书省的副职左右仆射就成为宰相，都是从二品。此外，还有一些人不担任三省长官，但是也可以经由皇帝的任命成为宰相。这些人要成为宰相，一般要加“同中书门下三品”，或是“同中书门下平章事”等名号，就是说他们也和中书、门下两省的长官一样拥有决策权力。长孙无忌和李勣就都属于这种情况。