秦桧既然已经打定了主意要快速扳倒万俟卨，当即安排御史中丞李文会和谏议大夫詹大方弹劾万俟卨，说他“黩货营私，窥谣国是”。
而近日，赵构对万俟卨将与秦桧的私怨扯到朝堂政事上表现出非常不满，万俟卨这才渐渐察觉到赵构并没有让他代替秦桧的意思。
原来都是他想多了，他揣摩错了赵构的意思，一时野心膨胀，飘得太厉害，以为自己的地位即将位于秦桧之上，而当他清醒过来时，他也意识到他和秦桧已经彻底撕破脸，而且以秦桧在朝中的实力，他只能任秦桧鱼肉。
所以面对李文会和詹大方对他的弹劾，他并不感到意外，知道秦桧这次是要将他彻底赶下台，而且也知道自己这下已经是无力回击。
万俟卨认清了时势之后，只有一条路可选，那就是请求辞官。
但是赵构并不想将他一棍子打死，仍旧让他以资政殿学士的身份去外地任太守。
而秦桧是不将万俟卨弄下台不甘心，尤其是看到赵构对万俟卨如此仁慈更是妒火中烧。他指使给事中杨愿把万俟卨外派的诏书给退还给赵构，然后再变本加厉地弹劾万俟卨的贪污行径。
赵构只得收回成命，顺着秦桧的意思，改命万俟卨出守宫祠，提举江州太平观，让他手中再无实权。
至此，万俟卨被秦桧彻底赶下了政治舞台。
其中，给事中杨愿退还诏书涉及的便是台谏系统的“封驳制度”，台谏系统有权将诏书退还给皇帝，不执行皇帝命令，而此时，权倾朝野的秦桧控制了台谏系统，任何人不搞定他秦桧，哪怕是有皇帝撑腰都不行。
万俟卨被赶下台，心里最为痛快的莫过于朱小青和赵瑗，他俩一步步谋划好让万俟卨和秦桧鹬蚌相争，他们好从中得利。
在这件事情上，表面看来秦桧是铲除了异己，没有遭受什么损失，但实际上也是破敌一千自损八百。