却说嘉定统制姚世安原本是个不学无术、卑鄙势利的小人，在余玠斩杀王夔又不许自己荐代利州都统后，便怀恨在心，刻意拉拢并重贿谢芜，请其回京向丞相谢方叔为自己说好话，同时诬余玠擅杀大将，拥兵专权，私启边衅之罪。
当是时，赏识并极力推荐余玠的大臣赵葵已被排挤出朝，由谢方叔主持朝政。故而正当宋军与蒙军在沔、利对峙之时，宋廷却连连下旨命余玠退兵。这宋朝自太祖赵匡胤开国以来，接受残唐五代藩镇割据为患的教训，重文抑武，最怕武将掌权立功，致尾大不掉，危及皇家。为将者，丧师失地，往往不予深究；而一旦出师大捷，就有功高震主之虞。余玠深知其中的奥秘，故而在连接三道金牌之后，便连夜退兵，以示遵旨立行，而无拥兵自重之意。
余玠本想趁着军政大权在手，再筑新城，精练士卒，好将四川建成抗蒙磐石，然后再伺机北伐。哪知朝中权贵仍不放过。丞相谢方叔、参知政事徐清叟，私下谓理宗道：“余玠恃治蜀有功，拥兵擅权，屡建山城，广收民心，其阴蓄异志、叛逆自立之迹已昭然若揭，朝廷不可不早做打算。”理宗惊问道：“当真有这等事？”谢方叔道：“其于出征前，无故斩杀大将王夔，就是立威擅权，岂能有假？”徐清叟道：“顷接嘉定统制密报，其兵进沔、利时，曾遣心腹大将王惟忠前往蒙营。具体干何勾当，众将不晓。但汪家军总帅赏以名马宝刀，则人尽皆知。微臣身为宰辅，应以国事为重，故不避嫌疑，命人暗中查访，其实有通敌之嫌。请皇上圣裁。”
理宗闻谢、徐二人之言，不由得汗流浃背，心想：“宁可信其有，不可信其无。”乃问道：“四川实抗蒙前线，赋税要地，不可轻视。眼下当如何处置？”谢方叔道：“陛下勿忧，只要将余玠削去兵权，召回临安，就无须圣虑了。”理宗点头道：“如此甚好。”