在请求江万载劝说太后同意卫王开府琼州的事情上，其实不只是应节严来过，朝中还有多人通过各种渠道，以各种理由找到他，其中也不乏朝中重臣，但都为江万载一一所拒。而他之所以如此，并不只是自己一直在权衡利弊，还有一个原因便是顾忌到太后的声誉。
世人皆知度宗皇帝留有三子，嫡子赵显继位后短短两年便丢了江山，被鞑子掳往北方削了帝号。余下两位皇子在谢太后的主持下于临安失陷的前夜出逃福州，按说这两位皇子皆非嫡出，又都是不通世事的幼童，立谁为帝都说得过去。
可最终还是落到了赵昰的头上，公开解释也是说其身份高贵，自幼聪颖，至诚纯孝，年纪又稍长。但谁都也明白，论出身赵昰生母也不过是个嫔，生下皇子才被升为妃，不比赵昺生母高多少。而同为先帝的儿子，身份高贵岂不是胡言。那自幼聪颖和至诚纯孝同样是胡说八道，一个孩子能看出什么来。也只有年纪稍长还说得过去，符合立长不立幼的礼法。
于是乎在赵昰继位不久便有非议传出，言称众臣有意立赵昺为帝，但因为其生母已逝。而今先帝后妃中杨淑妃地位最高被尊为太后，因为其一意要立自己的亲子为帝，所以才在国舅杨亮节的周旋下皇位才落到了赵昰的头上。潜台词便是赵昰的皇位是抢的弟弟的，而杨太后则处事不公，偏袒自己的亲子，排挤其他皇子。
尊太后、拥立新帝的事情江万载一直参与其中，他当然清楚其中的经过，而那些非议都是谣言，除一些是别有用心的人编造的，还有便是国舅杨亮节因为争权与皇室宗亲和朝臣们交恶，从而引起众多人的不满，失败者便用传言来打击政敌的。这些谣言传播甚广，虽然最终被一一澄清，可还是给了杨太后很大的精神压力。
此后又接连发生了卫王误上疫船与朝廷大队失散，和卫王主动要求出质蒙古的事件，使得谣言再起，称太后为保亲子的帝位稳固，不惜假手他人除掉卫王。知情者清楚这两件事都与太后无关，但不知情者因为事情太过诡异，却不由不信。