孝宗皇帝一共在位二十三年，却在生命走到最后的那一年仲春，废掉了居于储君之位已整整二十二年的太子刘缜。
这件事如今也常被人拿来私下闲说，朱通就曾在回乡拜访卓衍时闲聊谈及。卓思衡还记得，朱通很不喜欢这位戾太子，说当年他来延和军治监视察军备，唯唯诺诺没有半点爷们儿样，军士摆阵呼喝几声，他都吓得一抖，自己是远远看得清楚，心中大为鄙夷，待到军中知晓太子被废的消息，大多数士卒都觉得活该，若是有天打起仗来，他们可不想跟着这种窝囊废卖命。
那时卓衍却只是轻声叹气道：“孝宗皇帝主政强腕，极有魄力，他的皇位乃是世祖危重时当众子全臣的面钦点，继位时又正值茂龄，上无虚悬之患下无掣肘之辅，他一贯强势从无挟制，可谓一生所向披靡，又怎知二十余年太平太子的艰难。”
即便此时，只有自己儿子在膝前静听，他也还是同样的评价：“太子虽秉性柔弱，却非无德，你祖父当了太子二十年的老师，曾多次和我们兄弟说，太子继位后，若有危急国事，我等必须直言强谏，万不可令其犹疑徘徊，太子虽懦，却明理晓事，真正为国为民的主张他定然不会视若无睹……其实我如今仔细想想，有孝宗这样的父皇，太宗如若秉性刚直且激烈，怕是更当不满二十年储君了。”
卓思衡觉得父亲说得没错，但想了想后，他仍然将自己的理解说出口：“我听朱五叔说，军中不喜欢太子，不只是士卒，将领也都嫌弃他柔懦……这样一来，即便他顺利继位也极有可能管辖不住武将与军勋，下面又有那么多强悍的皇弟觊觎，那这个皇位大概也坐不久。”
卓衍看了看儿子，似乎没想到他能想到这一层，不自觉点头道：“太子怕惹父皇猜忌，兵权有多远他躲多远，久而久之不知兵的恶名他也只能担在身上甩不脱了。”