钟离一听，一开始有点不高兴，心想：你毛伯温也是见过大世面的人，居然这么不给我面子。转念一想：哦，不对，他是不信任嘉靖，担心魏不群是个草包。哎，你毛伯温虽是忠臣，无奈结局很惨啊。
钟离因为嘉靖当初赠给毛伯温的《赠毛伯温》诗，而了解到这个人。毛伯温后来的结局不好，史料记载，嘉靖二十一年（1542年）正月，毛伯温班师回朝，仍旧办理都察院的职事，他还不是兵部尚书。
这年十月，那个被巡按四川御史谢瑜称为四凶之一的兵部尚书张瓒去世，嘉靖就让毛伯温临时代理兵部的事务。
张瓒这人在位时不务正业，玩弄权柄，不能尽职，在兵部当了八年尚书，军事上搞得一塌糊涂。
毛伯温这人很负责，当即召集朝臣们商议后奏上二十四条防边建议，军令为之一新。同时，毛伯温还递上关于应当裁减的冗滥人员的二十多条意见，举凡锦衣、腾骧等卫，御马、内官、尚膳等监，这些一向被宦官们占据的部门，都在裁减之列。明世宗称赞这个建议，命令立即照此清理。朝廷中多年来存在的这些弊端得到了很大改善，却得罪了朝廷之中的宦官，这些人暗中忌恨毛伯温，伺机收拾他。
嘉靖二十三年（1544年）秋天，朝廷征调各地的士兵来防秋，就是秋季丰收季节时，防备北方的元朝残部来掳掠。防了很久没事，顺天巡抚朱方就请撤回临时派驻的客兵。事儿就是那么巧，这些士兵们刚撤了不多久，北寇大举入侵，因为很多地方的防守都撤了，所以他们一度直逼京师近郊。嘉靖十分害怕之后大为震怒，一并逮捕了总督翟鹏，让他充了军，把朱方打死在大棍之下。这时候，那些忌恨毛伯温的人就对嘉靖说毛伯温的坏话，说朱方只是建议撤回蓟镇的客兵，但他无权撤兵，真正主张把宣府、大同的客兵一起撤回的是毛伯温和职方郎韩最。明世宗于是把毛伯温削除官籍，把韩最打了八十大棍，发配到最边远的地方充军去了，途中被赦免归乡。