第二天，刘秀依照与众将商量好的计策，宣布率军撤离幽州。同时上表举荐彭宠为幽州牧，铫期为蓟县县宰。
因为与洛阳路途遥远，所以不待朝廷的回复，大军即拔营启程，数日之内，走了个干干净净。那幽州和涿郡等地的大户闻听，一个个弹冠相庆，非常开心自己不费吹灰之力，就挤走了一个皇上的眼中钉。
然而，只高兴了不到半个月，他们就高兴不起来了。化名刘子舆的王朗得知刘秀撤离幽州，立刻派遣他的侄儿王德，带领三万大军浩浩****开了过来。先前溃逃到飞狐岭、白狼山等地的五校军残部，也再度拎着刀矛杀出了山外。
这两支部队，可不像刘秀那么讲道理。见到田庄堡寨，立刻团团包围起来索要金银细软，粮食麻布，稍不满意，都杀人放火。看到漂亮一点的少女，不管对方是否婚配，就直接往马背上绑。看到结实一些的男子，也不管对方在家中是不是独子，直接拉去充当壮丁。
如此一来，几个带头闹事的大户可是彻底抓了瞎。连忙派遣家中长子出面，向幽州牧、蓟县令和涿郡太守求救。结果，到了渔阳，才发现耿况正在生病，根本不能视事。而蓟县县令铫期，手里只有五百老弱病残，连守住蓟县都没指望，更甭说带兵去征讨五校军残部。唯一答应帮忙的只有涿郡太守王梁，可他说得也很清楚，自己势单力孤，绝对挡不住王德麾下三万大军，必须先上本向朝廷求援，待朝廷的援兵赶到，才能出马。否则，只能据涿县县城死守，无力顾及其他。
幽州距离洛阳遥远，信使即便骑着快马星夜兼程，一来一回也得大半个月。而朝廷从做出决策到兵马抵达幽州，恐怕至少得小半年。等朝廷的援兵到了，众高门大户的财产，早就被五校军给抢光了，根本不可能有任何人能够幸免。