确认二天王驻兵茶山，盛怀恩和李丹也不再往前走，把营盘扎在三里外的花溪，远远进行监视，同时派人给李廷送去这消息。
李廷闻讯便也带兵向前，到花溪以西距离两里的丁家桥下寨，从侧翼威胁娄自时主力，并与盛怀恩部成犄角之势。
自此上饶之战的局面已经完全逆转了。获得充分补给的守城军民在看到堆积如山的缴获，以及一队队垂头丧气的俘虏，全城都如过节般兴高采烈！
当晚，娄自时召集手下沉痛宣告：
由于银陀轻举妄动造成吉阳山大营失守，官军已形成侧后包围之势，故而上饶攻略已不可能。
决定以娄世明断后，自己和娄世用（实际此前已去偷袭玉山县）退往玉山县，其余人一部随娄世明退往朝阳和广丰，另一部在武卫将军梁歇带领下由水路进驻铅山。
此前有部分队伍已经向后调动，所以大军后撤并无慌乱，在层层护卫下从容拔营而退。走水路的梁歇也到灵溪渡和早调到这里的水军会合，登船南下了。
上饶之围彻底解除，军民奔走相告，许多街道上响起了“劈里啪啦”的爆竹声。
待最后一批人在娄世明率领下登船渡过饶北河，哨骑回报，韩知府和于参将皆大喜，纷纷铺纸润笔开始写奏折，准备向朝廷告捷，并由于参将亲自带着犒军赏赐前往茶山营。
营里欢天喜地，不但因为有酒肉的缘故，团练们终于为能够活着离开上饶松口气了。
李丹却叫来钟四奇，让他去晓谕各营不可贪杯多饮，夜间加双岗警戒。“别忘了他们有船，能渡过河去，就能杀个回马枪敲我们一顿！”李丹让他把这话带给众人。
晚间盛怀恩把他叫去自己的帐内，两人推杯换盏喝了半瓶凤泉酒后开始聊天。
吴茂这时带着冯参找过来向李丹请罪，原来那娄自时为了不让其他人察觉银陀下山的事情，早早便以官军异动为由进行戒严。