嘉庆五年的新年刚刚过去，阮元便即踏上了东行之路，早在上一年末，阮元便即致信浙江提督苍保、定海总兵李长庚、黄岩总兵岳玺与温州总兵胡振声，约定次年一到，便共商海防之事，台州正在沿海三镇之中，是以阮元选了台州作为集议之所。这时胡廷森见阮元果然尽心政务，刑律、捕盗之事也日渐娴熟，便渐渐放下了心，告别了阮元北归扬州，而王昶依然留在巡抚部院。由于王昶也曾亲历乾隆朝数次大战，是以这次东行，阮元便特意邀请王昶一同前往。
路上车船东进数日，便即到了台州。到得台州府衙，果然看见李长庚、苍保、岳玺、胡振声四员提镇将军，早已在府衙中坐定。阮元见了四将，也一一行礼拜过，看着李长庚更是亲切，道：“西岩兄，你治军之事，我也是多有耳闻，西岩兄无论寒暑，都是身体力行，亲自操船掌舵，船只有了毁损，也同麾下官兵一起修理，堂堂一方镇台，能谦逊如此，实在让我惭愧了。”
李长庚也笑道：“阮中丞这是哪里话，其实中丞这两个月在浙江的所作所为，才真是让我刮目相看呢。听说中丞之前只做过翰林学政，州县却未亲历，可这两个月下来，乌鸦船、陈阿三两股剧盗，竟然全都被你剿灭了！论计划之密、行事之速，就连我也是自愧不如啊。不瞒中丞，你当时叫我派兵看守宁绍交界的时候，我可一直是疑惑不解，后来听说陈阿三一伙悉数就擒，才清楚其中始末啊！”
然而这时，苍保却忽然说道：“阮中丞，各位镇台，咱们今日到此，商议剿灭海寇事宜，确系必要，此间也尚有诸多未决之事，急需寻些可行之策出来。但这里毕竟是台州府衙，来往的人多了些，只怕……”
“苍军门所言有理，当下行事，须得谨慎。”阮元听了苍保建议，正与之前自己在抚院使用年长兵士的办法如出一辙，自然认同，可想寻个隐秘之处商谈军机却也不易。徘徊之间，忽然一瞥，见到城东有一座三层小楼在门墙中矗立，他曾任浙江学政，来过台州，知道小楼坐落何处，也对四名提镇说道：“各位提镇，在下之前在此处任过几年学政，那东首之楼，在下最是熟悉。那里是校士馆，那座楼名为四照楼，也有些时日不用了，正是个商议军机的绝佳处所，不如各位便随在下一起，移步校士馆如何？”