史可法退至池州后，武昌南征大军终于出兵，湖广剿总总督杨彪亲领第一镇、独立八至十镇以及马守应所部，共计七万大军，号称二十万，于六月十六日出兵，水陆并进,直扑南都。
永历元年六月十八日，征东大军抵达九江，刘良佐束手听令，王忠即令其携带本部军马随军，其余裹挟之百姓，全部发还回家,并收拢船只一百六十艘,兵势日甚。
七月一日，靖北军水师抵达安庆，安庆知府杨肇泰在无一兵一卒的情况下，自知无力抵挡官军，遂令府丞黄良文向京师方面纳降，自己则挂冠而去。
七月四日，靖北军前锋杀入池州，史可法是战不得、守不得、降不得，遂改驻太平治所当涂，准备做垂死挣扎，这个时候史可法已经有了为南明桂王政权殉节的打算。
遂在当涂做作书绝命书于夫人“恭候太太、杨太太、夫人万安：逆军前锋已至太平，虽至今尚未兵临城下，然人心已去，收拾不来。法早晚必死，不知夫人肯随我去否？如此世界，生亦无益，不如早早决断也。太太苦恼,须报四太爷、大爷、三哥大家照管。炤儿好歹随他去罢。书至此，肝肠寸断矣。七月初四日,法寄。”
这封家书送至南都时,正巧被顾炎武、黄宗羲二人得知，遂有了观音门驳斥百姓之事。
“这个……。”
百姓们无言以对，顾炎武说的确实有些道理，刘良佐所部号称有十万之众，又有九江坚城，都能不战而降，史阁部带了三万兵退守太平，那也算不得什么事。
“诸位乡亲还是散了吧，京师那边来的军马也是大明兵，南都城内的官兵也是大明兵，无论是哪个得势了，对咱们百姓都不会有什么伤害的。”
顾炎武虽说南明伪朝是个兵部司务，但对谁主政，他是真的没有什么意见因为在顾炎武看来，亡国”与“亡天下”，完全是两个不同的概念。