前文说过，安南军入侵广州残宋，攻陷了邕州、廉州、钦州、梧州等城，直逼广州城下。吓得宋钦宗赵恒扔下守城军民，带着禁卫军逃去了泉州。老赵家对内巧取豪夺，对外表面王道实际舔道，靠大撒币维持大国形象，是有传承的。
大华朝传来信息，林冲保证不在广州残宋与安南入侵者相争时攻击残宋，并把这个保证登载在新华旬报上，新华旬报还建议宋钦宗速速调回在福建路、江南西路、荆湖南路等地与大华军相持的军队，回救广州，赶跑安南人，残宋朝廷内部也多有人如此建议。
但赵恒还是带着朝廷重臣，禁军主力跑了，剩下二三万杂军在广州，由都统毕进领着，端明殿学士李光不愿跟赵恒逃跑，主动请缨留守广州。面临安南入侵，大华朝和广州残宋的不同应对，使得赵恒的威望，持续下滑。
广州人却不愿等死，他们有钱出钱，有力出力，数万民众武装起来，在毕进和李光的率领下，固守广州，令安南军队攻击近一个月而无法破城。
一开始广州军民是惶恐的，守城是生疏的，一段时间过去后，广州城守出了经验，守出了信心。但就在此时，意外发生了。
话说来自大食和波斯的商人，海路上的，自隋唐起便开始计入中国，渐渐地，有人定居于中国，而大商港广州城，便是他们的首选。
这些定居的番客，渐渐形成了势力，收买地方官员，建教寺，传青教，还组建了一支主要由昆仑奴（黑人）为主的雇佣军，兵力多达数千人。甚至有一次，番客们竟然指挥这支雇佣军劫掠、焚毁广州城，然后乘船西去，此时已趋衰弱的唐朝朝廷对此也是无可奈何。此后，番客在广州我行我素，成为城中最无法无天的群体。番客成群成势后，行为模式基本上是林冲穿前众所周知的，即：我到你处，你要尊重我的习俗；你到我处，你要遵守我的习俗。