白南在广州期间，有时候是住在潘家大院，有的时候则是回到货船上居住。毕竟盘点商货，事务繁多，白南也不怎么得闲。潘有度倒是想请他娱乐娱乐，大有后世谈生意时泡脚、逛夜总会的模样，不过这时候也就是逛青楼，听听戏曲什么的，白南对此兴趣不大。
潘家这笔生意赚大了，有意结交大唐商旅，便提出为大唐商人建立会馆。这种会馆实际上有些像是外国商馆，甚至是领事馆，当然领事馆的特权是没有的。外国人可以于此居住，处理事务，当然高额的租金是要付的，而且物权也不属于外国人。
这种提议白南自然不无不可，感谢了潘家的帮助，建设大唐会馆需要一定周期，白南向潘家提供了一笔钱，由他们代为修建。潘有度却是想要拒绝白南的资金，不过白南坚辞让潘家收下，潘有度也只能收了白南这笔建设资金。
随着采办的茶叶等货物采购和装船接近尾声，白南也不能继续在广州停留了。虽然两广总督李侍尧对他颇有好感，但定法不可破，贸易完成后必须离港。令白南颇为满意的是，因为控制了香港的渔民，发放了封口费，所以香港已经被唐人控制的消息没有外传。
距离白南准备带领船队离开广州前三天，白南已经从潘家离开，完全居住在富邦号上面了。富邦号上已经屯满了茶叶等货物，四艘蒸汽轮船也得到了来自广西的煤炭补充，这也是动用了潘家的关系才搞到的。没有煤炭货船就不能，好在中国采煤历史已久，虽说量大了一些，但是白南使了银子，还比较顺利。
潘有度也据此了解到了，唐人的大船能够无风自行，靠得是一种燃烧煤炭的器物，他倒也想弄一两台来装在船上，但是航行所需煤炭数量大，而且喷出滚滚黑烟实在碍眼，再加上潘家本身并不经营远洋船队，所以最终也是作罢。