同治二年八月，彭玉麟率水师打下九洑洲的时候，程学启已经攻克青浦，李鸿章派黄翼升率淮扬水师到浙江助战，江浙清军士气大振。
李鸿章在上海与英国海军司令何伯套上交情，又与洋枪队首领华尔扯上关系并许以重金，华尔遂为李鸿章所用，协助淮军打仗。在嘉定、青浦等地，都可以看到洋枪队的身影。程学启先后攻下常熟、太仓、昆山，淮军捷报频传，得到朝廷奖赏，李鸿章署江苏巡抚。
哪知华尔到处张扬，自认为天下无敌，在战场上不把太平军放在眼里，在攻打浙江慈溪的战斗中，被太平军乱枪打死，洋枪队由副队长白齐文接管。白齐文与华尔性格不同，他认为洋枪队是他的私人武装，他重新定下规矩：清廷不给银子，洋枪队就不出来作战。
白齐文三天两头找曾国荃索饷，曾国荃给了他一笔钱，白齐文还不满足，扰得曾国荃性起，要跟白齐文单打独斗，声称：“赢了老子手中钢刀，要多少银子都给。”
李鸿章怕白齐文将事情闹大，叫他马上到上海去领取。白齐文这才骂骂咧咧地离开南京，率军回到上海。
淮军攻打苏州，李鸿章催促其出兵，白齐文就去找上海道杨坊索要四万两银子的开拔费。杨坊对此意见很大，说白齐文违反了华尔当初签订的协议。白齐文不吃这一套，将他痛打了一顿，声称要去投奔太平军。杨坊被迫给了他四千两银子，随后将此事给李鸿章做了汇报。李鸿章大怒，将白齐文痛斥了一顿，下令解除了白齐文官职。
曾国藩派郭嵩焘去上海处理此事，郭嵩焘到安庆粮台领取一笔银子，到上海会见了白齐文，让他写了一张收条，同时要他将殴打朝廷官员的经过写了出来。白齐文不会写中文，郭嵩焘叫人写了一遍，让白齐文签字画押，这才算了结。白齐文拿到了银子以后不辞而别，到苏州去投奔李秀成。李秀成大喜，将白齐文奉为上宾。