工业建设的规模扩大后吕梁才发现工作的繁重，一个钢铁厂并不是那么简单就能建成的，即使有基地提供的机械、人才、矿石，也不能在短时间里建成开工。在生产力低下的中国，一个棉纱厂的建设都能持续几年，更别说钢铁厂、完整的工业体系了。
各个工厂都在紧锣密鼓的建设时，一个消息让吕梁火冒三丈——一支招工队伍在佛山地区遭到匪盗的袭击，伤亡惨重，十人中只有两个人回来，三人当场被打死，五人被俘，所携带的货物都被抢走，还带回来匪盗的消息，要自强厂拿十万两去赎回被俘虏的五人。回来的两个人都是基因人，他们携带着手枪，在混乱中打死三名匪盗后逃出来，据他们说匪盗团伙大约有三十多人，十几条枪，但都是落后的前装步枪，而且很有可能是滑膛枪。
这件事让吕梁意识到广东地区匪盗横行的麻烦，在惠州附近其实也有不少匪盗，但因为乡绅势大，再加上自己组织严密，因此没有人不开眼敢招惹自己。但出了惠州事情就不一样了，清朝时期广东就是全国有名的匪盗地区，历任知府、巡抚、总督上任广东时都把缉拿盗匪作为重要事务处理，而且刑法严峻。比如叶名琛在任期间为缉拿内地、洋面盗匪不遗余力，道光二十八年拿货何亚专等80名盗匪，使各处洋面盗匪“已多星散”，被掳之人放回，海道转为靖谧。广东海面交通发达，盗匪或流窜洋面，或登岸抢劫，持续几百年的盗匪问题让清廷挠头，直到最近直接把李鸿章派来打黑除恶，但只是力度大小改变，并没有真正解决这个问题。
盗匪的主要成分多来源于无业游民，广东人多地少、民风彪悍、民俗轻浮，从事农业者少，民多以佣工为主，一旦失业容易由流民演变为盗匪，再加上裁撤绿营营勇，未得妥善安置，他们行事彪悍，使广东盗风日盛。但因为地形复杂、人烟稠密，很难彻底根除。