1517年正月，王阳明到江西赣州剿匪。一年后，他写信叮嘱弟子们要全身心“存天理去人欲”。为了让弟子对祛除人欲的难度有深刻认识，信中有这样一句话：破山中贼易，破心中贼难。心中贼自然是“人欲”，而山中贼则是南赣地区的土匪。
他说破山中贼易，只是为了烘托祛除人欲有多难，实际上，破山中贼远没有他说的那么容易。
1517年正月初六，王阳明到达南昌。南昌官员向他递交了南赣地区的地理和土匪的详细资料。资料说，南赣地区山麓千里，崇山峻岭，洞穴密布，只有飞鸟能和外界沟通。这自然是土匪的安乐窝，因为官兵来时，他们能轻易地化整为零，官兵一走，他们又重新聚合。所以四省组织过多次围剿，但收效甚微。
该地土匪中有几个带头大哥：谢志山与蓝天凤（拥有江西赣州崇义的横水、左溪、桶冈根据地）、池仲容（拥有广东和平浰头三寨根据地）、陈曰能（拥有江西南安大庾岭根据地）、高快马（拥有广东韶关乐昌根据地）、龚福全（拥有湖南郴州山林深处根据地）、詹师富（拥有福建漳州大帽山根据地）。
不过王阳明遇到的第一个敌人并不在名单里，他的第一个敌人出现在江西万安，是一群水盗。
从南昌出发去赣州路过万安时，王阳明在岸上休息。他从岸边的商人聊天中得知，江上有一群水盗，商人们每次到这里都提心吊胆，很怕倒霉碰到水盗。
王阳明就加入他们的谈话说，我是中央政府里的御史，正巡抚此地，你们可跟随我。商人们很高兴，可马上又失望了，因为王阳明就带了几个仆人，没有卫队。
王阳明告诉他们，按规定，新官上任不得带士兵。不过，对付他们不必用士兵，有咱们这些人就足够了。
他的方法是，让商人们把各自的船插上官旗，敲锣打鼓，一字排开向前进发。