既然赵周的策反分化行动宣告失败，汉武帝决心采取更为激进的手段，不再保留赵氏政权，彻底解决南越的分离倾向。
七月初六，汉武帝派出使者前往桂阳，让路博德向南越公开朝廷的立场，大张旗鼓的表示：朝廷将在一个月后，正式讨伐南越，为赵兴和樛太后讨回公道，只诛首恶赵建德和吕嘉等人，其他吏民百姓，只要不跟随他们叛乱，将视为大汉子民，既往不咎。
果然，得到这道消息后，南越百姓的立场在悄然发生变化。一来是赵兴和韩千秋被杀的真相逐渐浮出水面，对吕氏家族的反感被激发；二来是大汉的实力有目共睹，对南越的未来持悲观态度。
双重心理影响下，相当一部分人认为，既然大汉对南越势在必得，何必为了赵氏和吕氏卖命呢？也许，成为大汉子民后，比现在过得更好呢？
不到一个月的时间，一些南越的地方豪强纷纷向路博德投诚，尤其是被吕氏家族打压的，想要借汉朝的势力，为自己的家族争得利益。当然，也有一些冒险家，认为这是建功立业的好机会。
八月初八，汉武帝正式下令对南越发起攻击。路博德为伏波将军，出桂阳，沿湟水而下；楼船将军杨仆出豫章，沿浈水而下；两位南越降将分别封为戈船将军和下濑将军，一出零陵，一下苍梧，和汉军同时出击。
四路大军的总兵力达到了十万，以杨仆为主将，负有协调之责。除此之外，还有一位南越降将封为驰义侯的前往巴蜀整编罪人，征发夜郎等西南夷的兵力，从牂牁江而下，和杨仆约定会于番禺。
之所以征调西南夷的士兵，既出于战略考虑，也是不得已而为之。长安距离南越过于遥远，北方士兵前往南方作战难免水土不服，如果能用西南夷的军队解决南越，将达到以夷制夷的目的。