再说吕布，在袁术那里没有找到出路，只好再去投奔袁绍，在他的心目中关东诸侯势力最大、最有可能成事的就是二袁。
袁术不接纳吕布，袁绍也有同样的想法。袁绍很忌讳吕布，怕把吕布留在身边对自己不利，因此不仅不想收纳吕布，甚至想杀死他。袁绍的手下生怕吕布来之后影响到自己的地位，也极力撺掇袁绍除掉吕布。谋士郭图想到一石二鸟、借刀杀人之计。
郭图对袁绍说：“主公刚刚取得冀州就与公孙瓒大战，现在军马疲惫，还要提防公孙瓒再次来袭。现在黑山军又经常骚扰冀州，何不让吕布去征讨黑山军，两人无论谁胜谁败，对我都有百利而无一害。等他们打的差不多的时候，我们大军也已经休整完毕，到时候我们想怎么样就怎么样。”
尽管郭图最后说的很含蓄，袁绍一听就明白，拍手叫好。于是袁绍派郭图去见吕布，并象征性的拨付一点有限的粮草，没有派给吕布更多的兵马。
郭图见到吕布，充分发挥他能言善辩的本领，对吕布说道：“温候初来冀州，对冀州很不了解，袁将军刚刚接领冀州牧并与公孙瓒交战，现在冀州百废待兴，他抽不出时间见你，所以派我来。袁将军和我都非常了解温候的本领，他时常夸奖你勇猛无敌，听说你来投奔非常高兴，想委以重任，然而冀州的将军们对你还不了解，纵使袁将军说服他们，却难保这些人心中不满，所以请温候体谅袁将军的苦衷。”
吕布眯着眼看着郭图，说道：“谁要是不服，可让他来找我，我们比试一下。”哼，我专打各种不服！
“这恐怕不妥，现在大家都是一家人，刀枪无眼，莫要伤了和气。温侯知道，我军刚刚战胜不可一世的公孙瓒，这些将军都是有功之人。”
“那你是什么意思？”吕布有点不高兴，这是想要用军功压制我吗？