原来自从郭援兵败和袁尚被围困的消息传递到荥阳，袁绍便派人将荀谌接来，就是为了听取他的意见。
荀谌道：“我军强攻了两个月，伤亡十数万兵马，损失的粮草辎重更是不计其数，这些损失已经初步影响到后方的稳定。现在泰山臧霸和黑山张燕都有所异动，一旦我军继续失败，难免会后院失火，不如就此撤兵，要求曹操放归围困在温县的我军士兵，作为回报我军也放弃河内郡中南部那些曹军本就占据的地方，再命审正南加强邺城一线的防守，等到了来年秋天，我军稳定了后方，当可卷土重来。”
郭图听了荀谌的话就想要反驳，但话到口边突然想到对方已经是颍川荀氏的大家主，地位非同以往。再加上这次三公子袁尚吃了一个大亏，袁氏内部重臣对立储的风向又倒向袁谭，他便强忍了下来，竟是默认了荀谌的说法。
袁绍犹豫不决，恐一旦退兵遭天下人嗤笑，便说自己再考虑一二。
袁军各将、参赞先后离去。
郭图偷偷找上荀谌：“荀先生。”
“公则。”
郭图将心中疑惑道出：“荀先生，我军还有一战之力，为何要退军？”
荀谌道：“我军高举清君侧的大旗，但总归是没有站在大义的一方，天下间各方诸侯都视大将军为逆贼，多有掣肘。继续进攻只会放大这种在道义上的劣势，使得我军全面落在曹操下风。”
郭图急道：“所以我军才要攻入司隶，将朝廷大义抢在手中。”
“真的能抢在手中吗？”荀谌冷笑，“公则不会忘了当年董卓是怎么做的了吧？”
“这…”
郭图无法回答。
荀谌又道：“大将军想差了，你我也都想差了。这天下间刘姓之人比比皆是，又何必去追逐唯一的那个大义呢？”
郭图心头一颤：“你是说…”