关公即写书一封，辞谢曹操。写毕封固，差人去相府投递；一面将累次所受金银，一一封置库中，悬汉寿亭侯印于堂上，请二夫人上车。关公上赤兔马，手提青龙刀，率领旧日跟随人役，护送车仗，径出北门。
——引自《三国演义》第二十六回
且说于禁、乐进随进征进，也已探知刘备在汝南，回许都后将此事报与曹操。曹操心中忧急，便令张辽夤夜前来打探关公本意。关公正闷坐厅上，张辽已穿堂而入，举手贺道：“弟闻云长兄在阵上得知玄德公音信，特来贺喜。关公让座，令下人奉茶，怏怏不乐道：“虽知故主现在，但未得一见，何喜之有！”张辽遂道：“云长兄与玄德之交，比弟与兄之交何如？”关公闻之，不由落泪道：“我与文远兄虽义气相投，又各与吕奉先有师门之谊，但亦止于朋友之交也；我与皇叔玄德，却是朋友而兄弟、兄弟而君臣者也，岂可共论？”
张辽听关公提及吕布，隐然有指责自己背主之意，不由心虚胆寒，只得依曹操之意，最后问道：“今即知玄德公现在河北，未知云长兄是全忠以留在许都，匡扶汉室社稷，还是全义以投汝南，往从皇叔？”关公审视张辽良久，叹息道：“如今之许都，诸臣只知有曹司空，岂知有汉天子？某即愿尽忠，又忠于何人？且昔日结拜之盟，安肯背之！文远兄土山之约，又岂能忘之！斩颜良以解白马之围，诛文丑以疏延津之困，关某已有报于曹公，话符前言而矣。我意已决，来日辞别天子而去，望文远须为我致意曹公。”张辽听了关公之言，半晌无语，只得告辞回告曹操，曹操也是无言，挥手令其退出。
次日平明，关公上朝，见曹操及其心腹不在，遂向献帝递了辞书，说明离开许都，前去寻找兄长刘备，共举义旗，兴扶汉室之意。献帝明知其意，也知不可强留，只得勉励数语，赐酒三杯，令张绣送至殿外。关公辞了天子，出宫随至司空府衙，欲当面拜辞曹操。曹操即知关公来意，乃悬回避牌于门，不令相见。关公怏怏而回府中，命旧日跟随人役收拾车马两辆，又写书一封，遣人送往大司空府，以辞谢曹操。曹操看了关公辞书，只作不知，也不回复。次日侵晨，关公不见曹操回复，只得长叹一声，将九名美女安顿于府中，自己率十数名旧日部从，出得府门，跨上赤兔马，手提青龙刀，护送车仗径出南门。门吏挡之，关公怒目横刀，大喝一声，门吏尽皆退避，早有人飞马到司空府报信去了。