吕惠卿、曾布围绕《市易法》的内讧丢了王安石的脸，唐埛闹殿打击了王安石的威信，“宣德门落马”动摇了王安石的地位，现在安上门吏郑侠递上一张《流民图》，彻底撼动了王安石在朝廷的根基，而神宗皇帝当着王安石的面点出 “三不足”的谣言，等于一柄铁锤，把这块曾经受皇帝庇护而稳如泰山的“安石”砸了个粉碎。
王安石不是傻子，他知道自己眼下该做什么。回到府里就写了一个札子，请求辞去宰相之职。
《三国演义》小说里写出一个“三顾茅庐”的故事，传为美谈，其实这只是帝王们玩厌了的小把戏。自古以来君臣之间“三顾三请”、“三辞三留”的典故多到无数！今天神宗皇帝对王安石已经不假辞色，赶他走的意思十分明白，可王安石久获圣宠，在他罢相之时，君臣间仍然要做一个“三辞三留”的样子给天下人看，所以神宗接了王安石请辞的札子根本没有回复，于是王安石又上一本请求辞职。这次神宗下了诏命：不准！
王安石的札子一递进，整个朝廷都吃了一惊，不管王安石的政敌还是他那些“三司系”亲信大多又惊又喜。对政敌来说，刚愎自用、祸国殃民的王介甫早该滚蛋了！对亲信们来说，被皇帝嫌弃的王安石也早就失去了利用价值，不值得继续追随了。现在王安石要走，这些人正好趁机摆脱这块刚直廉洁、孤倔无趣的“硬石头”，去找一个更容易巴结的新主子。
也在这个时候，秘阁校理王安国、直舍人院王安礼到兄长府上登门拜访来了。
王家石的父亲王益娶了两位夫人，第一位夫人徐氏生子王安仁、王安道，第二位夫人吴氏生了王安石、王安国、王安上、王安世、王安礼五兄弟。这兄弟七人中王安仁、王安道、王安世只做了地方小官，成就也不大。王安石如今是个要倒台的宰相；王安国熙宁元年考中状元，如今做秘阁校理；王安礼仁宗嘉祐六年进士出身，现在担任直舍人院，这两位都是皇帝身边的亲信侍臣，也都对王安石主持的变法持反对态度，为此闹得兄弟失和，多年不相来往。另一个弟弟王安上担任太常寺太祝，掌管朝廷祭祀，平时比较超脱，对朝廷变法之争几乎不发表意见。