苏州府常熟县支塘乡，有一座贺舍庙，是前元宗藩宴客的场所。国初改为庙宇，供祀猛将。隆庆四年初，江南巡抚海瑞为督疏浚白茆塘之工，临时驻节于此。这座古庙旁，有古银杏三株，所结白果名佛指甲，质糯味香，远近闻名。这天午时，海瑞用罢午饭，正站在银杏树下仰头上望，一匹快马奔驰而来，海瑞转脸看去，隐约可见骑马者是巡抚衙门的书办。须臾，快马在离海瑞两步远的地方停下，书办下马施礼，双手呈上一份邸报。从他的表情看，似乎邸报上载有不好的消息。海瑞拿起邸报急忙翻看，映入眼帘的，正是在他回应戴凤翔弹章所上《被论自陈不职疏》上的一段长长的批示：
看得都御史海瑞自抚应天以来，裁省浮费，厘革宿弊，振肃吏治，矫正靡习，似有惓惓为国为民之意。但其求治过急，更张太骤，人情不无少拂。既经言官论劾前因，若令仍旧视事，恐难展布。相应议处，合候命下，将本官遇有两京相应员缺，酌量推用。遗下员缺，先行会官推补。
海瑞双手颤抖，满脸憋得通红，怔怔地看着不远处的工地，良久不发一语。海安见状，忙上前接过邸报，顺手搀扶着海瑞的臂弯往贺舍庙里走。刚走了几步，海瑞停下来，低声说：“免巡抚一事，先不要张扬，以免影响河工。”
进得庙内，海瑞颓然坐在座椅上，牙关紧咬，明显是在极力抑制自己的愤怒，他脸色铁青，嘴唇发紫。良久，长叹一声：“唉——天下事，果不可与俗人为之也！”
海安问：“不让老爷做巡抚，那老爷不是说，还有一个总督粮储的官吗？还让不让老爷做了？”
海瑞茫然的眼神里，流露出不屑的光芒：“总督粮储，本就是闲差，做不做甚无谓！总归是他们容不下老爷我这样的官！”
“老爷，这个高相爷，怎么一上来就与老爷过不去，是不是因为当年老爷骂他，帮徐相爷把他赶走了，他报复老爷？”海安道，他又夸张地惊叹说，“唉呀耶——！前一阵都在传，说这高相爷上来，非把那些赶他走的人往死里整不可！”