办完了过继的大事，王守仁就没什么心可操了。又想着自己躲回老家，那个南赣巡抚的肥缺儿自然给了别人，致仕的奏章，大概很快就批下来，就趁着闲日子、好天气，朝登会稽山，晚游龙泉寺，又在院子里开个小菜园子，种几垄青菜，看看书，陪夫人说说话，和朋友们谈谈学问，过起了神仙一样的舒心日子。
想不到这正德朝真是怪事多，王守仁不想做官，躲回老家，正德皇帝却不肯放过他，很快又下诏命：“尔前去巡抚江西南康、赣州，福建汀州、漳州，广东南雄、韶州、惠州、潮州各府及湖广郴州地方，抚安军民，修理城池，禁革奸弊，一应地方贼情、军马、钱粮事宜，小则径自区画，大则奏请定夺，钦此。”
接了这道圣旨，王守仁皱着眉发起愁来。
别说王守仁，连宜畹都觉得眼前这事不可思议，在边上笑着说：“皇上这是怎么了？以前这么些年也没给你派过一个正经差事，现在倒好，接二连三地催你到任！这大明朝没有阳明先生就转不动啦？真是怪事。”
王守仁拉着宜畹的手让她在身边坐下，笑着问：“你想让我去当这个巡抚吗？”
宜畹这一辈子和丈夫分离已经分怕了，无论如何不想让守仁离开自己了。眼下家里有钱有地，儿子也有了，她是说什么也不愿意放丈夫走的：“当今这个朝廷呀，就是天大的官也不值得去做。别说是个巡抚，就是皇上让你去做‘首辅’也不要去！就说有病不能上任！让他们去催，催到不肯催了，事情就过去了。将来咱们拿出钱在山阴城里起一座书院，你在家里讲学，一家人聚在一块儿好好过日子，什么心也不操，什么事也不管。”
守仁轻轻搂过夫人的肩膀，附在耳边低声说：“有你在，我从不操心的。如今回到家了，哪儿也不去了，咱们一块儿好好过日子。”