王阳明在离开北京之前，写了一首诗，其中有两句：“贤圣可期先立志，尘凡未脱漫言心。”这说明他一离开锦衣卫大牢，心里的宏图大志就复活了。另外，他并没把到恶劣的龙场去生活看成是什么了不起的障碍。他是个有抱负的人，抱负是一个人活出价值的发动机。至少在他离开北京时，他是这样想的。不过后来的事实证明，在面对险恶环境时，这台发动机也会熄火。
王阳明从北京去贵州龙场的第一站是老家浙江余姚。由于牢狱之灾，他的祖母和家人一见到他，就说他苍老了很多，并对他去贵州龙场表示出担心。王阳明以一种无所谓的态度劝慰他们说：“那个地方虽然少有人行，却是山清水秀。你们也知道，我从小就喜欢山水，所以那个地方在你们看来是地狱，对我而言却是天堂。”当他的家人心绪平静后，他离开余姚到了杭州，住在他曾经成功劝退那个静坐和尚的胜果寺中。王阳明并非重新皈依了佛教，而是为了养病。四十军棍带给他的生理创伤还在，天气稍有变化，他的屁股就会出现阵痛，以至于不能安心静坐。更糟的是他的肺病又复发了。所以王阳明必须要把身体休养好，才有能量继续赶路。
可惜，他这点小心愿都没有达成。在杭州休养了几个月后，刘瑾派了人来。来的人是锦衣卫，任务是杀掉王阳明。
锦衣卫日夜兼程，很快就来到杭州。他们凭着高度灵敏的嗅觉，摸上了胜果寺。王阳明在胜果寺满坑满谷的朋友，马上就有个叫沈玉殷的找到王阳明，对他说：“寺里今天住进了几个操北方口音的人，面露杀气，可能是来找您的。”
王阳明惊恐起来，沈玉殷问他：“你是否有仇人？”
王阳明回答：“平生只有一个仇人，就是刘瑾。”
沈玉殷点头道：“是了，如果我没有猜错，这几个人应该就是锦衣卫，是来对付您的。”