山中岁月安稳，山外却是另一番景象。
在宋、金灭国之战的紧要关头，尤其是在宋朝的军队取得节节胜利的关键时刻，宋廷以十二道金牌召回了岳飞，据参与北伐的老卒事后回忆，岳飞撤军的途中，百姓扑跪于道旁，哭声盈野，有人拉住岳飞的马缰质问：“元帅来时我等箪食壶浆迎王师，并肩作战，共同御敌，金人早已视我等如眼中钉，肉中刺，恨不得拔之而后快。如今元帅一去，却将我等置于何地？”
岳飞无言以对，只能拿出皇帝命令班师的诏令给百姓们看，最终，岳飞决定留军五日，好掩护忠义军和百姓们撤退。
可是大宋的军队一退，整个淮河以北都沦为金国的占领区，忠义军和追随过大宋王师的百姓又能退去哪里？
岳飞放弃了浴血厮杀拼命取得的战果，辜负了襄助他的义军弟兄和金占区的百姓，灰头土脸地回到大宋，他一改旧日慷慨激昂随时整军备战的雄姿，不断向皇帝请求卸甲归田，却都被皇帝以“兵戈并未止息”为由，不允。
从此，可将兵百万的岳少保以“副枢密使”的头衔在临安的朝堂上充当一个泥塑木雕的摆设，绝口不提北伐和收复疆土。
岳飞的隐忍并未换来安稳。
次年，即绍兴十一年八月九日，岳飞被罢去枢密副使，充任“万寿观使”的闲职。或许他也嗅到了临安空气中阴谋的味道，自请回江州庐山老家闲居，想要躲过劫难。
此时的岳飞已经无兵无权，是个彻头彻尾的“闲人”，但是朝堂之上仍有人对他不放心。先是秦桧授意张俊威逼利诱岳飞旧部的都统制王贵、副都统制王俊先出首告发岳飞麾下大将张宪“谋反”，以此牵连岳飞。
岳飞下狱后，宋金和谈的进程越发迅速，十一月初七，宋金两国达成二次“绍兴和议”，宋朝皇帝赵构向金国皇帝纳表称臣，宋金两国划淮河而治，淮河以北的土地全部划归金国，同时宋朝还需每年向金国贡奉白银二十五万两，绢二十五万匹。