尽管殷元和李恪一直坚持不结交朋党，但是无奈树大招风啊，如今有的是人愿意唯他们马首是瞻。这可不像是什么好兆头，所以总是想着办法，但是谁知道武后突然改了风格呢！
以前的时候有政敌，张扬是为了收拾政敌，现在连武后都不做对了，这以后可得小心了。
于是，殷元几度辞相，但是效果显然不是很好，直到生母去世，殷元借口丁忧，在家里赋闲了一阵子，以前觉得该掌握的，终于变成了烫手山芋，有些不好拿了。
慢慢的，朝廷出现了新一代的能臣，殷元和李恪用了好几年的时间，渐渐地隐退幕后。而且，因为他们俩干干净净的作风，所以隐退之后，几乎没有了任何干涉朝政的事情。
这个时候，殷元已经留下了一个十分完备的政治机构，被李治认为是大唐的铁通政治。在这样的情况下隐退，依然没有留给野心家太多的机会。
然后，殷元终于开始完成多年以前的愿望，周游大唐。于是，第一站就和李恪两个人去了东南，去看一看大唐的航海事业到底发展的怎么样了。所到之处，因为李治和武后的昭令，一路上都有禁军护卫，还有各地的官员都要照顾好两位。
这种情况明显不太被殷元和李恪喜欢，因为他们俩既然是出游，就不愿意被人约束。于是，两个人带上了殷元的徒弟大生，还有火铳、刀剑之类的的兵器，驾着一辆马车提前走了。而且李恪还下令了，谁要是胆敢耽误他们俩玩耍，就杀了谁。
可以说，殷元和李恪终于是放开了手脚了，两个人一路上风餐露宿过，也住过最繁华的旅店，吃过带了好几天的干粮，也一掷千金而买过酒。这样的人生，还真是畅快到了极点。
然后，殷元就找到了自己的义妹和高鉴，这也是顺路来看一看了。
高鉴自从被殷元从长孙无忌那里弄出来之后，头也不扭就回了老家，并且还说以后谁都别来打扰自己了，这辈子野心意气都已经干干净净了，只剩下一把子力气，想种种地。