从徽宗开始，宋朝在位的皇帝会找个借口退下位来，把皇位让给自己的儿子。到了南宋，这更像是成了一个传统。
高宗自己没有儿子，可皇位不能没人继承，于是高宗决定从皇族中挑选幼子作为养子。于是他在朝上对大臣说：“当初太祖以神武定天下，可是他的子孙却不能享福，现在又遭此国难，四处飘零，甚是可怜。朕如果不来振兴这一系，难以告慰太祖在天之灵。”高宗命人从太祖的后裔中选了十名幼子入宫，几经筛选之后，还剩下两个，一个胖的，一个瘦的，最终决定留下那个胖小孩。高宗说：“把他们两个叫来，我再看一看。”两个孩子并肩站到皇帝面前，这时忽然有一只猫从旁边经过，那个胖孩子抬脚踢了它一下。高宗一看，皱起了眉头，说：“一只猫偶然经过，就要踢它，如此轻浮，怎么当得大任。”于是，又改留那个瘦孩子，将他改名为赵昚。
绍兴三年（1133），金军又开始谋划进攻宋朝。高宗年轻时曾在金人营中做过俘虏，后来又颠沛流离，吃了许多苦头，才终于在南方安稳下来，享了二十年的福。他看现在金军又要来打宋朝，不想自己的晚年不得清静，就萌生了退意。赵昚英武聪慧，他知道满朝文武都是高宗的人，自己又不过是个养子，所以当高宗提出要禅位时，他推辞再三，直到清楚高宗确实是厌倦了政事，才做出不得已的样子坐上皇位，史称孝宗。举行禅位仪式的那天，天下起了大雨，仪式完了，高宗便迁往德寿宫。孝宗扶着高宗的轿子，冒雨送出宫门，仍不停步，直到高宗命左右把他拉住，才回到宫中。高宗见他殷勤，非常满意，说：“我托付的这个人很孝顺，现在没什么可遗憾的了。”
孝宗的确是孝顺。高宗虽然退位，但他的太上皇又做了二十多年，还时不时地过问军国政事，孝宗一是畏惧，另外也对高宗心存感激，毕竟自己出身平民，现在却做上了皇帝，所以对高宗百依百顺。他还每月至少四次去德寿宫拜见高宗，知道高宗喜欢字画古玩，总是不惜高价买来送给他。虽然孝宗事事小心，但还是免不了因为政事惹怒高宗，每当这个时候，他只能委屈自己，顺着高宗的意思来办。孝宗一共在位二十七年，其中倒有二十四年是在太上皇的威严之下战战兢兢度过的。