宋徽宗共有三十一个儿子，其中六个早夭，长子赵桓，即宋钦宗。靖康之难时，徽宗、钦宗被俘，皇子们也几乎被金兵逮了个干净。他们曾经在皇宫中养尊处优，经此大难，早已经被吓得魂不附体，许多人在押解途中就死去了，没有死的也被金人流放到荒漠穷边，最终病死在那里。只有皇九子康王赵构在这次劫难中幸存了下来。
赵构这个人虽然长在深宫中，却像他的祖先——宋朝的开国君主赵匡胤那样，能够挽强弓，骑烈马，很有些胆量。东京第一次被围时，赵构和丞相张邦昌被送入金营做人质，临行时，张邦昌忍不住哭了起来，赵构却表现得慷慨激昂，他说：“这是男儿应为的事情，丞相不能够这样子。”
进入金营以后，张邦昌彻底被金兵吓垮了，只要有金兵对他一瞪眼睛，他就会被吓得立即哭起来。赵构在金营中仍然是镇静自若，面不改色。过了二十多天，金人以为赵构能有这样的表现，肯定不会是生长在深宫中的皇子，他们怀疑这个康王是宋朝派人假冒的，就要求另换一个亲王过来。钦宗派肃王前去顶替，赵构被金人放回。后来金人撤退时，没有放肃王回来，而是把他劫持到漠北，最终肃王死在了那里。
关于这件事，民间有“泥马渡康王”的传说：他在金营做人质时，金兵把他押解北上，中途赵构乘机逃脱。当逃到磁州（今河北磁县）的时候，夜里睡在崔府君庙。在梦中，有神人告诉他金兵快要来了，于是赵构惊醒，赶紧跑到庙外，看见庙门口竟然有一匹马正等着他。他乘马往南狂奔，后面隐隐约约听到金兵追赶的呐喊声。当到达黄河边时，赵构一看没船，心下想这可完了，没想到座下这匹马竟然直跳入河中，将他安然送到对岸，摆脱了金兵的追捕。过河后那匹马就现出了原形，原来它是崔府君庙门前的泥塑之马。