太宗皇帝很快得知了阿宝还住在宣王府邸的事，他以太子之位相胁，逼令赵从将阿宝迁出府。
明光二年春，阿宝搬离王府。
赵从担心她一旦脱离他的视线，就会回去扬州，便将她安置在了心腹张虞臣的家中，表面担照看之责，暗地却是行监视之实。
虽是如此，阿宝却与张家一家人相处的极好，她跟着张夫人学会了针黹女红，跟着张虞臣学会了读书认字，她还跟张虞臣的小女儿一起簸钱、击丸，教会了她弹琵琶、唱蜀中小调，张家的一家人都十分喜欢她。
赵从时任开封府尹，还要时常入宫协助太宗处理政事，公务繁忙。但倘若有闲暇，他便会偷偷甩掉跟踪的人，前来张家探望阿宝。
阿宝初时跟他闹脾气，不肯理会他，装作不认识他，他也不生气，嬉皮笑脸地来帮她干家务活，或是觍着脸向她讨要一只她亲手绣的荷包。
阿宝骂他，他面色坦然地接受，关上房门不理他，他就默默地站在门外，跟她说一两句话。
久而久之，阿宝内心的冰山也被他焐化了，两人就一直这么别别扭扭地过着，三不五时地见一次面，直至明光三年冬，太宗驾崩，赵从正式登基。
他做皇帝后，并没有立即将阿宝接入宫中，而是等到局势都平稳后，才骤然立阿宝为后，打了群臣一个措手不及。
而这也正是谣言的来源。
阿宝九月初入宫，十月初诊断出有孕，且依脉象看，怀胎二月有余。
这便意味着，她是在进宫前，也就是在张家怀上这一胎的。
自赵从登基、阿宝被册立为后，张虞臣家的仆人便屡次在市井中炫耀自家曾供过皇后娘娘，还说皇后与主人家关系十分亲密，得张大人亲授读书写字，张娘子手把手地教其刺绣。
谣言愈演愈烈，且越传越失真，竟渐渐地传成了张虞臣手把手地教阿宝写字，二人早有首尾，皇后肚子里这一胎不是官家的龙子，而是张虞臣张大人的孽种。