杨贵妃见皇帝对她恩情如旧，便求对她们杨氏一门再加宠眷，玄宗自然是会让她满意的。本来就承主恩、什么都不在乎没事人似的虢国夫人，更是放纵到了十分，玄宗原赐与虢国夫人的宅第，与韩国、秦国两夫人宅第一样，虢国夫人自谓是天子的外宠，不甘与姊妹同等，玄宗说：“卿爱谁家宅第，去购就是了，朕与卿付价。”
中书韦嗣立宅第最是阔大，这日韦家饭后无事，正在庭院中闲坐着，忽然见一乘步辇，直抬进中庭停下，一个黄罗披衫的贵妇人从辇中扶出，数十个娇侍艳婢簇拥着，旁若无人地四处看着望着。韦家诸内眷十分诧异，韦老夫人迎上去问：“不知贵夫人是谁家眷属？光降寒舍，有何见教？”
那位贵夫人高高地扬着脸仰着脖子，以显示她不同寻常的傲与贵，冷冷地说：“你们家的宅子，我要买下了。”韦老夫人忙摇手道：“夫人当是误听人言，此屋是先夫旧庐，何忍舍去。”
韦老夫人一话未毕，却忽然有工役数百人一拥而入，韦家子侄纷纷上去拦阻，工役们三拳两脚打开，就登屋上楼，纷纷拆屋卸门窗，石块瓦片雪点似地落在庭心里。韦家的细软衣物，全被抛弃在路旁，而他们全家人也全被赶了出去，韦老夫人怕弄出人命，只得喝斥儿孙们忍气吞声地受着。直到第三天，才有人来对他们说，原来是虢国夫人看中了他家的宅第，如今陛下赏韦家京师以外的一方地，重建屋舍。
那边韦家草草地重盖了几间房屋，将就过日子，这里虢国夫人却在韦家的房基上大兴土木。画栋雕梁，倍极华美，一时间不要说那三位国夫人府，包括其他权臣如国忠和李林甫的相府，就是长生殿也不及虢国夫人的宅第精美。别的不说，单灰粉涂壁一项，就把百花的香汁和在泥粉中，涂在墙上后，满屋子里永永生香。那年冬天，京师忽起大风，虢国夫人宅第中的一棵合抱粗的大树，都被连根带土拔起，虢国夫人忙命人上屋子去查看屋脊可曾打坏，谁知屋瓦丝毫不曾损伤，因为这些屋瓦全是用精铜铸成的。为虢国夫人造这座宅第，玄宗花去了一千万两银子。