国家楼层之上是总统和家人居住休息的地方，也用来招待重要贵宾，世界各国领袖或王公贵族都以住过白宫为荣。1943年蒋介石的夫人宋美龄访问白宫时，曾是小罗斯福总统的座上嘉宾，并在此住宿过，蒋夫人的许多中国式的规矩也让美国人大开了眼界。
据说，从海斯夫人开始，在各个房间悬挂总统及夫人画像成为白宫新旧主人的共同爱好。目前在蓝室挂有4位早期总统画像：亚当斯、杰斐逊、蒙罗和泰勒，国宴室则悬挂林肯画像，东室有华盛顿画像——这是喜爱社交的麦迪逊夫人多莉对白宫唯一的功绩。200多年时光弹指流逝，只有华盛顿的画像一直屹立在这里，注视着由他一手创立的国家。
1799年12月14日，华盛顿溘然辞世，成为唯一没在白宫办公的总统。1800年5月15日，第二任总统约翰·亚当斯下令政府各部从临时首都费城迁往新首都华盛顿。
落成伊始的白宫，生活条件显然不能与今天同日而语，以至于到现在还流传着一个笑话：由于当年这座办公建筑物里“连最起码的栅栏、院落或者其他可以使用的东西都没有”，亚当斯夫人只好在东大厅里拉起晾衣绳，将洗好的衣服晾在那里阴干。对于搬进这座“光秃秃的、巨大而丑陋的建筑”，亚当斯夫人心有不快，在写给女儿的信中，她牢骚满腹地说：“这座房子经过修整，看上去是可以住人了……但在这座巨大的建筑中，居然连一个召唤仆人的铃铛都找不到。”由于没有足够的人手去砍伐和搬运木材，在这座刚刚落成、尚有潮气的宫殿里，取暖成了大问题。直到1853年安装了水暖设备后，白宫才告别寒冷的冬天。
20世纪之前，白宫是完全向公众开放的，这是第三任总统托马斯·杰斐逊民主思想的具体体现。第四任总统詹姆斯·麦迪逊和夫人多莉沿用了杰斐逊的做法。入住白宫期间，他们每周都要为外交使团中的高级代表举办一次国宴，使白宫成为上流社会的娱乐场所。麦迪逊执政时期，英美两国爆发战争。1814年8月，总统夫妇在英军进入华盛顿的最后一刻才撤离。临走时，机智的多莉还不忘从墙上摘下了华盛顿的肖像，带走了《独立宣言》的原件和一批历史档案。在发出最后通牒后，英军纵火焚烧了白宫。大火将官邸的墙壁熏得黝黑，只是由于暴雨突至，白宫才没有化为灰烬。战争结束之后，麦迪逊请来当年的设计者霍本重修白宫。