每一个圣贤的君王身旁总是有一个得力的宰相在辅佐。
贞观四年（630），即唐太宗李世民称帝第四年，房玄龄被提升为尚书左仆射，行使宰相职权，在其后的近20年中，他一直连任，直至70岁病逝。
任职期间，房玄龄至忠至勤，成绩卓著，堪称能相。史书上写道：“任总百司（总管政府中的各个衙门），日日夜夜地、谨慎虔诚地处理各类问题，尽心竭力，不让一件事办得不合理。”
选拔人才，房玄龄十分谨慎。唐太宗曾经说过：“任免官吏是一件不可闪失的事，用对了一君子，就有许多君子慕名而来；若用一小人，许多小人也就会钻营附和而来。”在这一点上，房玄龄对唐太宗极其赞赏。
他知人善任，常向唐太宗推荐人才，委以重任。太子李治的府中有一位太子右卫率（主管太子的安全保卫），名叫李大亮，房玄龄很器重他，说他为人耿直，有西汉忠臣王陵、周勃的气节，可以委以重任。不久，李大亮就被任命为房玄龄的副手。房玄龄在用人方面，既不拘一格，又不求全责备，做到扬长避短。但如果一时找不到合适的人选，他也宁缺毋滥，绝不做滥竽充数之事。如管理财政申报开支的部门，很长时间没有人选，但房玄龄认为这个部门关系到“天下利害”，是“民力所系”的地方，“宁虚其位，而不以与人”。他这样做，有时会招致别人说闲话，评论他在授权方面十分吝啬。但他为了国家的利益，对于个人的声誉，从不计较。
对于朝廷上的一些琐事，他事事一概过问，不仅定期审查吏治、司法的得失优劣，甚至连宫室的营造、武库里的存储数目，他都要一一过问。
史书说他“事无巨细，咸当留意”，其认真负责的精神，着实古今罕见。
在对李世民的进谏方面，他也做得很好，虽未能像魏徵那样屡屡犯颜直谏，但也能坦率地陈述自己的意思。其实，魏徵对他也是很佩服的——魏徵曾经说过，在事必躬亲、知无不言、言无不尽方面，自己比不上房玄龄。一次，唐太宗忽然问左右大臣说：“自古开国的皇帝，把皇位传给了子孙，为什么经常出现变乱呢？”房玄龄直率地说：“那都是因为皇上宠爱子孙，而子孙生长深宫，自幼过惯了富贵的生活，不知人间疾苦，不懂国家安危，不能磨炼意志、增长才干的缘故。”