翠华山的书院建筑坐北朝南，中轴线依序为集贤门、太学门、政和堂、敬一亭。
主体建筑两侧有二厅六堂、御碑亭、钟鼓楼等，形成传统的对称格局，这是杜构借鉴长安城街坊的格局而建的。
前院东侧有敬持门与孔庙相通，构成左庙右学的格局。在夹道上立有经刻石，包括周易、尚书、诗经、周礼、仪礼、礼记、论语、孝经、孟子、尔雅共计十部。
院内除了建有射圃、仓库、医所、仓库外，教室、藏书楼、宿舍、食堂，就规划了两千余间。
但这里最引人瞩目的就是到处都种着槐树。走到一颗槐树下拍了两下后，转身对杜构笑道：“真是该对你杜辅民刮目相看了，连面三槐，三公位焉这道理都懂了。”
李承乾说着话是有出处的，自周代起，就有“面三槐，三公位焉”之说，即在皇宫大门外种植三棵槐树，分别代表太师、太傅、太保的官位。
古人的所谓:“登槐鼎之任”，即三公之位。所以在历朝历代，人们就把国槐视为“公卿大夫之树”。
在长安的太学里也广植槐树，喻示着监生们可以考中高官之意。在周代，国子监的内外就广植槐树，所以在历代的国子监内外就沿周礼之制，都广植槐树。
自隋朝实行科举制以来，其科考的考场叫“贡院”，因为是给国家遴选人才的地方，所以在贡院里也是广植槐树。
杜构苦着脸说道：“殿下，这都是李师和张师傅的注意，臣可不敢居功。”
李承乾这么说到事戳到杜构的痛处了，为这事李刚和张玄素拿着拐棍差点没给他腿给打折了。
所以在他的逼问下，杜构道出了原委。原来这里都是柳树，杜构为了省钱所以就没动。
柳树因通“留”，故有惜别之意。是传说中四大鬼树之一，有聚集阴魂的之说。柳树为阳性树种，在民间多用于避邪及招风水。