李贤很小的时候就意识到母亲不怎么关注自己，但父亲一直对他十分疼爱。他五六岁开蒙读书，记心极好，每每在御前背诵诗赋，都能博得父亲嗟赏。父亲还曾指着他向司空英国公李勣夸赞：
“此儿已读得《尚书》、《礼记》、《论语》，诵古诗赋复十余篇，一经领览，过目不忘。我曾命他读《论语》，读到‘贤贤易色’，这孩子就再三覆诵。我问何为如此，他说打心里喜爱此言，这可不是天生的聪敏孝悌么？”
贤贤易色，事父母能竭其力，事君能致其身，与朋友交，言而有信——后来父亲便以“贤”定为第六子的学名。其中所含对他的期望，李贤自然是明白的。
那时他大哥已经被立为皇太子，李贤的一生，原本也只该作为藩王平稳度过。他爱读书，也愿意与众多文人儒士一起修注经典整理旧籍，眼见着要走上昭明太子或贞观十七年之前的四伯父魏王泰之路……然后大哥走了。
万里江山以如此仓促惨烈的方式突然压到李贤的肩头上，统领庶政的母亲还对他日益敌视，他唯一的依靠，只有父亲始终不变的爱重鼓励。
而今父亲也当面斥责他“糊涂”。
李贤闭上双眼，僵硬地伏地叩首谢罪，自己都不知自己说了些什么。然后母亲开口，声音是一片嗡嗡嗡嗡，说了好些话，最后几句才微弱地传进李贤耳中：
“……那个李仲寂只会说大话，我早说此人不可用，你又不听。唉，阎立德兄弟死后，朝中连个会修陵的人都找不出来，真是……”
李贤很想反驳一句“那么请天后派人接手陵工”，但这话说不出口。修筑恭陵是他能为大哥做的最后一件事，也是他立储之后亲自安排的第一桩政务，怎么也不能以“交卸烂摊子”收场。
他只能说：“臣再着工部和将作监荐合适大匠”。父母没再说什么，只叮嘱他万不可再惹出民变之类的祸乱。