其实赵鞅选择无恤为继承人，也是经过深思熟虑的。
赵鞅骨子里头是个旧式贵族，对一切传统事物抱有一种温情与敬意。他当权的时候，晋国公室已经极度衰落，大权完全把控在四大家族手里，但他以上卿之尊，仍然保持了对公室的尊重（至少表面如此），这在那个年代是不多见的。
在选择继承人的问题上，一开始他也是严格遵守周礼的规定，立了嫡长子伯鲁为世子。
那时候，无恤还小，而且是奴婢所生之子，在众多兄弟中，地位最为低下（是以荀瑶称之为贱人）。赵鞅即便不立伯鲁，恐怕也轮不到无恤。
直到有一天，一位名叫姑布子卿的相士来到赵鞅府上。赵鞅将自己的儿子都叫出来，让姑布子卿给他们看相。姑布子卿看完之后便摇头说：“您的儿子不少，但都不是大将之才。”
赵鞅很紧张：“照您那样说，赵氏岂不是没希望了？”
姑布子卿说：“我进来的时候，看到一个小孩在院子里玩泥巴，不知道是不是您的儿子？”
赵鞅赶紧叫人将那小孩带进来，拍着脑袋想了半天才说：“这个是我儿子，叫什么来着……对了，无恤。”
姑布子卿站起来说：“这位才是真正的贵人。”
赵鞅说：“您不是开玩笑吧？这孩子的母亲，是我从狄人那里买来的奴婢，一点也不贵！”
姑布子卿高深莫测地说：“天命所赐，虽贱必贵。”赵鞅再问时，他便笑而不答，飘然而去。
赵鞅将信将疑，但是从此之后，便开始注意观察无恤的言谈举止，发现这个小孩确实有与众不同之处。
有一次，赵鞅将自己总结的一些人生格言书写在竹片上，发给儿子们学习。过了些日子去检查，其他人都背不出来，只有无恤倒背如流，还能举一反三，说出自己的见解。