庞德公一直是过着隐居的生活，他隐居在襄阳城外的岘山南沔水中的鱼梁洲上，与妻耕作为生，自给自足，耕作之余读书著作，在荆州素来有名望，可以用德高望重来形容。
刘表曾经亲自登门拜访庞德公，却被庞德公拒绝。
刘表当时就对庞德公道：“你保全了你一个人，为什么不保全天下呢？”
庞德公笑着回答刘表：“鸿鹄在高林之上筑巢，晚上有栖息的地方，龟鼋在深渊下面作穴，晚上有归宿，人的取舍与行为举止也是人的巢穴，万物都是只为各自得到栖宿的地方，所以天下并不是我所要保全的。”
庞德公以耕作为业，所以他的妻子儿女在前耕耘。刘表指着他的家人问庞德公：“先生住在田亩之中，不肯出来做官，有什么能够遗留给子孙呢？”
庞德公回答：“世上的人追慕名利，只会留给子孙危险；而我留给子孙的是安居乐业，只是遗留下来的东西不同罢了。”
其人淡泊名利如此，所以为人所尊重。
刘禅一脸笑意的望着庞德公，庞德公在刘禅的头上轻轻敲了几下：“顽劣之徒，倒也聪慧少见，庞士元能收你为徒，亦是他的福气。”
“你就坐我旁边吧，与德操换一下位置。”庞德公对刘禅说道。
刘禅看向庞德公身边一直闭目养神，不曾出言说话的白须老者，不由惊到：“原来是水镜先生，小子失礼了。”
刘禅司马徽深深鞠躬作揖，司马徽睁开眼，对刘禅道：“当年见你还是抱在怀中的小儿，时隔数年却已经长成了妖孽了。”
“先生这是对我的夸奖吧？”
“早有听闻孔明和士元讲你的事迹，言你聪慧如妖，如今一见，倒也没有夸大。”司马徽道。
刘禅笑嘻嘻的与司马徽换了个位置，坐在庞德公和司马徽的中间，司马徽一直闭目养神，而庞德公则时不时的与刘禅说一句话，最后开始考校起刘禅的功课来了，这让刘禅头大如斗。