不知道从什么时候开始，御花园里就流传着一个传说，说这花园里有三块天神赐予的奇石，它们一个比一个“神奇”，似乎还拥有某种法力。这个传说的源头现在已无从考证，不过御花园里确实有三块奇石。
御花园里怪石嶙峋，有三大奇石最惹眼球，第一奇石当数“拜斗石”。细细看它的表面，有一个黑衣人正拱手作揖，躬身下拜，他的前方有七个小白点，所以有人附会诸葛亮拜北斗七星，这也是“拜斗石”的由来。
在《三国演义》里有这样一个故事，说是诸葛亮夜观天象，知道自己将有大劫，命不久矣，于是他按照北斗七星的形状摆下天罡法阵祈求延寿，结果魏延闯进帐中，一阵狂风把他的本命灯吹灭了。看到此景，诸葛亮有气无力地说：“我命该如此，是天命……”这一事还演变成了歇后语：“孔明拜斗—自知要死了！”
皇帝当然不可能取“自知要死”之意，“拜斗”实际上是道教祈求长生、消灾解难的一种仪式，诸葛亮的“斗”被魏延破坏，回天无术，但石头上的“斗”却永远也不会被“吹”灭，皇帝借此祈愿自己长生不老，无病无灾。
还有人说这是宋代爱石成癖的书画家米芾在拜石，更有甚者，竟然夸张地猜测这是一块陨石。
第二块奇石在“拜斗石”的对面，有些小朋友看到它总以为是玉米棒子，但实际上，这些肉嘟嘟带点刺的小东西更像是“石海参”。它们“抱”在一起，组成插屏的样子，很是可爱。关于它的来历，已经无从考证，专家推测可能是明代的遗物，反正它的样子总让我想起“葱爆海参”这道菜。
第三块奇石的位置在绛雪轩边，粗粗一看，以为是块木头，但实际它还真就是块朽木，背面还有无数个虫蛀的小孔。只不过此木非比寻常，它是经过自然界千百万年的作用，化木为石，成了一块“木化石”。