浩瀚的人类文明史可以说就是一部由简单到复杂，由低级到高级的石文化史。石头是人类文明的始祖，是物质世界和精神世界得以构建的基础。从古至今石头就与人类的关系不可分割，一块奇石，可放于几案供人观赏；叠石成山，便成了造园的基础。故有人说，石头是大地的骨骼，是时间的见证，是历史的标本，是永恒的象征。
在文学名著中，曹雪芹的《红楼梦》中就有大荒山无稽崖青埂峰下的一块奇石通灵之说，故又称为《石头记》。在吴承恩的《西游记》中就有女娲补天而留下的奇石吸取日月精华而孕育出石猴孙悟空的写照。在造园的历史中，奇石发挥着重要作用。正所谓：“山无石不奇，水无石不清，园无石不秀。”
石头最初出现在中国绘画中，常常是充当画面的背景，衬托主体物。例如东晋著名画家顾恺之的《洛神赋图》，画面中的山石尚无皴法，只是简单地用线条勾勒出石头的最原始的自然形态，着色清新而淡雅，显得古朴而稚拙。
唐人爱石成癖好，以养石、赏石来提高自身的修养。白居易在《太湖石记》中云：“撮要而言，则三山五岳，百洞千壑，覙缕簇缩，尽在其中。百仞一拳，千里一瞬，坐而得之。”这是一篇全面阐述太湖石收藏和鉴赏的散文。文中写到，文人们喜爱将奇石移至园内、花园，或作案头清供，静心观看，以此寄托文人雅士对林泉的向往之情。唐代的章怀太子墓壁画中就出现了手捧树石盆景的两个宫女。
东晋 顾恺之 《洛神赋图》（局部）
阎立本的《职贡图》中那盆中之物便是奇石。唐末孙位的人物画《高逸图》中也出现了奇石。画面中的两块石头比人物稍大，以墨色染，石块凹凸有致，内有圆或扁的穿透孔洞，厚实而稳重，画家以石头作为背景衬托人物，表达隐逸旷达的情怀。