汉武帝是个具有高度文化素养的皇帝，从小就接受了很好的文化教育，对文学艺术和其他文化事业有着十分浓厚的兴趣。同时，他还是一位酷爱文化典籍的皇帝，非常重视搜集图书典籍。
由于秦始皇焚书坑儒，古代流传下来的文献图书受到了严重损毁，社会上流传的图书因此变得很少，私人藏书都不肯拿出来。因此，汉朝初年曾下诏令，广事收罗书籍篇章，广开献书之路。可是，直到汉武帝即位之后，所收集的图书还是不多，而且，大多数收集出来的文献都是残缺的，不是文字缺少就是竹简脱漏。
有一次，汉武帝在皇家成书处看到这些费了很大劲才收集起来的零乱散落的竹简，喟然长叹了一声，说：“朕真痛心啊！”于是，他便下定决心要把经过秦火燔炙的古代文化典籍，尽可能地搜集、整理、保藏起来。因此，他向全国下令，继续在各地征集图书。
同时，他在太常府、太史府和博士官办公地点建设藏书楼，在皇宫内增设了辟延阁、广内、秘室府等藏书楼，专门保管、整理搜集来的图书。他还下令设置抄写图书的专职官员，翻抄包括经书和诸子百家在内的图书典籍。
在汉武帝的直接关心和支持下，搜集的图书一天天多起来。每当收到一种好书，将其送到汉武帝手上的时候，他都十分高兴。在保存、整理和流传古代文化典籍方面，汉武帝十分有远见、有魄力，同时做出了巨大的贡献。汉武帝从青年时代就十分喜好文学，汉赋的成就，在当时的文化收获中最为辉煌夺目。赋，是从骚体演变而来的散文和韵文并用的文体。赋的成就，继承了先秦诸子散文巧文多智的特色。汉赋，是当时文学的主流。
其中最为著名的就是大文学家司马相如。有一次，汉武帝读到《子虚赋》时，被文章中那和谐的音调、华丽的辞藻、奇特的构思深深吸引，赞不绝口。当他看到作者的名字是“司马相如”时，他感慨万千地说：“真是遗憾啊，我没有跟这样的人生活在同一个时代！”