先秦两汉虽未产生符合小说文体基本条件的作品，但这一漫长的历史时期却是中国文言小说的萌芽阶段。这一时期的《山海经》《淮南子》《穆天子传》《燕丹子》等中的神话传说，《孟子》《庄子》《韩非子》《战国策》中的寓言故事及《左传》《战国策》和《史记》等史传文学，都孕育着小说艺术的因素，为小说文体的形成创造了条件。值得注意的是，由于史传文学极为发达，中国古代早期的小说与历史传记存在着千丝万缕的联系。
魏晋南北朝时期是文言小说发展的童年期。该时期的小说篇幅短小、叙事简单，只是粗呈故事梗概，并且基本是根据传闻加以直录，较少进行艺术的想象和细节的描写。虽有人物性格的初步刻画，但还不能展开。所以还只是初具小说的规模，并非成熟的小说作品。魏晋南北朝小说可以分为志怪和志人两类。志怪小说记述神仙方术、殊方异物、鬼魅妖怪、佛法灵异。志人小说记述人物的言谈举止、奇闻佚事。在中国文言小说史上，魏晋南北朝的志怪小说和志人小说是不可或缺的一环。前者以干宝的《搜神记》为代表，后者以刘义庆的《世说新语》为代表。《搜神记》主要记录神异故事，内容十分丰富，大多篇幅短小，情节较为简单，但充满神奇诡异的色彩，对后世有深远影响，如唐代传奇故事、蒲松龄的《聊斋志异》等都和它有着密切的联系。《世说新语》主要记载魏晋名士的逸闻轶事和玄虚清谈。鲁迅先生曾盛赞道：“记言则玄远冷隽，记行则高简瑰奇”（《中国小说史略》）。《世说新语》中所提及的各类人物，无论帝王、将相，或是僧侣、隐士，有的重在形貌，有的重在才学，但都能够突出表现人物的特点，通过独特的言谈举止描绘出人物的独特性格，使之气韵生动、跃然纸上。《世说新语》的语言简约含蓄，隽永传神，透出各种机智和幽默。正如胡应麟《少室山房笔丛》卷十三所说：“读其语言，晋人面目气韵，恍忽生动，而简约玄澹，真致不穷。”许多成语出自此书，被后世广泛运用。如拾人牙慧、难兄难弟、咄咄怪事等。《世说新语》对后世有着十分深远的影响，不仅模仿其的小说不断出现，而且不少戏曲、小说也都取材于此。