与人物画相比，魏晋南北朝的山水画尚处于独立化的孕育阶段。不过随着时间的推移，尤其到了晋宋以降，原来作为人物画背景或者人物性格衬托的山水树石逐渐从附属地位中解脱出来，开始走向艺术的“前台”。从历史文献的记载来看，顾恺之在《画云台山记》图解葛洪《神仙传》中的道教天师张道陵传，其中言及“清天中，凡天及水色，尽用空青”，显示使用的是石青材料，当为设色的青绿山水。另外，在顾恺之的《论画》篇中也谈道：“画人最难，次山水，次狗马，台阁一定器耳，差易为也。”自此可见山水画已初显芽芒。当然，如以后世山水画标准去审视顾恺之所画的《庐山图》、戴逵的《吴中溪山邑居图》抑或夏侯瞻的《吴山图》等作品，其山水树石的置陈布势与形态体貌无疑还是很幼稚的。譬如画面强调“人大于山，水不容泛”，山峦“则群峰之势若细饰犀栉”，树石“则若伸臂布指”，画法也唯用线条勾勒轮廓，无皴点、晕染等技巧的自觉运用。顾、戴等人的山水画实验，可以被视为后继山水画科独立的先声。
检讨山水画之所以能在晋宋时突起，大抵基于两个方面的原因。一是南方地理位置优越，多水、多花、多色，山清水秀，自然风景秀美，无形中能为人们提供踏迹自然、接受自然大美洗礼的条件与契机。其二，晋宋适逢乱际，文人士大夫们多不满于时政，企求避隐山林，于是对超现实、超功利的自然美的艺术观照必然成为他们日常生活中不可或缺的一部分。根据现有的图像与文献资料，这一时期山水画的艺术特征可以归纳为以下几点：一、尚奇石，多透空表现，不重视对山石质感的描写；二、相对于人物有白描，山水突出以设色为主；三、相对而言，画幅中树木表现的杂度要高于山水；四、比例上，人大于山；五、初具表现远方的空间意识；六、山水多为神仙或理想世界，具有强烈的文人画品格。