此时的汉人和异族之间，自然不能不发生阶级，史称北齐神武帝，善于调和汉人和鲜卑。他对汉人则说：“鲜卑人是汝作客（犹今言雇工），得汝一斛粟，一匹绢，为汝击贼，令汝安宁，汝何为陵之？”对鲜卑人则说：“汉人是汝奴。夫为汝耕，妇为汝织，输汝粟帛，令汝温饱，汝何为疾之？”就俨然一为农奴，一为战士了。
但此时期的异族，和自女真以后的异族，有一个大异点。自辽以前（契丹为鲜卑宇文氏别部，实仍系五胡的分支），外夷率以汉族为高贵而攀援之，并极仰慕其文化，不恤牺牲其民族性，而自愿同化于汉族。至金以后则不然。这只要看五胡除羯以外，无不冒托神明之胄（如拓跋氏自称黄帝之后，宇文氏自称炎帝之后是），金以后则无此事；北魏孝文帝，自愿消灭鲜卑语，奖励鲜卑人与汉人通婚，自然是一个极端的例子，然除此以外，亦未有拒绝汉族文化的。
金世宗却极力保存女真旧风及其语言文字。这大约由于自辽以前的异族，附塞较久，濡染汉人文化较深，金、元、清则正相反之故。渤海与金、清同族，而极仰慕汉人的文化，似由其先本与契丹杂居营州，有以致之，即其一证。
对于汉族的压制剥削，亦是从金朝以后，才深刻起来的。五胡虽占据中原，只是一部分政权入于其手。其人民久与汉族杂居，并未闻至此时，在社会上，享有何等特别的权利（至少在法律上大致如此）。
契丹是和汉人不杂居的。其国家的组织，分为部族和州县两部分，彼此各不相干（设官分南北面，北面以治部族，南面以治州县）。财赋之官，虽然多在南面，这是因汉族的经济，较其部族为发达之故，还不能算有意剥削汉人。到金朝，则把猛安谋克户迁入中原。用集团之制，与汉族杂居，以便镇压。