晋朝的时候，胡人已杂居中原内地了，而且有许多胡人在中国受了官职，建立过不少的功业。大约在汉族强盛的时候，胡人是很归顺的，一到汉族不振作时，胡人便崛强起来。晋朝自八王之乱，国内纷扰，成了胡人兴起的好机会。这时胡人最大的有五种：一叫匈奴，一叫羯（jié），一叫羌（qiāng），一叫氐（dī），一叫鲜卑。这五胡把一个晋朝扰乱得破裂不堪，就是史家所称的“五胡乱晋”。
五胡乱晋的第一声，就是匈奴人刘渊的称帝。刘渊本是匈奴冒顿的后裔，因为汉高祖和匈奴和亲，把宗女给冒顿做妻子，后来冒顿的子孙，就跟着母姓也姓刘氏。刘渊在晋朝时，已居住到山西的汾河边地了，做过晋朝将军的官职，受过封侯的爵位。八王之乱时，成都王颖劫了惠帝，被各方义兵打得大败，成都王颖便命了刘渊去召集各方的义兵。刘渊不到两三天的光景，就集合了五万多兵，他便对人说道：“做帝王的，岂是天定的吗？我不当做一个汉高祖，也应当做一个魏武帝（曹操）。并且汉朝的恩德很厚，我是汉朝的外甥，从前约了结为兄弟的，我应当继续兄的帝业来做皇帝。”就据了河东，攻破平阳、蒲阪，建都于平阳，自称皇帝，国号叫汉。到他的儿子刘聪接着为帝时，发兵攻破晋朝的国都洛阳，把晋怀帝活捉回去了。回军之后，大宴群臣，逼着晋怀帝穿了奴仆的青衣，执壶行酒，把中国的皇帝，当作奴仆看待。后来又攻破了长安，把晋愍帝又活捉回去了。晋朝的天下，到此要算灭亡了，等到司马睿在建业称帝，保持晋朝的名号，不过只保守了江南一角，中原的势力，统归胡人了。后来刘渊的族子刘曜接着为帝，改国号叫赵，不久，刘曜被羯人石勒所灭。
石勒本是羯种人，起初做一个部落的小帅，很不为人所齿，后来被晋朝的官吏捉了，带至山东地方，卖给人家为奴。石勒在做奴隶的时候，因善相马，便交结了一位牧马的牧帅。成都王颖召集义兵时，石勒和那牧帅带了几百匹马，投到成都王的部下，就做了一个都尉的官职。后来又投到刘渊的部下，刘渊封他做将军，便带兵去攻打晋朝，很是骁勇，打了许多胜仗，权势就大起来了。等到刘曜接着为帝时，他便夺取平阳，把刘曜赶走，自己称为皇帝，国号叫赵。