守备晋阳的乃是祖逖的好友，当年曾经一起“闻鸡起舞”过的刘琨刘越石。刘琨是在六年前被司马越任命为并州刺史，并加振威将军号、领护匈奴中郎将衔的，他领着一千多人，自洛阳北上，迤逦而至晋阳。当时晋阳历经兵燹，几乎已成一座空城，全靠刘琨招聚流民、发展生产、修缮城防、募兵守卫，花了大概一整年的时候，才使其重获生气。
晋阳就在胡汉国首都平阳的北面，如同一柄达摩克利斯剑一般，高悬在刘渊、刘聪父子的头上，彼等自然不可能无动于衷。但是多次派兵攻打晋阳，却全都铩羽而归，这并不仅仅因为刘琨的军事才能相当杰出，更重要的是，他联络上了更北方的鲜卑拓跋部，与其首领猗卢结为兄弟，所以每每能够召唤鲜卑兵来抵御胡汉军。
但即便如此，刘琨也始终只有防守之力，而无法趁胜发动反击——否则胡汉军就不可能坦坦地肆虐中原、围攻洛阳了——主要原因按照史书上所写，是因为刘越石“善于怀抚，而短于控御，一日之中，虽归者数千，去者亦以相继……”说白了，这人虽然善于拉拢人心，对于机构组织方面的能力却很差，恩威两道，徒有恩而已，短了个威字。裴该前世读史，就因此觉得刘琨之能，远不如祖逖。
倘若二人易地而处，估计祖士稚早就能够组建起一支起码在五万以上的强军，全得并州，甚至进而攻陷平阳了；而刘越石若转战兖豫，成绩估计还不如祖逖的一半儿强。
所以刘琨虽然势力并不仅仅在并州一隅，他还派侄子刘演领兵进入兖州，击斩王桑，击退赵固，驻军廪丘，后来还打败过石勒。但双方隔着老远，很难呼应，导致刘琨始终困守晋阳一隅，根本就打不开局面来。
刘琨所署晋阳令徐润是个小人，据说他是因为擅长音律，跟刘琨对了脾气，才被引为心腹的，从此恃宠而骄，肆无忌惮。奋威护军令狐盛劝刘琨除此小人，反倒被徐润进了谗言，刘琨没有仔细访查，便将令狐盛给处死了。据说刘琨的老娘因此而责骂儿子，说你不能驾驭豪杰，反倒杀死比自己强的人，如此作为，必将酿成大祸！