祖家军上下自成体系，在晋朝时，即便主力一度被改编为中军，但除非负责宿卫的部分，否则也只听祖逖一人之命，尚书省是根本插不进手去的。但既然华晋禅代，祖逖又臣从了裴该，自然不可能再沿用旧例，裴该对于保证其军的完整性给出了承诺，祖士稚自然也不得不做一定程度的让步。
首先是要按照朝廷的军事体系重新编组，增加排、部、旅三个层级，排以上将吏名单都须上报枢密省备案；其次于队以上各级设置司马，一方面核实功过，另方面进行政治宣传，这些司马多数由祖军自行任命，但也有将近三分之一是洛阳委派的；其三，军中律令，改从关中军旧制——当然啦，其实差别并不是太大。
至于其四，于收复失土，各郡县乃至亭的守吏，祖逖有署任权，但须报尚书省备案，尚书省亦可因应情势，加以更替。
原本在晋时，裴军在西，祖军在东，各练各兵，各打各仗，名为守望相助，其实相互间的联系并不紧密。既归华朝，就不能再这样了，华廷自然会徐徐地往祖军中塞人、掺沙子，以期逐步加以掌控。对于祖逖来说，你只要别太过份，别影响到我的对羯之战，虽感不满，也只有捏着鼻子认了。
正因为如此，对于前线将兵，或者祖逖本部，华廷还不便也不敢过多地伸手，而于屯河内的李矩、驻枋头的魏亥，人员安插和调动就相对要频繁一些——李、魏二人皆为故晋旧将，原本就不是祖家军的核心人马，二将也因此颇有改换门庭的想法，故于枢密省的安排并无异议。
即以魏亥论，他的旅司马，以及其下三位营司马，就全都是关西人；此外枢密省还以其旅数量不全为由，新塞了五百多关西老兵进来。然而司马普遍比各部主官要低两级，魏亥为少将，其旅司马则是上校。