在东晋的历史上有一支影响东晋兴衰的重要军事力量，这就是北府兵。北府兵为郗鉴南渡后所创，本是驻守在徐、兖，护卫建康的重要军事力量。当时王敦、苏峻相继叛乱，由于建康没有强大的军事力量护卫，上游叛乱者动辄下都，直接威胁到了东晋朝廷的存在。在这种历史背景下，郗鉴组织广陵、京口及其左近定居的北方流民，建北府重镇。此后北府兵伴随着东晋内外政治的变化，也经历了不同的发展阶段，其间曾被撤销，而后又重建。
从咸和三年（329年）到太和四年（369年）这40年的时间里，北府一直被郗鉴及其后人控制。这一时期的北府兵是一支门阀世族部队，虽偶尔也被用于对外战争，但主要的作用是维持几家当权世族力量的平衡，支持建康朝廷的门阀政治，消除已形成的和潜在的军事叛乱，从而稳定东晋政局。但北府兵的这一作用于桓温反叛时，逼走郗愔后而告结束。
桓温叛乱平息后，谢氏辅政，又重建北府。北府兵的发展进入了新的阶段。谢氏重建北府兵后，在淝水之战前，北府兵参与淮南、淮北的战争，由谢玄指挥。淝水之战中，谢石受其兄谢安之遣，以将军、假节、征讨大都督，统率兄子谢玄、谢琰以及豫州刺史桓伊等军应战，从而大破前秦。淝水之战后，谢安开始组织北伐，谢玄为前锋都督。淝水之战后不及两年，谢安为躲避皇帝和宗室的压力，离京师外驻广陵，亲自指挥北伐。
在这一阶段，约十年的时间里，北府兵驰骋疆场，纵横南北，其中最重要的将领是出身谢氏豫州军府的刘牢之，而指挥权则在谢氏家族手中。此时北府兵的作用主要是从事外战。但同时，北府兵也起着支持建康政权，维持政局稳定的作用。
谢安离京后三年，谢玄又退居会稽，以疾病为借口卸北府之任，让出北府兵权。就这样，谢氏面对晋室与宗王的压力，在毫不反抗的情况下放弃了相权和兵权。谢氏这种做法的本意是为了在保全自己家族利益的同时，平衡各门阀世族与晋室以及宗王之间的关系，避免发生内乱。但谢氏离开中枢的结果是相权完全归于宗室司马道子之手，而北府兵逐渐解体。