最终，董卓立下了救驾的大功，回京后，便掌握朝中大权。
由于何进已死，张辽作为大将军何进的直属部下之一，便像何进的其他部属一样，统兵从属于董卓。后来，董卓败亡。张辽统兵从属于吕布，迁任骑都尉。
张辽虽然“以兵属吕布”，但他以北地太守或鲁相的名义，在吕布军中仍保持相对的独立地位。
由于凉州军人是董卓旧部，主持朝政的王允打算削弱凉州军人的权力，于是，凉州军人在李傕、郭汜、樊稠的带领下纷纷造反，攻打长安，击败吕布，杀死王允。
北地太守张辽（北地位于凉州，在吕布向东逃亡之前，张辽就已经被朝廷授予此职）跟从吕布向东奔逃，所以张辽是并州人，起先根本不是吕布的直系属下。
而吕布是一个典型的“剑客”（东汉游侠一种，不一定使剑），在得到老乡王允的支持后，他火拼了董卓。
王允利用皇甫嵩招降了部分凉州军，但拒绝了皇甫嵩成为凉州军首领的建议，对余下的凉州军各个头目一副赶尽杀绝的态势。
在这种情况下，李傕郭汜等人带着剩余的凉州军外加白波军余部杀入了关中，击败了吕布、张辽手下的数千并州军。
吕布不得不带着部下四处混饭吃，他以老袁家的恩人自居，想投奔袁术、袁绍兄弟。
袁术本人是气侠，对吕布很看不上眼，因此吕布只好投奔了袁绍。
袁绍的气度看起来比袁术好，吕布带着手下数百精锐骑兵多次击败张的黑山军。
吕布也有了老子天下第一的念头，放纵手下在冀州抢劫，这激怒了袁绍。
袁绍派遣刺客刺杀吕布不成，吕布带着并州军只好再次出逃，尽管出逃的很狼狈，吕布照样吓得袁绍关闭了邺城大门。
天下虽大，吕布却似乎走投无路。他得罪了李傕郭汜为首的凉州军集团，李傕郭汜起兵攻打长安时就杀死了随军的数百并州士兵，对他这个挑起并州、凉州之战的祸首发出了追杀令。