桓玄字敬道，一名灵宝，是东晋桓温少子。他性类桓温，因得桓温喜爱。桓温临终，命他继嗣，袭爵南郡公，时年5岁。桓玄守丧3年，7岁时守丧期满，此时谢安当政，桓温原属下文武佐吏在这样的政治情况下都来向桓玄叔父桓冲告别。桓冲见到站在身边的桓玄，一时感慨，抚摸着桓玄的头对他说：“他们都是你家的故吏啊！”桓玄闻言痛哭，声动左右，众人无不惊异。
数年后，桓玄长大成人，仪表堂堂，博学多才。因桓温之乱，当时朝廷有所顾忌，朝臣也纷纷议论桓温不臣之迹，桓玄兄弟因此遭到排挤，而不加重用。桓玄直到23岁，才被拜为太子洗马。在东晋朝廷上做些无权的闲官而已。一次，桓玄去拜见琅邪王司马道子。当时终日饮宴的司马道子又在高饮，厅中宾客满座。司马道子此时已有醉意，见桓玄，突然大声问众人：“桓温晚年反叛，是也不是？”桓玄一听，顿时汗流浃背，拜伏于地，不敢起身。多亏此时的琅邪王骠骑长史谢重出面解围，回答说：“已故宣武公废昏立明，功过伊尹、霍光，今人议论种种，应有所识别。”司马道子听后，点头称是，桓玄这才得以解脱。
不久，桓玄出补义兴太守。一天，桓玄登高眺望震泽，愤懑叹息说：“父为九州伯，儿为五湖长！”此后，闲居江陵，优游无事。荆州是桓氏发迹之地，桓氏兄弟子侄先后任荆州刺史数十年，故吏宾客遍布荆楚各地，根深叶茂，人多势众。其时的荆州刺史殷仲堪是一个玄学名士，资望不深，对桓玄也甚敬畏。一天，桓玄骑马到刺史厅前，手持马鞭在殷仲堪面前挥舞不停，摆出一副要刺杀的架势。桓玄此举，无疑是想驱逐殷仲堪。殷仲堪的中兵参军刘迈见状，出言讥刺说：“君的马技有余，而义理则不足。”桓玄不乐，转身而回。殷仲堪知桓玄性格，等桓玄离去，怕桓玄刺杀刘迈，让刘迈赶快回建康躲避。果然，桓玄派人来追杀，刘迈因殷仲堪才勉强逃脱。