蜀汉灭亡以后，新建的西晋王朝肩负着一统天下的历史使命。在随后灭东吴的战役中，一代名将羊祜是必须要提及的人。羊祜，字叔子，今山东费县西南人，出身于汉魏名门士族之家，是西晋时期著名的军事家。
从羊祜起上溯九世，羊氏各代皆有人出仕两千石以上的官职。羊祜的祖父羊续，为汉末南阳太守，父亲羊衜为曹魏时期的上党太守，母亲是汉代名儒、左中郎将蔡邕的女儿。另外羊祜的姐姐嫁给了司马懿之子司马师为妻，而羊祜本人的妻子则是曹魏皇室成员夏侯霸的女儿。因此，羊祜在魏晋两朝都有着特殊的身份和地位。正因为羊祜的特殊处境，青年时期的羊祜虽然因博学多才、善于写文、长于论辩而盛名于世，却多次回绝州郡政府的征辟，有意回避了曹氏集团与司马氏集团之间为争夺最高权力而进行的斗争。
但由于门第关系，尽管羊祜基本上游离于两大集团争斗之外，可从思想感情上说，他对司马氏集团显得更为亲近一些。正始十年，司马懿发动高平陵之变，夺得曹魏的军政大权。政变后，司马懿大举剪除曹氏势力，与曹爽有关的很多人都遭到株连。当时，尽管羊祜的岳父夏侯霸为逃避杀戮投降了蜀国，而羊祜却并未因岳父而受到牵连，这大概和他较为亲近司马氏的政治态度有一定关系。
羊祜第一次接受征辟是在司马昭执政时期。其后不久羊祜就加入司马氏集团，并逐渐上升为该集团中的重要人物。曹髦统治时期，他先后出任中书侍郎、给事中、黄门郎等职。到魏元帝时期，羊祜调任为秘书监。
到司马炎建五等爵制的时候，羊祜以功被封为巨平子爵，食邑六百户，不久，又被拜为相国从事中郎，与司马炎的另一心腹荀勖共掌机密。司马炎代魏前夕，羊祜被调为中领军，统领御林军，掌管京城内外戍卫。司马炎受禅后，以羊祜佐命之功，进其为中军将军，加散骑常侍，晋爵为郡公，食邑三千户。羊祜担心引起贾充等权臣的妒忌，于是固让封公，只授侯爵。泰始初年，司马炎曾改任羊祜为尚书右仆射、卫将军等职。