隋朝的统一大业，其实始于北周武帝。早在灭北齐之后，北周武帝已经着手讨伐突厥，但最后死于北伐突厥的战事。因此，北方的安定，对于统一南方，解决后顾之忧是非常重要的前提条件。
从西魏大统八年（542），突厥从连谷等地入内地起，这一少数民族不断对中国北方政权产生威胁。北朝后期，东魏与北齐、西魏与北周，都争相与突厥交好，在“控弦数十万”[2]的强大武力支撑下，突厥获得了大量经济与政治上的好处。
隋文帝立国之始，北周千金公主怂恿夫君突厥沙钵略可汗为北周皇室报仇，自幽州（今北京城西南）到临洮（今甘肃岷县）向隋王朝北部边疆发起全面进攻，隋朝不得不修筑长城，巩固边塞。后隋朝实施反间计，采纳大将军公孙晟的建议，利用“离强合弱”、“远交近攻”的策略，激起突厥内讧，加上天灾饥疫，突厥分裂为东西两部，强大的东突厥内部又分为十股势力。同时，隋文帝在军事上对突厥也取得了一些胜利，在交涉中又进一步分化突厥，于是突厥各部显现衰落之势，不得不遣使求和，北周千金公主也自请改姓，隋文帝赐姓杨，改封大义公主，取大义灭亲之意。此后隋朝才能够得以专注于南方平陈之事。
灭陈之前，隋文帝首先把早已归顺的梁国废除。早在西魏攻破江陵、杀梁元帝萧绎以后，梁武帝孙萧詧被立为傀儡的梁朝皇帝，领有江陵沿江之地300里，成为西魏、北周的附庸，史称西梁。自隋文帝代周称帝，北朝和南朝的政权，同样以汉族地主阶级为主体，南北对立的民族矛盾，基本已经消失，后梁傀儡政权的存在便没有必要了。开皇七年（587），隋文帝征后梁主萧琮（萧詧孙，萧岿子）入朝于隋，至大兴后，隋文帝留琮不遣，并派崔弘度为江陵总管，将兵戍荆州，后梁亡国（历三主，共33年，554—587）。这是灭陈的第一个步骤。