经此一战，李渊得到了众人的拥护和爱戴，很快就建立了军事、政治机构，也为改朝换代做好了初步准备。李渊心系天下，当然不会满足于只得到太原。大业十三年（617年），李渊任命李元吉留守太原，自己则带着李建成和李世民，率领大军从太原出发，一路南下。自此，李渊父子踏上了建立大唐的征程。
在中原地带，李密率领的瓦岗军实力最强。李密原本想把各路起义军都收入麾下，拥护他为首领，共同反隋。毫无疑问，李渊作为起义军的后起之辈，也收到了李密的消息，但是李渊始终没有给李密任何回信。直至大兵出发前，为了避免腹背受敌，被瓦岗军袭击，李渊才假意给李密回信，表示愿意拥护李密为王。其实，他是为了让李密继续反隋，而不要对他们开战。果不其然，李密接到了李渊的来信后喜出望外，马上回信给李渊说瓦岗军绝不进犯太原。由此一来，李渊就解除了后顾之忧，不再担心太原的安危了。
隋炀帝得知李渊起兵南下的消息后，心急如焚，派出重兵阻止李渊南下。这个时候，因为连日降雨，道路泥泞，李渊只好命令全体将士原地驻扎，等到天气转晴之后再继续南下。然而，他们的粮草马上就要消耗光了，天气却依然阴雨连绵，李渊急得如同热锅上的蚂蚁一样团团乱转。这个时候，晋阳告急，原来刘武周和突厥勾结起来攻打晋阳。这样一来，李渊后院起火，情势变得更加危急。裴寂建议李渊火速赶回晋阳平定后方，择机再挥师南下，然而，李世民却坚决反对退兵。他向李渊分析了当下的情势，认为一旦退兵就会导致军心涣散，此外他还建议李渊不要忌惮刘武周和突厥的兵力，因为刘武周和突厥是面和心不和，更不要忌惮李密，因为李密根本无暇攻打他们。在李世民的再三劝谏下，李渊最终改变了退兵的主意，继续挥师南下。