正在李渊迟疑不定的时候，一件极其糟糕的事情促使李渊下定了决心，起兵谋反。原来，大业十二年（616年），东突厥又来侵犯，李渊派出的人被突厥打败了。看到下属对抗突厥不利，李渊很担心自己也会因此而受到牵连，因而每时每刻都很担心。李世民抓住这个好机会，再次劝说李渊：“父亲，您很明白，您早晚有一天会因为征战失利而被问罪，因为您不能保证自己百战百胜。如今，内忧外患，情势紧张，我们与其等着被治罪，还不如占据主动，举兵起义。将来有朝一日您成为皇上，还有谁敢治您的罪呢？”李世民果然料事如神，不久后，隋炀帝就因为这次对抗突厥失败，免除了李渊及其下属的职务，并且下令让人押解李渊及其下属到江都。李渊知道自己一旦到了江都，也许就没有活命的机会了，因而趁此机会又去询问李世民和裴寂对这件事情的态度。李世民和裴寂抓住这个机会劝说李渊举兵起义，李渊却担心众人不服。
李世民和裴寂纷纷劝说李渊，帮助李渊鼓舞信心。在他们的一番分析之下，李渊终于下定决心举兵起义。难道李渊此前从未有谋反之意，只是因为李世民和裴寂的劝说，才有了谋反之心吗？当然不是。李渊虽然谨慎，却并非没有胆识和谋略。实际上，他早在大业七年（611年）就有了谋反之意，只是时机未到，所以一直韬光养晦而已。大业十一年（615年），好友夏侯端也劝说过李渊谋反，李渊完全赞同夏侯端的主张，下定决心要谋反。接下来，他一直在等待合适的时机举兵。担任太原留守期间，李渊广纳人才，招兵买马，名义上是为了守住太原，实际上是借着公务的机会发展自己的势力。后来，他更是借着李世民和裴寂一起劝说他的机会，顺水推舟地答应举兵。
李渊尽管已经下定决心要举兵，却深知谋反要想成功是非常困难的。这个时候，不仅李渊在广纳贤才，李世民也结交了很多英雄豪杰，还培养了对他忠心耿耿的死士。至此，他们形成了效忠于李渊的一个组织结构，体系严密，纪律森然。后来，这些人成为了李渊起兵的重要军事力量和政治力量。等到李渊正式建立唐朝后，他们都成为了开国功臣，也成为了当朝元老。