大业十一年（615年），李渊主动申请出任太原留守。其实，隋炀帝一直器重李渊，倒是没有过多地怀疑李渊，反而认为李渊墨守成规，谨小慎微，是很难成事的。在当时，隋炀帝为北方的防守而烦心，又想到李渊平定叛乱向来给力，因而同意了李渊的请求，让李渊出任太原留守。当然，隋炀帝也并非对李渊完全放心，所以还特意任命高君雅和王威为副留守，暗中监视李渊的一举一动。李渊带着李世民火速赶赴太原上任，因为李世民有实战经验，关键时刻可以助他一臂之力。为了保证大儿子李建成和小儿子李元吉的安全，李渊特意拜托他人代为照顾家眷。
到了太原没多久，李世民就和李渊一起与兵力强劲的起义军魏刀儿展开了激战。在这次战斗中，李渊只有五六千兵力，而魏刀儿却有两万兵力。虽然敌我双方兵力悬殊，但是李渊因为有儿子李世民的拼死相助，所以和儿子一起打败了魏刀儿。这场战斗使李世民一战成名，声名远播，从此之后李渊也更加信任和器重李世民。在太原期间，李世民带着队伍击溃了很多股起义军，不仅施展了自己的军事才能，也积累了丰富的实战经验。然而，李世民深知起义军是民心所向，根本不可能真正镇压下去，所以他为此忧心忡忡，在父亲面前说道：“起义军是永远也征讨不完的。我们不管付出多少力气，冒着多么大的危险，与起义军奋力拼杀，有朝一日起义军卷土重来，或者威胁到皇帝的安危，皇帝一定还会拿我们问罪。”李渊何尝不知道这样的困局呢，但是他也知道此时时机未到，所以对于李世民所说的话，他并没有做出回应。对于李世民而言，这样的想法一旦在心中生根，就是很难抹除的，这也为他后来率兵叛变奠定了基础。
李渊和李世民谁都没想到的是，他们从大业十二年（616年）到达太原，命运就发生了转折，他们的人生从此之后彻底改变。