怎么改变身份呢？经过一番考虑，武士彟决定走从军这条路。从军大概是科举制实行以前，寒门子弟最主要的起家途径了。首先，从军不需要家世背景，只要勇敢、身强体壮就可以；其次，从军周期短，打一场胜仗后，就可能得到提拔。当时有很多从军起家的故事，最著名的比如唐朝的薛仁贵，他本来就是一个普通农民，既没钱，也没什么背景，在唐太宗征高丽的时候白衣从军，因为作战勇敢受到唐太宗的赏识，一下子就提拔为五品的将领。后来，他在西北战场大显身手，留下了“将军三箭定天山，壮士长歌入汉关”的佳话。
这样的故事在当时非常具有典型性，武士彟也想走这条路。可是他和薛仁贵不同，他有钱。薛仁贵没钱，所以从一个士兵做起；武士彟有钱，有钱能使鬼推磨，当然不用从普通士兵做起了。从军伊始，他就当了一个小小的武官，这个官职的名称叫鹰扬府队正，是隋朝府兵制体系下所有常任军官中最低级的官员，管五十个人，相当于我们现在说当排长了。
武士彟当官的地方，是在他的家乡文水。就在这任职务上，他结识了后来的大唐帝国开国皇帝—唐高祖李渊。这是在隋炀帝大业十一年（615年），李渊奉炀帝之命讨伐反叛，路过武士彟当官的地方。武士彟一看，有大人物经过，这以后有利用价值啊，赶紧巴结，他又有钱，所以好酒好肉款待李渊，宾主尽欢，给李渊留下了很好的印象。但是，李渊随即离开了。又过了两年，大业十三年（617年），天下大乱，群雄蜂起，许多人都预感到隋朝大厦将倾，想推翻隋炀帝的统治。当时的隋炀帝，正在江都（就是现在的扬州）巡游，故都难回，怎么办呢？北边总得有人镇守，于是隋炀帝就派李渊担任太原留守—整个太原地区的军政第一把手，防守整个北方地区。李渊到了太原以后，不由得想起了武士彟当年的热情款待。现在有条件了，提拔他一下吧。于是提拔他当了行军司铠参军，掌管武器兵仗。武士彟当上行军司铠参军之后，跟李渊的来往就频繁了。他很快就发现李渊这个人雄心勃勃，想趁天下大乱当皇帝。顶头上司图谋造反，武士彟该怎么办呢？经过一番思考和权衡，他决定力挺李渊。力挺当然得用行动表现出来，武士彟为此做了三件大事。