史万岁死后，李药王就跟随舅舅韩洪作战。
隋仁寿元年（601），突厥又来侵犯北方边境，隋文帝命李药王随代州总管韩洪（韩擒虎之弟）、蔚州刺史刘隆领步骑一万镇守恒安，可是不敌突厥十万大军，将士多死。事后被免官除爵。此后就一直生活在东都洛阳，隋炀帝大业九年正月十九日，死于东都之尚善里舍，时年四十七岁。
朝廷处罚李药王，作为弟弟，自然李靖的仕途发展也非常不顺利。多年在正处级的位子上徘徊不前。虽然年年的考核李靖都是第一，但就是没有升官的机会。
所以时间长了，李靖就觉得特别没劲，一肚子的怨气，觉得不值得为大隋朝的皇帝卖命，他们太他妈的糟蹋人才了，于是也就有了消极怠工的想法，一天到晚喝酒玩乐，公务都是应付了事。就那年年考核，自然还是名列前茅。个人能力实在是太突出了，治理区区一个小县，对于他来说，不费吹灰之力。
作为县令，有职有权，自然找他办事的人也不少，一天到晚吃香的喝辣的，虽然他为人正直，不敢贪污，不敢受贿，但吃喝嫖赌、风花雪月的事情，他也不少干。因为那个时候社会风气开放，大家都是这样干的，见怪不怪，你在官场上混，约定俗成，大家都是这样干的。你要不干，你就是异类，是个怪人，就立马被大家孤立，除非你自己主动辞职，要不然混不下去的。
那个时候李靖心里也苦闷，也乐得借酒消愁，既然有人请客，那就顺其自然，与民同乐吧，于是，隔三差五，经常出入酒楼茶肆，酒足饭饱之后，还要光临当地的青楼、夜总会之类的娱乐场所，找几个头牌的小姐，释放一下自己的**。
那个时候李靖年轻，精力充沛，又没有成家，老婆没有，女朋友不谈，那怎么办？精力总要有发泄的途径嘛！