大业十二年(616年)七月，杨广因北方多事，不顾群臣反对，离开长安前往江都巡幸，杜伏威部正好就在江都眼皮子底下，为了保障皇帝巡幸的安全，隋派出虎牙郎将公孙上哲率军前往镇压，双方战于盐城(今江苏盐城)，公孙上哲军队被全歼，随后，隋朝又派大将陈棱带八千精锐讨伐杜，陈、杜多次交手，毕竟陈棱的军队训练和器械远强于杜，杜伏威军连连失利。但陈棱兵力不多，想剿灭杜伏威也不容易，双方打成僵持状态。
同年十二月，隋炀帝车驾到达江都，护驾骁果十余万人，声威赫赫。按理隋军应该军心大振，杜伏威难逃灭亡，不料正是杨广的到达给了杜伏威崛起的机会。
当年正好是大荒之年，老百姓本来就已走投无路，再加上被官府如此压榨，终于造成了一场大饥谨。据记载，老百姓先是吃树皮树叶，后煮土为食，“诸物皆尽，乃自相食”。又弄到了人吃人的程度，于是大量百姓揭竿而起，杜伏威乘机吸收了大批手下，势力迅速膨胀。
这时杜伏威与陈棱强弱之势已经倒转，于是主动向陈挑战。陈棱也知道战局不利，因此龟缩不出，任由杜伏威自己去耀武扬威。
杜伏威于是就用激将法，派使者给陈送了一套妇女衣裳，并给陈棱起了一个外号叫陈姥(就是陈老太太的意思)，到处宣扬，刺激陈棱。
陈棱怒火中烧，果然带领全军出战。这一仗打得十分激烈，杜伏威亲自上阵，不小心被一员隋将暗箭射中，杜怒吼说：“不杀了你，箭矢不拔！”
然后就直冲过去，把那吓呆了的射手斩于马下，又拿着那个弓箭手的首级连续杀了几十人，隋军士气大挫，被打得几乎全军覆没，陈棱单骑逃回江都去了。
杜伏威趁势扩大战果，占据了高邮、历阳等重镇，并在历阳自称总管，封辅公祏为长史。