杨玄感兵败，谋主李密被捕，和其余十多名钦犯一起被押送东都。途中，李密把身上带的金子全部交给押解他们的使者，并请求他们代办棺柩，使押解使者放松了戒备。到魏郡石梁驿时，李密等十余钦犯乘防守的人醉卧梦乡之机，凿墙穿洞，逃了出去。李密脱险后，为了躲避官府缉捕，变姓易名，转辗山村，四处亡命。后来他往来于外黄王当仁、济阳王伯当、韦城周文举、雍丘李公逸等结寨聚义的群雄之间，鼓动他们下山取天下。
李密经过观察，认为翟让最强，就在大业十二年约了王伯当，投奔瓦岗寨。李密上山初，翟让因听说他是杨玄感的亡命将军而不信任他，把他软禁在营外。李密靠了王伯当的帮助，去见翟让献策说：“如今昏君巡游江都，精兵集于辽东，这个形势如同过去项羽、刘邦奋起夺取天下的时机一样。足下雄才大略，瓦岗士马精勇，正可以席卷二京（长安、洛阳），诛灭暴虐，成就灭隋大业。”翟让因此对李密刮目相看。
李密见瓦岗人马愈来愈多，而粮草不敷供应，感到如果旷日持久，势必人马困疲，一旦强敌降临，就会涣然离散，于是向翟让又献一计，劝翟让下山夺取荥阳，养精蓄锐，然后大干一场。翟让称好。
程咬金搬兵图
十月，秋高马肥，瓦岗军浩浩****下山，神速进军，攻破金堤关，攻克荥阳诸县。荥阳历来是兵家必争之地，要隘虎牢关在郡境内。因此隋炀帝特派河南道讨捕大使张须陀为荥阳通守，全力对付瓦岗军。张须陀是镇压义军的老手，带着两万精兵，杀气腾腾从东南方扑来。
大海寺一仗，瓦岗军大获全胜，初振军威。河南郡县闻风丧胆，登封（今河南临汝）、密县（今河南密县）等地，未动一刀一枪都被瓦岗军占领。翟让高兴得让李密建立军旗，别统所部，号蒲山公营。李密加以整顿，严格训练，使它很快成为瓦岗军中一支生气勃勃的劲旅。