来到大胡子的家里，李靖夫妇才发现，这大胡子真个是家大业大，院落的房子就有几百间，雕梁画栋，一看就是个超级大财主，气派得很。家里仆人、家丁都养了几百人，像个武装割据的小政府。
李靖不解，就问大胡子：“哥哥，你这是多大的摊子啊？怪不得你要起事，感情你是准备好了的！”
大胡子一笑说：“这算什么？东南地方，我还有上万人马，现在都让一个叫杜伏威的兄弟替我照看着，只要我一声令下，他们那些人马就可以立即杀向江都，直接就要了杨广那老儿的性命。为此，我都准备了二十年了。”
李靖问：“哥哥祖上是什么人，怎么有如此根基？”
大胡子说：“既然兄弟你问到这里，哥哥我也就打开窗户说亮话了，我祖上实是北周朝的武将，我爷爷不满杨坚篡位，就托疾辞官回家避祸，告戒后世子孙，好生读书务农，不得做官，所以我和父亲都在这荒郊野岭之外，打猎种田，置办产业，经过几十年，也颇有些家财，但生逢乱世，尤其是近年来兵荒马乱，盗贼遍野，我就是再想清净，过那些世外桃源的日子，也不可能了，于是才想起来造反，反正他杨家的天下来得本来就不正当，现在又碰到杨广那样无道的昏君，天下早晚有一天要重新洗牌，我也就想乘机分一杯羹。”
李靖说：“原来如此，哥哥真是个有心人哪！”
大胡子说：“我就希望兄弟你这样的人才来入伙，我的大业才成。”
李靖说：“哥哥，圣人云，死生有命，富贵在天，天下方乱，但天命到底何归，现在一时还看不清楚，你我兄弟如果不自量力，贸然行事，可能凶多吉少，望哥哥三思。”
大胡子说：“好吧，你既然这样谨慎，自有你的道理，我也就不勉强，你我只做好兄弟，其他的事情等等再说。”