湘军持续的胜利并没有维持多久，很快他们又栽了一个大跟头。在基本上控制江西以后，湘军李续宾部开始着手攻打安徽。当时，已经改带陆师的李孟群在庐州附近被太平军包围，多次给李续宾发来求救信。于是，李续宾和他的六千将士踏上了远征庐州的征程。曾国藩的弟弟曾国华当时在李续宾军中，也跟随李续宾前往安徽。
本来一切都是很顺利的，但就在李续宾率部**的时候，发生了一件意外事件。胡林翼的母亲在这节骨眼上病逝了。为了避免权臣拥兵自重，清政府对于孝道的推崇到了无以复加的地步。胡林翼虽然知道此时他万万不能离开，但还是回到了益阳老家，替母亲守丧。
湘军之所以在曾国藩回家的这段时间里取得如此多重大的胜利，胡林翼的调度是非常关键的因素。现在胡林翼离开了，湖北的军政大权落到了无能的官文手中，而曾国藩此时的地位也很尴尬，不能调动太多的兵力支援李续宾。于是，悲剧就不可避免地要发生了。
曾国藩似乎预感到了这一局面，他在给李续宾、李续宜兄弟的信中说：“自润帅（胡林翼，号润芝）离开以后，不但我和你们兄弟、雪琴（彭玉麟，字雪琴）、厚庵（杨载福，字厚庵）等人失去了依仗，而且关系到东南大局的安危。听说湖北方面准备请官帅（官文）上奏朝廷，命润帅守孝百日后就出来统筹大局。这件事实在是难办，古往今来像润帅这样关系天下安危的人，极为罕见。”
然而，还没等胡林翼守完百日孝，李续宾率领的湘军六千精锐就在庐州周边的三河镇被陈玉成、李秀成的联军包了饺子，李续宾、曾国华都在这一战中丧生。 李续宾率领的这支部队，以湘乡勇为老班底，所以是各路湘军当中最精锐的部队。这支部队先后攻克武昌、湖口、九江等具有重大战略意义的城市，能打大仗、硬仗，深为胡林翼、曾国藩等人倚重。它的覆灭，对于胡林翼、曾国藩是沉重一击。得知三河战败的消息后，胡林翼再也没有心思在家守孝了，立马出山收拾残局。