曾国藩回家守丧，三军无主，乡居期间，各种指责纷至沓来。有人说他一味蛮干，没有真本事，借口奔丧伸手要权，便以守制为名不出山，与平时大讲忠君爱国，护卫名教的君子身份很不相称。
罗汝怀公开说：“夺情之事，宜分轻重缓急，丧父是一家的私事，丧乱是天下的大事，作为臣子不得弃公而不顾。涤生如今四海属望，怎能和乡下愚夫一样固守常规？两次夺情，从去所无。”
好友吴敏树写信给他说：“如今洪逆尚未平定，大军还在前线作战，回家奔丧，已属不忠！”
胡林翼批评他说：“曾国藩做京官做惯了，不能与同僚和平共处，离不开官场，又不能适应官场，圆滑不够，不会应酬，不会做官。”
左宗棠对曾国藩的这种做法意见最大，在骆秉章面前说他不对，还到处散布消息，说曾国藩不是一只好鸟，临阵脱逃，无能自私，躲在家中做缩头乌龟。
左宗棠的脸色就是晴雨表，他的言行就是湖南官场舆论，三湘官员亦群起而攻，曾国藩成了过街老鼠。他心知理亏，百口难辩，只能闷不吭声。他出荷叶塘散步，村中妇女老汉也对他指指点点，让他非常难堪。他夜不成眠，脾气变得很坏，常常因为小事迁怒几位弟弟，经常骂曾国华、曾国葆、曾国潢等人。曾国藩恨死了左宗棠，发誓不跟他说话，也不跟湖南官场来往。
好友欧阳兆熊知道他的病根所在，特地从新宁赶到湘乡给他治病。曾国藩心事重重，头昏眼花，经常失眠。他对欧阳兆熊说：“别人指责规劝，我都可以理解，唯有左季高在长沙的所作所为，让我耿耿于怀！”
欧阳兆熊说：“左季高与你平生相知，涤生过去所采取铁血手段，杀人太多，有些做法确实不妥。”
曾国藩苦笑了几下说：“乱世之中不多杀几个人，能平乱吗？”