事实证明，李鸿章的担心不是多余的。祁门果然是绝地。曾国藩为了做大清的绝对忠臣，将自己置于如此危险的境地，并且不顾幕僚的一致反对，始终不肯离开祁门。这着实令他的那些幕僚们为他的安全感到非常担忧。
为了巩固祁门的东面，曾国藩命好友李元度带三千兵前往驻守。曾国藩之所以如此重用李元度，主要是因为李元度曾经多次在曾国藩困难之时给予他帮助。第一次是在曾国藩兵败靖港之后。当时，湖南官场幸灾乐祸，曾国藩处境非常困难。李元度前往安慰，曾国藩才渡过难关。第二次是在曾国藩兵困江西时。当时，曾国藩所部被太平军围困在南昌周边，随时都有覆灭的危险。李元度自告奉勇，回家乡平江招募一支军队开往江西，虽然打的胜仗不多，但也为保证曾国藩的安全，做出了重要贡献。
李元度带兵太过宽厚，士兵违反纪律也不忍心按规矩处罚。长此以往，士兵们便不太遵守纪律，战斗力也就不强。曾国藩也知道李元度并非大将之才，但为了报答当年的恩情，仍旧选择信任李元度。
李元度临行之时，曾国藩向他面授机宜：到徽州后迅速坚壁清野，一旦太平军来攻，就凭借牢固的防御工事与他们周旋，切不可贸然出战。
1860年9月30日，李元度率部来到徽州府城。很快，太平天国侍王李世贤就率部对徽州发起攻击。
李世贤知道李元度不是一个沉稳的人，于是想方设法激怒李元度，引诱他出城决战。李元度果然上当，违背了当初曾国藩给他制定的战略方针，主动出城作战，结果刚一交战，就遭遇大败。徽州城也很快落入了太平军之手。
李元度在乱军之中逃出徽州。李元度这个人，书生意气很浓，比较看重面子，打了大败仗的他拉不下脸前往祁门找曾国藩，于是四处晃悠。