祁门是徽州一府六县之一，位于黄山西麓，皖赣两省交界之处，有“九山半水半分田”之说，是个闭塞的小县城。此地是沿长江南岸陆路进入江西的必经之地，在此驻军，既可阻止太平军南进江西，又可北顾安庆，一旦曾国荃安庆围城部队受到威胁，可北上驰援。同时东接徽州，可沟通浙江。另外，驻军此地，还可以应付朝廷询问，说是为将来收复苏常作准备。
咸丰十年阴历五月十五日，李鸿章等幕僚陪同曾国藩由宿松大营起程，行军二十余天，于六月十四日到达祁门。祁门还是第一次接待品位如此高的大员，整个县城出现了亘古未见的盛况。当天下午，曾国藩就巡视了祁门形势，安排部队防守。当时，跟随他到达祁门的只有朱品隆和唐义训的两千人及杨镇魁的一千人。
祁门四周皆山，城如釜底。全县只有两条道路沟通外界，一条向南，可连景德镇，一条向东，可至休宁、徽州，除此之外别无他途。一旦两条大道被封锁，此地顿成瓮中之鳖。从军事上看，此乃绝地，湘军大营驻扎于此，更是兵家大忌。因此，见到实际情况后，李鸿章首先向曾国藩建议道：“老师，这个地方如在釜底，是兵家所谓绝地，大军最好能及早撤离，另选他地驻扎。”
“刚刚驻扎，岂有走的道理？”曾国藩有些不愿意。
其他幕僚也相劝，朱品隆、唐义训和杨镇魁三位带兵的武将也都来劝，三人承担护卫老营的职责，而以他们的兵力，实在不能确保安全。曾国藩一概不听。他之所以不听，并非不懂兵略，当初选择祁门，只是在地图上看到这个地方位置特殊，因此圈定此地，谁料此地会是这种地形？一到祁门，曾国藩就看出了此处的问题。可他刚刚奏报朝廷自己驻节祁门，既可策应安庆，又可东顾江浙，如果刚入驻没几天就又走，这怎么说得过去？如果明说此地不宜驻节，那朝廷会问当初选定此地时为什么如此草率？所以曾国藩无论如何要在此地驻扎一些时日。李鸿章以心腹自居，因此屡次去劝谏，最后曾国藩不胜其烦道：“你们谁要怕就明说，谁愿走就走，反正曾某人不走。”