江南大营溃败后，浙江巡抚王有龄向曾国藩求救，曾国藩垂涎浙江财富已久，一口答应。并于咸丰十年，奏请李元度为浙江温处道，让李元度回平江募勇。但是王有龄却迟迟不给军饷，曾国藩一怒之下改变主意，将李元度奏留皖南，改任徽宁池太道。
同治即位，朝廷锐意进取，让两江总督曾国藩节制浙江。当时浙江只有绿营四万人，王有龄向朝廷上奏，说可调李元度入浙江作战，免于追究徽州失守之罪，拟任浙江按察使。
李元度率军进至龙游，被太平军拦截，遂坚守龙游，等待适当机会进杭州。
李元度率军打仗时，士卒“嗬嗬”声一片，显得十分勇敢。
席宝田讥笑李元度不懂兵法，说：“士兵呼喝，秦代、汉代常用，到今天哪还用这种方法让敌人胆怯的道理？”席宝田深得兵法精髓，用兵审时度势，见机而行。
太平军加紧对杭州的进攻，王有龄计穷力竭。李元度在龙游征战不利，准备退守常山。
淳安县令陈钟英建议说：“大军不宜回师衢州，衢州有守军，江西不供应衢州守军粮饷，不如去江山。江山是浙江进入福建的咽喉地带，大军可以驻守江山，守住粮道，与衢州呼应，长毛必不敢来犯。即使江山守不住，退路也不会被长毛封死，这是上策。”
李元度认为陈钟英说得很有道理，领军退往江山。此时，浙江全境只有湖州、衢州没有落入太平军之手。
李世贤率五万人马攻打湖州，湖州知府赵景贤率军民死守。赵知府是湖州本地人，非常重视名节，表示要与湖州共存亡。
李世贤围攻三个多月，大小战斗四五十次，没有撼动湖州。李秀成闻之，又增派五万人马，由谭绍光率领出苏州，经太湖进入湖州地面，助李世贤攻城。
湖州城内粮食吃光了，赵景贤就去摘菜、捕鼠充饥。朝廷不忍让赵景贤落入长毛之手，将他调离湖州，任福建粮道，廷寄到湖州之日即自行离开湖州。赵景贤接到圣旨，叩谢皇恩，从莫干山间小路潜入杭州。