随着徽州城破，李元度部几乎一散而尽，仅千余兵勇回到祁门，李元度本人也下落不明。四天后，李世贤率部再克休宁，进逼祁门。
湘军内部大为震恐，曾国藩六次飞信皖北，向李续宜求救，前三次尤为急切，信中一再强调“皖南局势万分危急，欲求阁下带二三营，即日渡江南下相助”，“速带三营来此”，“速来救援”。
在李续宜应命兼程南下的同时，曾国荃顾虑乃兄的安全，也想加入南援行列。曾国荃身负包围安庆的重任，如果他南下就要撤安庆之围，这意味着曾胡夺取安庆的根本战略方针将无法进行下去，而且由于陈玉成开始在长江北岸活动，那里的局势同样变得紧张起来。胡林翼嘴上不便反对曾国荃南下，但言辞中已颇有些负气：“如涤帅（曾国藩）嫌南岸兵少，可以沅浦（曾国荃字沅浦）万人调去，北岸不须沅浦也。”
曾国藩的另一个弟弟曾国葆这时正协助曾国荃包围安庆，通过书信往来，曾家三兄弟围绕相关话题展开了紧急讨论。曾国葆坚决反对撤安庆之围，曾国藩认为他的意见很对，乃“至当之论”。
太平军自二破江南大营后，占据了苏南及浙江大部分地区，在苏北可自由活动，在皖南皖北也都拥有雄厚势力。唯有在安庆周围地区，湘军倾注全力，太平军却主力东调，这样湘军方面才占有优势，但这种优势只是局部优势，若想把局部优势变为全局优势，除了紧紧抓住安庆这一关键战略地带不放，也确实没有其他更好的办法了。
在给曾国荃的信中，曾国藩特别强调：“安庆不宜撤围，这是人人心里都清楚的一件事。现在普天之下贼（太平军）处处占据上风，独安庆一城系贼处于下风，岂能轻易撤退？”
见大哥和曾国葆均持此议，曾国荃这才回心转意，放弃了南下的想法。
曾国荃无法脱身，李续宜在短时间内也是远水难解近渴，所幸皖南湘军中最厉害的战将鲍超已经归队，曾国藩急忙飞檄调他及张运兰至鱼亭，用以阻遏李世贤的兵锋。
鱼亭位于休宁与祁门之间，但鲍超、张运兰能否及时赶到鱼亭却是个问题。因为休宁距祁门不过百里之遥，鲍、张一个在太平，一个在旌德，距祁门的路程均远于休宁，假如三方同时向祁门运动，李世贤将占有极大优势。
祁门大营兵力空虚，仅有亲兵营等三千人马，而且其中还有一半是从未打过仗的新兵，千钧一发之际，李世贤却突然掉头而去，脱离了主战场。
说奇怪也不奇怪，李世贤并非李秀成那样具备谋略和大局观的将帅。在他看来，富庶的杭嘉湖平原是肉，瘠薄多山的皖南只是骨头，吃肉当然比啃骨头更招人喜欢。
李世贤进攻皖南，是按照西征计划对李秀成部进行策应，但李秀成又迟迟未进入皖南。既然前面已连下徽州、休宁，打的都是胜仗，也就是说，对上对下都已交代得过去了，为什么还要在皖南独自啃骨头，而不乘胜吃上两块肉补充补充？李世贤遂选择自徽州开拔，率主力到浙江攻城略地去了。
李世贤折回浙江的第二天，李续宜率四营援兵赶到祁门，紧接着，左宗棠部亦由南昌东进皖南，曾国藩就这样奇迹般地躲过了一次严重危机。
1860年10月19日，刚刚摆脱危机的曾国藩给朝廷上疏，请求在必要时从他和胡林翼中选出一人带兵北上勤王。也就在这一天，他突然接到了李元度的信件，这封信不仅证实李元度还活着，而且显示他在城陷前就已逃出。
曾国藩立刻皱起了眉头，他向来把“忠义血性”视为带兵之人的根本，李元度弃城先逃，身上哪有“忠义血性”的影子？按照大清律法，城未破而将先逃，结果导致城池失守者，守城将领得到的最高处分将是斩首或者斩监候！
让曾国藩更感诧异和恼怒的是，李元度逃出后，居然没有在第一时间赶回祁门禀告，且至今未返回大营。在信中，他也没有多少悔过的表示，说到兵败的原因，多是归咎于城防设施来不及完备、李世贤部数量多且凶悍等客观因素，对于他个人应该承担的责任只字不提。
朝廷方面的态度，本是认为李元度一向“谋勇兼优”，徽州兵败很可惜，让曾国藩赶紧查明其下落。如果曾国藩睁一只眼闭一只眼，事情也就过去了，但他为了训诫李元度，以儆效尤，仍然决定予以严参。