李元度是湖南平江人，他的部队多为从平江招募的子弟兵，呼为“平江勇”。自曾国藩出任两江总督，李元度就奉命回家乡重新招募了一批平江勇。要说起来，曾国藩对使用平江勇还是比较慎重的，先前浙江方面告急，请求湘军派去援兵，本来曾国藩是可以派平江勇的，就是考虑到这批兵勇是新军，新军一般来讲不能马上用于激烈对攻的野战，所以没有答应浙江方面的请求。
新兵胆子小，经验少，在旷野上打野战确实有些难为他们，然而若是派去守城，在有城池掩护的情况下，则不妨一试。再者，李元度的军事才能尽管不被看好，但过去在江西的时候，也有过固守两座城池不失的良好表现。曾国藩这么一琢磨，就同意将李元度派去守徽。
李元度带了八营计四千余人到徽州。徽州本来也有驻军，原皖南军务督办张芾属下就有绿营兵勇九千余人，是平江勇的两倍还多，但绿营向来就不怎么能打仗，张芾本人也因遭到御史弹劾而被撤职调回京城。
张芾在回城前，要先到祁门大营向曾国藩报到，可是他的绿营兵勇却不肯放他走，原因是部队还欠着二十余万军饷未发。李元度有着湘军儒将特有的那种豪气，见张芾被困且颜面扫地，便主动上前解围，表示所有拖欠的军饷由他负责补发，张芾这才得以脱身。
因为要向张芾索讨军饷，本来分驻于徽州外围要隘的绿营兵营纷纷放弃职责，来到了徽州城中。距徽州城北八九十里开外有一座丛山关，为宁国至徽州的必经要道，此处也已弃守。
还要不要派兵守丛山关？曾国藩给李元度的指示是，如果确有把握守住丛山关，可分去两营固守，若没有十足的把握，则应按照新军通常“宜合不宜分”的经验，舍弃丛山关，以集中力量确保徽州城。
曾国藩的意思很明显倾向于后者，但李元度取的是前者。派去的两营尚立足未稳，太平军便乘隙攻来，两营被迅速击溃，丛山关亦告失守。
战报传至祁门大营，曾国藩急得一整个晚上都睡不着觉。平江勇总共四千人，除两营在丛山关被击溃外，还剩下两千人在城里驻守，他担心这两千兵勇根本不足以守城，于是又向徽州加派了四营共两千余援兵。
此时鲍超尚未归队，张运兰在进攻旌德，曾国藩从大营派出的援兵无合适将领统带，属于散兵。在作战能力上，散兵和新兵实际相差无几，为此曾国藩特意对李元度强调，可将援兵派到城外，但其主要作用是保卫徽州的粮道，因而不要轻易出击，以免重蹈兵败丛山关的覆辙，同时他还关照李元度，援兵的扎营区域不要与徽州城距离太远，这样城内外可以互相照应。
孰料左叮嘱右叮嘱，李元度还是没放在心上，援兵赶到徽州后，不待休整，即被派到离城四十里外扎营，而且李元度也不抓紧掘壕筑垒，只将部队散乱地部署于沙洲之上。
曾国藩得知后很是恼火。受限于军饷难筹、带兵官难觅等客观因素，湘军从初兴到全盛，其兵力一直都远远少于太平军，后者在数量上常常数倍乃至十倍于湘军。当初湘军刚出道的时候，就因为与太平军盲目对攻而屡屡被击败，这迫使他们不得不采取攻势防御的用兵原则，即尽可能让自己先处于不败之地，然后才寻找敌方漏洞加以攻击，所谓“致人而不致于人”。
外界称以曾胡为首的湘军将帅为“湘军派”，湘军派所有重要的战术打法，从扎营、拔营到看地势、明主客，其出发点都是“致人而不致于人”。这其中，扎营更被视为第一根本，“凡军行所至，筑垒如城，掘壕如川，坚深无匹”。
曾国藩感到特别郁闷的是，李元度带兵打仗已有六年光阴，就算没有他反复叮嘱，也该明白未战先扎营的道理，加上又有丛山关的教训，怎么实际用兵时还会如此急躁失当？
他赶紧给李元度去信，在斥责的同时要求李元度马上改弦更张，在城外十里范围之内部署援兵扎营。可是李元度却将曾国藩的话当成了耳边风，没有及时修正自己的错误，与此同时，他过于宽纵部下的毛病依旧没变，城内新募的平江勇不卖力，张芾留下的绿营兵更别指望，导致湘军入驻徽州城已经多日，但始终没能构筑起坚固的城防工事，城外可能被敌军利用的民房等制高点也未加以清理。
在太平军优势力量的猛攻下，城外四营援兵再次溃不成军。城内守军也随即失去斗志，不少平江勇、绿营兵都在争相逃窜。为挽回局面，李元度亲自出城督战，结果反而中了埋伏，太平军伏兵四起，对其两翼实施抄袭，逼得他赶紧收兵入城。
太平军对徽州城发起攻击，李元度趴在城头上，指挥剩余兵勇堵击了一昼夜，但到这个时候，他个人的英勇和身先士卒已无济于事。次日，太平军登上城外的民房，向城内射击，守军无法在城头立足，城池遂被攻破。