李元度幕僚出身，继而才领兵打仗，况且他与曾国藩还是患难知交，当初曾国藩困顿于江西时，能够始终不渝地追随在曾国藩左右的，除了彭玉麟，就只有李元度。曾国藩说弹劾就弹劾，往小了说是处理有些过分，往大了说是伤了其他幕友的感情——有哪个幕友敢说自己能做到比李元度更好呢，曾国藩如此对待李元度，让其他人情何以堪？
一群幕僚都自动站出来，反对曾国藩参劾李元度，其中尤以李鸿章的情绪最为激烈。曾国藩的奏疏多由李鸿章拟稿，他便拿这个示威：“老师若一定要奏劾，门生不敢拟稿！”
在曾国藩看来，私归私，公归公，即便李元度过去有恩于他，但个人的情谊不能代替其犯下的过错，诸葛亮尚且挥泪斩马谡，他能这么轻描淡写地将李元度放过去吗？李鸿章指责他不近人情，他反过来也觉得李鸿章不可理喻，所以毫不相让：“那我自己拟稿好了。”
李鸿章毕竟年轻，给老师一激，竟脱口而出：“要是这样的话，门生也将告辞，不能留在大营了。”双方都在气头上，谁都没打算给对方留面子，曾国藩马上答道：“听君之便。”
见曾国藩不为所动，李鸿章真的收拾行装，离开了祁门。几天后，李鸿章入幕的介绍人陈鼐再次进言，劝曾国藩就是要弹劾李元度，也不宜太重。曾国藩此时怒气略消，于是删掉了奏劾中最严厉的几句话，未再强调弃城先逃等情节，只说李元度刚愎自用，不听调度，提出的处分意见是“请旨将李元度革职拿问，以示惩儆”。
在外逗留了大半个月的李元度终于回到了祁门，但是面对曾国藩的斥责，他依旧很不服气，首先做的不是积极检讨自己，而是向粮台索要欠饷。
虽然幕僚文人们多为李元度打抱不平，然而军队中是很实际的，打了败仗就是打了败仗，更何况徽州溃败不仅令湘军损失惨重，而且还危及了整个战局，在这种情况下，没人觉得主将值得同情和原谅。
有好事者写下一副对联：“士不忘丧其元，公胡为改其度。”它的表面意思是说勇士不怕掉脑袋，你为什么在关键时候不能坚持你的气节呢？对联之上还有一个横批“道旁苦李”。它出自南朝王戎的一个典故，说王戎从小就非常聪明，七岁的时候和小伙伴一道外出游玩，看到路边有几株结满李子的李树。其他小伙伴都兴高采烈地爬到树上去摘李子，唯王戎站着不动，别人问他为什么不摘，他回答说李树长在道旁，结的李子又这么多，可是却没有人摘，只能说明一个事实，那就是李子一定是苦的。众人一尝，果然如此。
湘军的好多军官原先都是书生，文化程度不低于幕僚。他们写的其实是一副嵌字联，横批的最后一个字为“李”，两句对联联尾两个字分别是“元”和“度”，合起来就是“李元度”，讥讽意味非常明显。
李元度一看就懂，他忍受不了，就向曾国藩提出要请一天假。曾国藩回复说：你已是奉旨拿问之人，我不得做主，你要留还是走，悉听尊便。
“悉听尊便”和曾国藩对李鸿章所说的“听君之便”一样，都不是肺腑之言，实际上他是告诉李元度，你要在大营听候处理，不能擅自离开。
谁知李元度却以为曾国藩已允许他离开大营，于是在留下一封信后就回湖南去了。及至曾国藩接到上谕“李元度不能坚守待援，着即革职拿问”时，李元度已回到了老家平江。
对照上谕，革职是肯定的，实际李元度在湘军中也早已失去了指挥权，但拿问就未必了。曾国藩再怎么表现得大公无私，碍于和李元度的旧日情谊以及幕僚们的劝说，也不会真把李元度怎样，无非是借此给其一个警告和教训而已，可是李元度却反过来将了他一军，让他很是被动和难堪。
尽管如此，曾国藩对李元度的擅自回乡仍采取了不闻不问的态度，从内心来说，他是希望李元度能在换个环境之后闭门思过，好好反省一下自己，这样再出来做事才不至于重复酿成大错。只是他没想到对方“思”是“思”了，但是思考的角度和内容与他想象的完全不同，后来还因此把两人的友谊推向了决裂的边缘。