还在东征安徽之前，曾国藩曾在日记中自作一联云：“养活一团春意思，撑起两根穷骨头。”这说明，对于前方可能遇到的艰难险阻，当事人已经做好了思想准备，然而在真正进入局中之后，“穷”的程度仍然远远超出了他的想象。
实际上，以祁门两次遇险为标志，曾国藩所遭遇到的，是他自江西困顿之后最为艰难的一个时期。他在给胡林翼的一封信中这样形容自己的处境：“盖无日无虎尾春冰之惧也”。
每一天，我都像是跟在老虎屁股后面，随时面临着被老虎反噬的危险，又像走在春天即将融化的冰河之上，不知道脚下的薄冰什么时候会裂开，使我溺水而亡。
处于这种巨大的忧患之中，曾国藩能够依仗的精神武器，或许就是《挺经》。挺者，坚忍也，如同故事中那个老翁，不管外界给予的压力有多大，也不管自己内心如何煎熬，他能做和必须做的，都是“竖起骨头，竭力撑持”，咬着牙坚忍地硬挺下去。
曾国藩的坚忍很快又为他换来了报偿。1861年3月19日，祁门湘军与太平军刘官芳等部会战于休宁上溪口，太平军落败，两天后湘军收复了休宁，祁门更得保障。
祁门战场如同走马灯式的局势，也让当地绅民眼花缭乱，当然他们只能是外行看热闹，通过表面现象来解说胜败。比如曾国藩刚刚在祁门扎营的时候，军容雄壮，乡民们就说祥瑞来了，还有的甚至说是“岁星临祁门”。等到徽州失陷，祥瑞马上变成了灾殃，大家都说祁门是凶险之地，根本不能住人。
接着湘军在洋塘、历口、上溪口连续打了三个胜仗（洋塘之战为霆军在景德镇大败黄文金，历口、上溪口之战为祁门湘军击败刘官芳），立刻，在众人口中，祥瑞又回来了，而且仍是“岁星临祁门”。曾国藩忍俊不禁，遂赋打油诗一首：“天上岁星也起霉，掉头一去不归来。忽闻打破上溪口，又向祁门走一回。”
在援救景德镇的洋塘之战中，霆军起到了无可替代的作用，但不久因皖北形势紧急，鲍超率霆军北援安庆，这使曾国藩失去了手中唯一可震慑敌方的机动兵力。在霆军走后，李世贤乘势杀入皖南，他首先攻占婺源，继而击退了前来援救婺源的楚军。曾国藩闻报，急调陈大富部接防景德镇，但陈部也在李世贤的猛攻下全军覆灭，景德镇随之丢失。
景德镇落入太平军手中，使得江西通往祁门的粮道完全断绝。曾国藩忧心如焚，夜不能寐，与众将商议后，决定攻取徽州，另行开辟一条通往浙江的粮道。
如果湘军能攻占徽州，则祁门、黟县、休宁三县都可得到从浙江运来的饷米补给，如若不然，三县均不能守。曾国藩对徽州之战极其重视，不仅亲赴休宁督战，而且动员了九千湘军参战，可是他没想到的是，湘军出师不利，被徽州守军迎面扇了个大巴掌。
徽州守军这次能够打败湘军，不是如以往一样依靠数量优势或狠劲，而是在军械上做到了更胜一筹。
直到19世纪中叶，“战争依靠的是人而不是武器”的观点仍流行于中国军队，真正认可西方武器的中国军人很少。北京的火器营照例应该最注重火器等特种武器的使用，但连他们对弓箭训练的重视程度也远超枪炮，出自于火器营的湘军名将塔齐布在战场上就基本不用枪，用的都是长矛和强弓。太平军方面同样如此，西方观察家注意到，太平军的士兵常常有“一种对刀剑……的渴望，似乎对枪炮不感兴趣”。
与此同时，西方国家的中立政策也实际限制了清军和太平军对西方武器的接受和使用。英法等国不仅禁止武器运往交战双方，而且也阻碍双方获得外籍军事人员与技术援助，这样一来，清军和太平军即便得到武器，也存在不会使用保养或者毁坏后难以修复等难题。