湘军的意外崛起，使昏惨惨黄泉路近的大清王朝又看到了起死回生的希望。一时间，朝廷褒奖，绅民欢呼，曾国藩成了滔滔天下的中流砥柱。
按理说，此时的曾国藩应该会呼风唤雨、八面逢源了吧？不是。曾国藩的日子仍不好过。因为体制仍然不顺，饷项仍须自筹。咸丰四年四月十四日，湘潭大胜之后仅仅九天，他在长沙给弟弟们所写信中沮丧地说：
饷项已空，无从设法，艰难之状，不知所终。人心之坏，又处处使人寒心。吾惟尽一分心作一日事，至于成败，则不能复计较矣……余近来因肝气太燥，动与人多所不合，所以办事多不能成。
也就是说，湘军筹饷上的困难一如既往。曾国藩仍然经常和他人发生冲突，以致肝气上升，时常处于焦灼愤懑之中。
问题的焦点在于曾国藩没有实权。大清王朝各省的实权掌握在省长们也就是总督和巡抚们的手中，他们是全省官僚系统的绝对主人。下级官员的身家性命掌握在他们手中，对他们唯命是从。
曾国藩与督抚们虽然同一级别，在地方官员眼里却被视若无物。因为出山之后，皇帝给曾国藩的只是虚衔，既没有提拔下属的权力，又很难左右地方官的命运。军事离不开民事，招兵、选将、购置武器，“处处与地方官相交涉”，而地方官却往往不予配合。
曾国藩需要实权，这一点皇帝心里很明白。然而，目光短浅的咸丰却打起了自己的小算盘：他以前只知曾国藩胆子大，敢于撄皇帝之逆鳞。这次才知道此人本领大，以在籍侍郎，振臂一呼，就集兵数万，所向披靡。如果他打败了太平军后反戈朝廷，那岂不是比太平军还难对付？即使他不反戈，但由汉人立下拯救王朝之全功，以后满洲八旗的威信何在？皇帝的如意算盘是让曾国藩游击野战，歼灭太平军有生力量，最后仍由盘踞在天京脚下的满族将领收功。因此虽然屡获大胜，湘军与清王朝体制上的矛盾仍然没有理顺，曾国藩的处境仍然十分艰难。这种艰难在江西表现得最为充分。
鉴于湘军是唯一有战斗力的部队，咸丰皇帝命曾国藩出省作战，支援困境中的江西。
湘军出省作战实行的是“就地筹饷”，江西省官僚系统负有供饷之责。其时江西巡抚是陈启迈。其人气度狭隘，寸权必争。在他眼里，曾国藩不过是一个办团练起家的在籍官员而已，地位等同绅士，要在江西吃自己的军饷，就必须对自己唯命是从。因此他对曾国藩指手画脚，呼来喝去，而所下命令又朝三暮四，令人左右为难。
对这样一个毫不知兵的巡抚，曾国藩实在无法敷衍，只好拒不从命。这下子惹火了陈启迈，对曾国藩“多方掣肘，动以不肯给饷为词”。曾国藩没办法，只好自己想办法在江西筹饷，这又侵犯了陈启迈的财政权。在他的带领下，江西通省官员与曾国藩针锋相对。曾国藩要对商人抽税，地方官员马上也抽，强分一杯羹。曾国藩要任用一个地方上的绅士，地方官就扣住不放，甚至对敢于接近曾国藩的绅士打击报复。盖有曾国藩关防的捐输执照，不被地方官员承认，说曾国藩“未奉明诏，不应称钦差字样”；又说他“曾经革职，不应专折奏事”；说他“系自请出征，不应支领官饷”等等，极尽污辱玩弄之能事，大有挤垮曾国藩之势。曾国藩在江西数年之间步步荆棘，处处碰壁。曾国藩自己说他在江西“事事被人欺侮，故人得而玩易之也”，连与曾国藩积怨很深的王鑫，也不无同情地说：“涤帅遭际若是，直令人急煞”，“涤帅所处真是不易。”
曾国藩忍无可忍，拍案而起，于咸丰五年六月十二日，以陈启迈“劣迹太多，恐怕贻误大局”，上奏参劾。陈启迈所作所为确实让人无法为之辩解，咸丰皇帝阅之大怒，立刻将陈启迈革职查办。
然而，接下来发生的事情又重复了湖南的经验，这次参劾不但没有使其他江西官员束手，反而令他们变本加厉。接替陈启迈任江西巡抚的文俊行事一如陈氏，江西官员在他的率领下团结起来处处给曾国藩下绊子设障碍。甚至曾国藩的兵勇也被人毒骂痛打，遭受侮辱。曾后来在给朋友的信中回忆这段经历说：“江西数载，人人以为诟病。”又形容当时的苦况说：“士饥将困，窘若拘囚，群疑众侮，积泪涨江，以夺此一关而不可得，何其苦也。”
当然，使他“积泪涨江”的根本原因，不是江西官员的个人素质，而是咸丰皇帝对自己不信任。在籍之员出山带兵，本是基于对王室的忠心，不想皇帝却对他如此提防，曾国藩的寒心和委屈可想而知。他无时不想挂冠而去，但时势之危与圣人之教又不容许，只好百计隐忍，甘受煎熬，长年寸心如焚。“国藩昔在湖南江西，几于通国不能相容。六七年间，浩然不欲复闻世事。”“虹贯荆卿之心，而见者以为淫氛。碧化宏之血，而览者以为顽石。古今同慨，我岂伊殊。屈原所以一沉而万世不复者，良有以也。”委屈痛苦，溢于笔端。甚至这样对好友刘蓉说：“所至龃龉，百不遂志。今计日且死矣，君他日志墓，如不为我一鸣此屈，泉下不瞑目也。”种种不平之鸣，证明这是他一生中精神最痛苦的时期之一。一向对曾国藩多所讥评的王恺运，在编写《湘军志》时，也在日记中对曾国藩深表同情：“夜览涤公奏，其在江西时，实悲苦，令人泣下……涤公言：‘闻春风之怒号，则寸心欲碎；见贼船之上驶，则绕屋彷徨’，《出师表》无此沉痛！”
这就是曾国藩所说的“为江西所唾骂”，以及“又参抚臬，丙辰被困南昌，官绅人人目笑存之”的难堪经历。
正在曾国藩痛苦万分之时，他接到了父亲的讣告。这个噩耗此刻倒成了摆脱困境的天赐良机。他立刻上疏要求回家守孝，并且不等皇帝的回复，把军队抛在江西，径直回到了湖南老家。
皇帝当然不会批准他在家守孝三年，在回复中催他立刻回到军中。曾国藩给皇帝上了一封奏折，一股脑地把自己压抑已久的愁苦愤懑都说了出来，期望皇帝会体谅他的苦衷，授予他职权。
曾国藩在奏折中将官场的潜规则说得很清楚。
他说，带兵打仗，必须依靠地方官员的支持。“至于筹饷之事，如地丁、漕折、劝捐、抽厘，何一不经由州县之手？”但地方官员只认他们权力体系内的运转规则，只听能掌握他们升迁权力者的话。他名义上为部长级官员，而“文武僚属，大率视臣为客，视本管上司为主。宾主既已歧视，呼应断难灵通”。他“身非地方大吏，州县未必奉行，百姓亦终难可信”，所以“或臣抽厘之处，而州县故为阻挠；或臣营已捐之户，而州县另行逼勒。欲听之，则深虑事势之窒碍；欲惩之，则恐与大吏相龃龉”。
他虽有保举权，但由于所保人员非国家正规军出身，“徒有保举之名，永无履任之实”。许多战功卓著的部下，“虽保举至二三品，而充哨长者，仍领哨长额饷。充队目者，仍领队目额饷。一日告假，即时开除，终不得照绿营廉俸之例，长远支领”。
他直言不讳地说：“以臣细察今日局势，非位任巡抚有察吏之权者，决不能以治军；纵能治军，决不能兼济筹饷。臣处客寄虚悬之位，又无圆通济变之才，恐终不免于贻误大局。”如果皇帝不给他督抚之权，他就只能“在籍终制”，就是说不复出山。
曾国藩以为他已经把委屈和困难说得够充分了，皇帝没有任何理由不给他这个卖命的走狗以必要的支持。没想到逞妇人之智的咸丰皇帝却和曾国藩较上了劲。适值此时天京内讧之后，太平军内部分裂，势力大衰，看起来已经指日可平，有没有曾国藩好像也没有大碍。于是顺水推舟，批准他在家守制三年，实际上解除了他的兵权。
这当头一棒差点把曾国藩打昏。他万没料到苦战数年竟是这样一个结果。而他的那些宿敌，也就是长沙城中的湖南官员们闻听此讯却一个个喜形于色。从传统伦理上来说，不论曾国藩是何居心，如此要挟皇帝都有违臣道。以前曾国藩以唯我独忠之态，居高临下，睥睨众人。而这次他们可抓住了把柄，举城跳着脚大骂曾国藩假道学，假忠义。蛰居荷叶塘的曾国藩有口难辩，遂“得不寐之疾”、患了“怔悸之症”，卧病在床。他在给郭昆焘的信中亦称：“以兴举太大，号召过多，公事私事不乏未竟之绪，生者死者犹多愧负之言。用是触绪生感不能自克，亦由心血积亏不能养肝，本末均失其宜，遂成怔悸之象。”
更让曾国藩痛苦的是，建立不世大勋的千载难逢之良机眼睁睁地从自己眼前溜走了。此际正当太平军由盛转衰的转折点，而他偏偏在这个时候回了家。他的许多部下，都因军功飞黄腾达。比如以知府投身于他的胡林翼早当上了湖北巡抚，以千总这样的低级军官身份加入湘军的杨载福也已经升为二品提督，而他却仍然是一个在籍侍郎，职位没有任何升迁。在他离开军队的这段日子，湘军攻陷九江，杨载福、李续宾皆赏穿黄马褂，官文、胡林翼皆加太子少保，一时荣耀无比。只有他这个湘军创始人冷冷清清待在家里，受人嘲骂。曾国藩虽被视为理学名臣，但功名心一向极炽，失去这个永垂史册的千载良机，他怎么能不懊悔莫及！
原本自诩硬汉的他这回有点挺不住了，举动大异常态，整日生闷气，“心殊忧郁”，动不动就骂人。他数着江西的一帮文武骂，骂够了就找几个弟弟的茬儿吆喝，一年之中和曾国荃、曾国华、曾国葆都发生过口角。弟弟们走了后，他又开始骂几个弟媳妇，语言粗俗，蛮不讲理，理学家的风度荡然无存。
被酷热击中的荷叶，夜半仍然如同处于火炉之中。彻夜不眠的曾国藩时而在床上辗转反侧，时而在室内外踱来踱去。几年来的种种经历不断缠绕在他心头，在给曾国荃的信中他说自己在家中“回思往事，处处感怀”，“心中纠缠，时忆往事，愧悔憧扰，不能摆脱”，“近日天气炎热，余心绪尤劣，愧悔交集，每中夜起立，有怀吾弟而不能见”。
在极端痛苦中，他拿起了朋友向他推荐的老庄著作。几千年前的圣人之言给了他意想不到的启示，让他恍然见到了另一片天地。他像一个闭关的和尚一样把自己关在屋子里，一坐就是一整天，把自己起兵以来的种种情形在大脑中一遍遍过电影。渐渐地，曾国藩静下心来了。
曾国藩反思到，在官场之上一再碰壁，碰得鼻青脸肿，不光是皇帝小心眼，大臣多私心。自己的个性、脾气、气质、风格上的诸多缺陷，也是重要原因。回想自己以前为人处事，总是怀着强烈的道德优越感，自以为居心正大，人浊我清，因此高己卑人，锋芒毕露，说话太冲，办事太直，当然容易引起他人的反感。他翻阅旧日信稿，发现了当日武昌告急时，他请求骆秉章发兵援救的一封信。写这封信时，他觉得字字有理有据，今天读来，却发现字字如锥如芒。信中称湖南湖北“唇齿利害之间，不待智者而知也”，不仅没有一点商量的口气，而且还略带嘲讽之意。为了防止骆秉章干预他募练水师，他又在信中早早地表明态度，“其水路筹备一端，则听侍（曾自称）在此兴办，老前辈不必分虑及之，断不可又派员别为措置”。仍是一副舍我其谁、比谁都高明的架势。
怪不得当日骆秉章批评他刚愎自用。骆秉章回信的原话是说他：“行事犹是独行己见，不能择善而从，故进言者安于缄默，引身而退。”说他做事听不进别人意见，所以也就没人愿意给他出主意。当时听了这话他不以为然，今天想来，才发现确实说到了自己的痛处。他在给弟弟的信中承认说：“余生平在家在外，行事尚不十分悖谬，唯说些利害话，至今悔恨何及。”
曾国藩回忆起在湖南时朋友们对他的批评：“近日友朋致书规我，多疑我近于妒功嫉能，忮薄险很者之所为，遂使我愤恨无已……仆之不能推诚与人，盖有岁年。”
朋友们不能理解他，难道都是因为不明大义，身处局外？他自己就没有任何责任？“行有不得，反求诸己”这句圣人之言，虽然耳熟能详，实际上却没有真正做到过。
他又想起弟弟对自己的批评：“曾记咸丰七年冬，余咎骆文耆待我之薄，温甫则曰：‘兄之面色，每予人以难堪’。”
温甫是三弟曾国华。亲兄弟比别人说话更直接。确实，面对官场同僚，他确实常以圣贤自命，而以小人目人，面色如铁，话语如刀。
不光是对同僚，就是对自己的亲兄弟，他也成天一副“唯我正确”、“你们都不争气”的神气，处处批评教训，弄得当年国荃、国华到北京投奔他，结果都待不了多久就返乡了。设身处地，推己及人，那些自尊心受挫的同僚当然也会以冷面冷心甚至排斥辱骂来对待自己。
经过反复放电影，他越来越清楚地看到了自身的致命弱点：太自傲、太急切、一味蛮干、一味刚强。
曾国藩终于认识到，行事过于方刚者，表面上似乎是强者，实际上却是弱者。这片土地上真正的强者，是表面上看起来柔弱退让之人。所谓“天下之至柔，驰骋天下之至坚”，“江河所以为百谷之王者，以其善下”。所谓“大柔非柔，至刚无刚”。中国社会的潜规则是不可能一下子被扫荡的。那些他以前所看不起的虚伪、麻木、圆滑、机诈，是在这片土地上生存的必须手段。只有必要时和光同尘，圆滑柔软，才能顺利通过一个个困难的隘口。只有海纳百川，藏污纳垢，才能调动各方面的力量，达到胜利的彼岸。
曾国藩在这里把家居的两年称为“大悔大悟”之年，经过一年多的乡居，曾国藩的思维方式发生了重大转变。后来他回忆自己的这一变化说：“昔年自负本领甚大，可屈可伸，可行可藏，又每见人家不是。自从丁己、戊午大悔大悟之后，乃知自己全无本领，凡事都见得人家几分是处，故自戊午至今九年，与四十岁前迥不相同。”
人算不如天算。曾国藩本以为平定太平天国之战与自己没有关系了，不想在天京内讧之后，太平天国势力又回光返照，攻破了清军江南江北大营。咸丰八年皇帝不得不重新起用曾国藩。大喜过望的曾国藩再不提任何条件，立刻出山。
曾国藩的朋友们惊讶地发现，曾国藩变了，变得他们几乎不认识了。
首先，他变得和气、谦虚、周到了。
以前他做事直来直去，不太讲求虚文俗套。现在则和那些庸官俗吏一样注意礼仪排场。他在给曾国荃的信中说，与人相处，不能过于拙直：“余生平不讲文饰，到处行不动，近来大悟前非。”在官场生存，必须习惯官场上虚与委蛇的那一套：“官员及绅士交际，则心虽有等差而外之仪文不可不稍隆，余之所以不获于官场者，此也。”
他在启程前首先给各军将领、各地大吏每人致信一封，以非常谦恭的语气，乞惠“指针”。
到了长沙之后，首先拜遍大小衙门，连小小的长沙县衙他也亲自造访。
原来对那些无用的官样文章，他不理不睬，现在则每信必复。他对老朋友检讨说，以前“接人应事，恒多怠慢，公牍私书，或未酬答。坐是与时乖舛，动多龃龉”。因此“此次再赴军中，消除事求可、功求成之宿见，虚与委蛇，绝去町畦。无不复之缄咨，无不批之禀牍，小物克勤，酬应少周，藉以稍息浮言”。
此前他对人总是持有一种“众人皆醉我独醒”的心态。现在他努力包容那些丑陋的官场生存者，设身处地体谅他们的难处，交往时极尽拉拢抚慰之能事，必要时“啖之以厚利”。
以前曾国藩是斑马群中的野马，自然引起斑马们的群起攻击。现在他也涂上了斑纹，以便令斑马们误认为自己是他们的同类。然而这番变化太过迅速，甚至引起好友们的误解。郭嵩焘说：“曾司马再出，颇务委曲周全。龙翰臣方伯寓书少鹤，言司马再至江西，人人惬望，而渠独以为忧。忧其毁方瓦合，而任事之气不如前此之坚也。”胡林翼则说他“渐趋圆熟之风，无复刚方之气”。曾国藩自己也承认：“寸心之沉毅愤发，尚不如前次之志。至于应酬周到，有信必复，公牍必于本日完毕，则远胜于前。”
然而这套儒道融揉的老练、神鬼莫测的神态在官场上却如鱼得水，“再至江西，人人惬望”，从此他用人备饷比以前大为顺利。他自己也满意地说：“吾往年在外，与官场落落不合，几至到处荆榛。此次改弦易辙，稍觉相安。”
二是他对皇帝，不再那么直言不讳，而是学会了打太极拳。曾氏早年奏折，“戆直激切，不讲究方式方法”，那道《敬呈圣德三端预防流弊疏》曾惹得皇帝大怒，差点引来杀身之祸。练兵之初，曾国藩不光对同僚不假辞色，甚至对皇帝说话也句句如钢似铁。皇帝给他下过多次指示，都被他以不合实际为由直接顶了回去。比如咸丰三年十月，武汉被太平军围困，皇帝急命正在练兵的曾国藩去营救。曾国藩却因兵未练熟，装备未齐，拒不听命，说：“未敢因谕旨严催，稍事拘泥。”当年十一月，太平军又进逼安徽省会，皇帝再次令他出师，他回复说：“不能草草一出。”惹得皇帝大怒，批评挖苦他道：“今观汝奏，直以数省军务一身克当，试问汝之才力能乎否乎？平日漫自矜诩，以为无出己之右者！”曾国藩接到批复，仍然拒不听命，与皇帝节节辩论，回答道：“皇上如果责臣以成效，则臣惶悚无地，与其将来毫无功绩受大言欺君之罪，不如此时据实受畏葸不前之罪。”把皇帝顶得无话可说，只好让步抚慰，说：“汝之心可质天地，非朕独知。”
在皇帝拒绝授他督抚之权后，他所上的奏折，更为意气用事。皇帝说允许他在家守孝，但一旦军情紧急，“仍当即赴军营”。曾国藩的复奏却称“自问非有为之才，所处又非有为之地”，不能再出，且说“自后不轻具折奏事，前在江西尚有一二经手未完事件，拟即函致江西抚臣耆龄，请其代奏”，大有与皇帝一切两断、不再来往之势。
这些奏折，在皇帝头脑中强化了曾国藩勇于犯上、桀骜不驯、难以驾驭的印象。这也是皇帝对他不能信任，不敢给他大权的重要原因之一。
而再次出山之后，他奏事风格大变。皇帝命他再出之旨六月初三奉到，六月初七他就启程了。所上《恭报起程日程折》，平实沉稳，无丝毫讨价还价之意，颇得皇帝欢心，说“汝此次奉命即行，足征关心大局，忠勇可尚”。
再出之后不久，皇帝命他率部入四川。他不愿奉命，但也不再公开抗旨，而是连上数折，或托词所部正攻打景德镇，无法分身，或者讲可以灭敌于湖南而不必入蜀，或托言江西安徽当守，多方周旋，刚柔相济，终于摆脱了西上四川、客军虚寄之苦。
第三是他不再慎于保举，而是“同流合污”了。
晚清军队，“滥举”之风很盛。每有小胜，领兵大员都会拼命保举自己的属下，不管出没出力，上没上战场，都会均沾好处。曾国藩领兵之初，因痛恨此风，从不滥举。咸丰四年他带兵攻下武汉，“仅保三百人”，受奖人数仅占出征队伍的百分之三。相比之下，胡林翼攻占武汉一次即保奏“三千多人”，受奖人数竟达到百分之二三十。消息传开，不少人认为投曾不如投胡，许多曾国藩挽留不住的人员主动投奔胡林翼门下。
曾国藩原“以忠诚为天下倡”，以为仅凭忠义相激，就可以令部下出生入死。但阅历既久，才发现真正的抱道之士并不如他想象的那样多。他认识到“不妄保举，不乱用钱”，则“人心不附”。只有诱之以“名”，笼之以“利”，才能网罗天下英才。因此复出之后，曾国藩“揣摩风会，一变前志”，大力保举，将朝廷名器市为自己的私恩。在升任两江总督后不久，他写信给曾国荃，要弟弟移花接木，给从未上战场的周氏送上一顶九品乌纱。这表明，在官场混迹多年的曾国藩已不再是愤世嫉俗的愤怒青年，而已成为善于“揣摩风会”的油滑官僚。他已把当年痛斥的“是非不明，黑白不分”看作正常现象，并身体力行了。到后来，他不但自己勇于保举，甚至鼓励部下不要有太多顾虑而放手保举：“鄙人前衔奏补实缺，最足新耳目而鼓士气，不可畏干部诘而预自缩手也。”
在十多年的带兵生涯里，曾国藩湘军各营保举的武职共达十几万人，其中三品以上的不下数万人。而文职官员中，有二十六人成为督抚一级的大员，五十人成为三品以上的大员，至于道、府、州、县的官员更数不胜数了。
四是治军不再一味从严，而是宽严相济。
领兵之初，曾国藩对军中用钱看得很紧，不但自己分文不取，也严格禁止部下获得灰色收入。而再出山后，则开始对部下宽之以“名利”，在金钱上手笔松了很多。
他写信教导其弟曾国荃如何驾驭太平军降将李世忠时说：
此辈暴戾险诈，最难习驯驭……吾辈待之之法，有应宽者二，有应严者二。应宽者：一则银钱慷慨大方，绝不计较。当充裕时，则数十百万，掷如粪土。当穷窘时，则解囊分润，自甘困苦。
他以前对战争的抢劫查得很严，而再出山后，对于抢劫所得，他通常“概置不问”，采取宽容态度。湘军攻下南京后，城中财物抢劫一空，竟无一银交与朝廷。曾国荃主张“按民勒缴”，曾国藩不同意，认为这样会“徒损政体而失士心”，主张各得所获，“以怜其贫而奖其功”。