然而顶级富人曾国藩却活得像穷人一样。
离开京城之后，曾国藩不再有出入宫廷之需要。他每天面对的都是自己的同僚和下属，所以穿衣越来越简单。岂止简单，有时候简直到了不修边幅的程度。
赵烈文说他第一次见到曾国藩时，曾国藩“所衣不过练帛，冠靴敝旧”。
这一记载得到了外国人的印证。同治二年，戈登在安庆与曾国藩会面，这些外国人惊讶地发现“曾国藩……穿着陈旧，衣服打皱，上面还有斑斑的油渍……”。
直到同治六年，曾国藩已经是太子太保、一等侯，又补授体仁阁大学士，名副其实地“位极人臣”了，可是他所穿的马褂质地简陋，又短又小，看起来比普通读书人还要寒酸。同治六年九月初六日赵烈文的日记中说：
涤师来久谈，谈次，师脱马褂置榻上，又少坐即去。余取视榻上衣：佛青洋呢面布里琵琶襟，极短而小，盖寒士所不屑衣者。为之太息不已。
在吃的方面，曾国藩平生从不讲究。有一次宴客，客人发现总督大学士请客居然用瓦器：
窦兰泉侍御来，予亦陪饮，食鲥鱼止一大瓦缶。兰泉笑曰：大学士饮客，用瓦缶，无乃太简乎？公大笑而已。
如果说这是因为战时物质条件艰苦，那么战争结束重现升平后，赵烈文日记中两江总督曾国藩每日的饮食也仍然十分简单。同治六年八月二十八日，赵烈文在曾国藩处闲聊，正好曾国藩的侍卫官拿着一张纸请示曾国藩。曾国藩告诉赵烈文，这是他的“食单”：
材官持一纸示师，师颔之，顾余曰：此何物，足下猜之。余谢不敏。师曰：此吾之食单也。每餐二肴，一大碗一小碗，三簌，凡五品。不为丰，然必定之隔宿。
每顿饭两个主菜，三个小菜。这在普通老百姓当然是极丰盛了，但是在官员阶层，却是相当寒俭的。不但没什么鸡、鸭、鱼、肉，甚至连火腿都没有：
余称佩俭德，因曰：在师署中久未见常馔中有鸡鹜，亦食火腿否？师曰：无之……
曾国藩的女儿曾纪芬在回忆录中说，总督时期的曾国藩请客和出席下属举行的宴会，对用菜标准有严格要求：
所至禁用燕菜烧烤之席，僚属皆遵守，相习成风。平日宴客常用之品，惟红烧鱼翅鱿鱼片及豆腐汤等。
至于住，曾国藩也可以说是天下总督中最不讲究的一个。同治元年，幕僚方宗诚来到曾国藩身边，他这样描述曾国藩寝室的样子：
当公夫人未来皖时，宴彭雪芹侍郎于内室，招予陪饮。见室中惟木榻一，竹床二，竹枕二，此外一二衣箱，无他物也。
这一情景在另一位幕僚赵烈文《能静居日记》同治二年五月初九日条中得到了印证。他记载了曾国藩内室的情形：
今日直诣相国卧室，葛帐低小，布夹被草蕈而已。旁有二小箱，几上陈设纸笔之外，无一件珍物，吁，可敬哉！
不光自己的生活一如既往地简单，他对家人的要求也一如既往地严苛。
同治二年，曾国藩将欧阳夫人、两个儿子及两个女儿女婿接到了安庆。
如前所述，曾国藩兄弟分家之后，曾国藩一支只分到五十五亩田地。分家以前，吃大锅饭，借曾国荃、曾国潢的光，曾家生活水平还算得上不错。分了家之后，欧阳夫人带领子女住在“黄金堂”，只靠这五十五亩田生活。既然曾国藩要求自己“以廉率属，以俭持家，誓不以军中一钱寄家用”，曾国藩妻儿的生活马上变得贫窘了，甚至挣扎在拮据的边缘。曾国藩幼女曾纪芬就曾经回忆说：
先公在军时，先母居乡，手中竟无零钱可用。拮据情形，为他人所不谅，以为督抚大帅之家不应窘乏若此。其时乡间有言，修善堂杀一猪之油，止能供三日之食；黄金堂杀一鸡之油，亦须作三日之用。修善堂者，先叔澄侯公所居，因办理乡团公事客多，常饭数桌。黄金堂则先母所居之宅也。即此可知先母节俭之情形矣。
欧阳夫人在家手无余钱，只能事事躬亲，下厨烧灶、纺纱织布，无所不为。
欧阳夫人在乡下的苦日子过够了，和孩子兴冲冲来到安庆，想享享总督家眷的福，没想到总督府中的日子过得比乡下还要紧张。
曾国藩给夫人的零用钱很少。方宗诚记载说，欧阳夫人月费仅四千铜钱，折银二两，儿媳则减半。这点钱对于一位总督夫人来说，实在是太少了。曾国藩的幼女曾纪芬曾经回忆说：
初文正在日，家中人给月费二缗，尔时物价虽贱，亦苦不足，稍涉奢华之物不能买，亦不敢买也。欧阳太夫人偶唤卖京货之妪入署，且为文正公所诃，他无论矣。
曾国藩不许孩子们穿华丽衣服：
余忆幼时所见皆淳朴无华。而余家为尤甚，姊妹姑嫂至一衣递袭，已详前记矣。文正素恶纷华，曾手书不准穿大镶花边衣五采花裙，盖今日所视为陈旧者，彼时方矜奇炫异也。
有一次见曾纪芬穿了一条彩色绸裤，就立命她换掉：
忆入金陵督署时，尚未终靖毅公丧，所着为蓝呢夹袄及长嫂贺夫人所遗黄绸裤，缀青花边。文正见而斥以为侈，乃亟取三姊之绿裤易之。此裤亦贺夫人遗物，盖嫂以遗姑、姑又互相袭用也。
整个总督府中，只有两位女仆。一位是欧阳夫人从湘乡老家带来的老妪，另一位是大女儿身边的小丫环。
欧阳太夫人自原籍东下，仅携村妪一人，月给工资八百文。适袁姊有小婢一人，适罗姊则并婢无之。
因为人手不够用，欧阳夫人在安庆花十多千钱，买了一个女仆，曾国藩知道后大为生气。“房中粗事亦取办于母氏房中村妪，乃于安庆以十余缗买一婢，为文正所知，大加申斥。”欧阳夫人没办法，只好“遂以转赠仲嫂母家郭氏”。
既少月费，又无仆人，那么总督府中的日子怎么过活呢？只有自力更手，自己动手了：“文正驭家严肃守俭若此，嫂氏及诸姊等梳妆不敢假手于婢媪也。”
曾家的女人们，每天都要进行体力劳动。从洗衣做饭腌制小菜，到纺线绣花缝衣做鞋，都要亲力亲为。从早上睁开眼睛，直到睡觉，基本上不得休息。
同治七年，曾国藩剿捻回任再督两江后，为家中女人们制了个工作日程表：
五月二十四日，文正公为余辈定功课单如下：
早饭后，做小菜点心酒酱之类，食事。
巳午刻，纺花或绩麻，衣事。
中饭后，做针黹刺绣之类，细工。
酉刻（过二更后），做男鞋女鞋或缝衣，粗工。
在这个日程表后面，曾国藩还提出了工作量的要求，自己将定期检查：
吾家男子于看读写作四字缺一不可，妇女于衣食粗细四字缺一不可。吾已教训数年，总未做出一定规矩。自后每日立定功课，吾亲自验功。食事则每日验一次，衣事则三日验一次，纺者验线子，渍者验鹅蛋，细工则五日验一次，粗工则每月验一次。每月须做成男鞋一双，女鞋不验。
上验功课单谕儿妇侄妇满女知之，甥妇到日亦照此遵行。
同治七年五月二十四日。
如此辛苦的总督府家眷，恐怕大清天下找不到第二家了。当时每晚南京城两江总督府内，曾国藩秉烛夜阅公事，全家长幼女眷都在麻油灯下纺纱绩麻，成为中国历史上的一幅动人画面。
应该说，和曾国藩一起生活很痛苦。身为总督眷属，他们需要与同一层次的家庭社交，也需要有自己的生活和娱乐。曾国藩以自己的“圣人”标准，去约束他们的日常生活，势必让他们在社会上显得寒酸落伍，造成他们在社交及生活中的种种尴尬不便。我们可以想象，曾国藩家的妻子儿女们对这位父亲和丈夫一定腹诽不止。然而，除了偷偷抱怨，拿这位全天下最刚强又最顽固的老人，谁又有什么办法呢？
曾国藩有两个儿子、五个女儿，早在做京官时期，曾国藩就“议定”每个女儿的嫁妆是二百两白银。咸丰十一年六月初四日，曾国藩写信给曾国潢说，大女儿婚事在即，虽然当了总督，但他还要坚持在北京讲好的嫁妆数目：
嫁女之资，每一分奁贰百两，余多年前在京议定，今不能增也。
咸同时期，物价上涨很快，社会风习变化迅速，二百两银子在咸丰十一年其实已经不够用。到了同治五年，曾国藩的第四个女儿曾纪纯出嫁时，这个数目更是脱离实际到了让人无法相信的地步了。办婚事时曾国荃正好赋闲待在荷叶老家。他无论如何不能相信大哥只给二百两陪嫁银，“闻而异之曰：‘乌有是事？’”打开箱奁亲自验看后才相信。“再三嗟叹，以为实难敷用，因更赠四百金。”送了四百两银子给嫂子欧阳夫人，这才打发了四女的婚事。
由于过于脱离现实，曾国藩刚刚去世，他的这套苦行僧式的家规就被儿子曾纪泽打破了。
及惠敏（曾纪泽的谥号）主持家政，稍以文正积存俸余购置田宅，月奉太夫人湘纹十二金，两嫂各十金，两房小孩一概在内，不另给，余与两兄每月六金，各房男女用人薪资在外，均由账房并月费分发。
每个人月费增长六倍左右，曾家才达到普通官员的生活水平。由此也可以看出曾国藩在时，曾家人的生活是如何“落伍”。