张岱的父亲张耀芳常说张岱的出世应验了算命的灵验：张岱把这件事以据实的笔调记下，但又予人讳莫如深之感，仿佛他自己的一生的确命悬于此：“先君言乩仙供余家寿芝楼，悬笔挂壁间，有事辄自动，扶下书之，有奇验。娠祈子，病祈药，赐丹诏取某处，立应。先君祈嗣，诏取丹于某簏临川笔内，簏失钥闭久。先君简视之，鐄自出觚管中，有金丹一粒，先宜人吞之，即娠余。”
不过，张岱的母亲对怀胎一事则另有一套说辞。她后来告诉张岱，她在怀张岱之前就开始念“白衣大士咒”，祈求观世音菩萨保佑。生产过程不顺，但张岱母亲依旧继续持咒，以至于在张岱心里，他来到这个世界时，也进入了母亲念经之中。即使母亲在万历四十七年（1619）去世，但张岱觉得诵经之声仍未绝：“虽遭劫火，烧之不失也。”张岱到了晚年还说：“常常于耳根清净时，恍闻我母念经之声。”母亲的故事已经成为张岱生命的一部分，“振海潮音，如雷贯耳”。就算事隔多年，只要张岱一想到母亲的声音，母亲的身影就浮现心中。
张岱与母亲相处的记忆又是不同，但也点滴心头。张岱年纪还小的时候，母亲带他到离家西北方五十余里省城杭州的佛寺进香。张岱幼年多病，肺积水，须服用母亲亲戚调配的珍贵药方，或许这正是此行的目的。这座庙建于10世纪，当地人称之为“高丽寺”，以纪念高丽王子供奉稀世佛经。这部佛经也一直藏在八角藏轮之中：香客相信在转动藏轮时，就跟自己在念经一样，都会得到保佑。张岱始终都记得母亲动作的顺序：“出钱三百，命舆人推转轮藏，轮转呀呀，如鼓吹初作，后旋转熟滑，藏转如飞，推者莫及。”
张岱的母亲本家姓陶，娘家就在绍兴城东的会稽。陶家嫁女儿时，只消往西北走到山阴，张家就住在此地的龙山。绍兴是个富庶的大城，所以张家跟几户会稽的人家成婚，对双方都有好处。张家借此可避免近亲通婚的危险，又能在当地建立人脉、金脉。这种关系网络对每一个家族成员都很重要，因为律例禁止在籍任官，以避免贪赃枉法、徇私舞弊之情事：所以，张岱一族都不可能在浙江任官，自然也不可能在绍兴做官了。
依此律例推断，若是碰上同乡的主考官，就算他已经离乡数十年，也不可能被录取。不过绍兴人当然可以延请当地文人来教书，绍兴人到了外省也会跟老家在绍兴的官员、商贾往来或做生意，或者投宿由绍兴人经营、主要给绍兴人住的客栈，在此吃绍兴菜、喝绍兴酒，放心用绍兴话交谈。通常他们出门旅行也会带着绍兴女子做伴，一离家就是好几年的时间，把元配、年迈双亲和幼子留在老家。
因为深深了解到嫁入山阴张家的女人，在历代不同阶段中都扮演了重要角色，张岱不仅铺陈男性先祖的科考之路，更同样用心地记录这些女性。高祖张天复娶了刘氏，自己也在嘉靖二十二年（1543）中举，嘉靖二十六年（1547）成进士。丈夫金榜题名，刘氏自然很高兴，但她也留心丈夫仕途的起落与命运的兴衰。刘氏相信，寻常之家有此成就已经够了，“知足”最是关键。
嘉靖三十七年（1558），张天复新官上任，督学湖南，长子文恭（时年二十岁）又高中举人。对刘氏而言，人生至此应该别无所求了，于是劝夫婿作归隐之计。张天复不答应，而且又升了官，到云南上任。结果因为行事刚正，仕途受挫，遭人设计贪污索贿，而被处以死刑。幸好有儿子文恭献计，周旋于公堂才告脱困。隆庆五年（1571），张文恭中了状元，让家人非常意外。刘氏非但没有流露欣喜之情，还不断喃喃自语：“福过矣！福过矣！”张天复蒙羞归隐，终日以酒浇愁，而张文恭在北京也招人所忌，被迫辞官返乡，仿佛印证了刘氏的担忧。根据张岱的记述，张文恭在北京中了状元，消息传回绍兴，父亲张天复大摆宴席以示庆贺，有一日下了大雨，张天复淋了雨而生病——可能是腺体感染，扩散至颈部——一病不起，享年六十二岁，可见生命无常。
张文恭高中举人的那一年（嘉靖三十七年），娶了王氏为妻。张岱斟酌字句，说曾祖母王氏“天性俭约，不事华靡”，不过，要能合乎夫婿简朴持家的作风，她还非得如此不可。王氏的公公张天复公务繁忙，时常奔波在外，而张文恭自持极严，就算几个孩子陆续出生，他的作风还是不变。张岱说“曾祖家居嗃嗃”，张文恭给两个儿子、媳妇，还有两个异母弟、弟媳定下严格的规矩。“黎明击铁板三下，家人集堂肃拜，大母辈颒盥不及，则夜缠头护䯰，勿使鬖髿。家人劳苦，见铁板则指曰：‘此铁心肝焉。’”
平日晚上家人在一起的时候，张文恭要两个儿子都得在场，燃香静思，一直到深夜才准就寝。有时，张文恭的做法不免令家人心生不满。有一回张文恭作寿，长媳与其他年轻女眷刻意打扮，穿戴珠玉。张文恭见了大怒，要她们把衣服换掉、首饰也取下，然后要她们把衣服拿到大厅阶前烧掉。等到女眷换上素布衣，张文恭才准她们来拜寿。
张文恭严苛至此，王氏也有自己一套俭省之道，所以族里也没人会说王氏挥霍。她每天都编织网巾，等累积到一定数量之后，就要家仆带到市场兜售，每顶网巾卖数十文钱。根据家族流传的说法，城里人每见张家家仆往市场去，便会走告“此状元夫人所结也”，并争相抢购。
张文恭的耿介不仅感染家人，也影响了他的仕途。晚明的政治常因内廷正宫、嫔妃与太子之间的紧张而撕裂。朝廷有阉官把持，朝臣若是稍有闪失，就有可能招来杀身之祸。在嘉靖三十几年，当时张文恭还是个少年，就看不过忠良遭到残杀，于是公开设立灵位于衙署，并为文抨击。张文恭中了状元之后，在京城历任数职，还入了翰林院。万历元年（1573），张文恭上疏，直言宫女结党为奸，祈请皇上在内廷读“女传”，并选编《诗经》的《周南》与《召南》两篇，颁行于内廷妃嫔、宫女之间。据推断，《诗经》的这两篇成于公元前8世纪左右，比孔子还早，讨论婚姻的意义与仪式，以及男女情欲的传达（和压抑）。历经学者两千多年来的释义训诂，表面显见的狎邪诗句已经与齐家治国的道德行为分不开。张文恭的上疏虽然遭到驳回，但是后来立太子时，他还是当了太子的经筳讲官。根据正史记载，文恭因为自觉无能彻底洗刷先父张天复所受的不白之冤，因而忧愤而卒。
张家所结最有经济、政治价值的一门亲事是与会稽朱家联姻。这桩婚事另有缘由，张岱刻意详细描述。嘉靖三十五年，张文恭十八岁，在龙山准备乡试，跟会稽朱家的朱赓共读。两人在七月七日这天立誓，日后成婚生子，若为异性则结成夫妻，以示两家永结同心。指腹为婚不仅形诸文字，还缝在暑衣里，妥善保存。张岱后来记下：“所割襟，岱犹及见之，其色灰蠡，盖重浣白布也。”张文恭于嘉靖三十七年（1558）的乡试中举，不久之后就娶了王氏，很快便产下一子。朱赓也大约在此时娶亲，生有一女（就是张岱后来提到的朱恭人）。两人后来双双登科，展开官宦生涯，彼此保持密切联系。两家小孩在隆庆万历之交成亲，并在万历二年（1574）生下一子，这就是张岱的父亲。
根据张岱的描述，朱赓个性古怪，相信自己是南宋文人、政治家张无垢的附身，而且还有好几则奇闻轶事来左证他的说法。这位12世纪的文人透过降乩，与朱赓谈宿世因缘，还指点他在某寺存有佛经残卷一部，结果真的在该寺梁上发现一部佛经。从字体来看，这部残经写于宋代，后二卷付之阙如。朱赓把残缺的部分补全，“如出一手”。张岱记下这则怪事，难道是要贬抑朱家这显赫的先人吗？可能性不大。或许这只是张岱表达生命无常的一种方式吧。
等到张文恭的孩子也当了父亲，他开始扮演起祖父的角色。张岱以仲叔张联芳（字尔葆）为例，描写张文恭如何介入教养孙子。“仲叔生而头仄向左，文恭公忧之，乃以大秤锤悬髻上，坠其右，坐乡塾，命小傒持香伺左，稍偏则焠其额。行之半年，不复仄。”
张岱还提到张文恭如何纠正张岱的三叔张炳芳（号三峨）品行不端：“三叔幼时佻傝，与群儿嬉，见文恭公，一跳而去，走匿诸母房，不能即得也。文恭公恶之，乃以薄瓦磨砻，裁如履趾，缀之屦下，见文恭公一跳，其瓦底碎，即缚而笞之。”
从这类例子来看，脾气暴躁的张文恭四处潜行时，张家的女眷便成了孩子们的庇护之所。有时，女眷还可能影响事态的发展。有个例子是关于张岱的父亲和仲叔张联芳。这件事应该是发生在万历六年（1578），也就是两兄弟出生后，刘氏去世（万历十年）之前。当时，张岱的父亲年约四五岁，张文恭假满奉召入京复职。张岱是这么说的：“仲叔少先子一岁，兄弟依倚。文恭公以假满入都，仲叔方四龄，文恭公钟爱先子，携之北上，仲叔失侣，悲泣不食者数日。时刘太安人在堂，遣急足追返，迨先子归，而仲叔始食。嗣是同起居食息，风雨晦明者，四十年如一日。”
张文恭的儿媳妇朱恭人为张家带入新的资源与视野。朱赓仕途顺遂，历任翰林院编修、礼部尚书兼东阁大学士，他的女儿则必须在张家与朱家的世界之间，以其手腕与坚忍走出一条路来。万历三十二年（1604），朱赓要这对夫妇做一件让他们为难的事——朱赓在北京听到传闻，说家里有人不知节俭，于是就要这对夫妻告诉他，是哪个朱家子弟行为乖张。张岱后来写道，其间的过节始终难以解开：“（朱赓）子孙多骄恣不法，文懿公（朱赓）封夏楚，贻书大父，开纪纲某某，属大父惩之犹我。大父令臧获捧夏楚，立至朱氏，摘其豪且横者，痛决而逐之，不稍纵，其子孙至今犹以为恨。”
朱恭人的哥哥朱石门乃是浙江一流的古物收藏名家。虽然朱、张两家之间有所不和，但是朱石门的品位癖性对张家上下有很深的影响。张岱写了家传，后来又补了一些说明，便是负面看待朱石门对张家的影响：“我张氏自文恭以俭朴世其家，而后来宫室器具之美，实开自舅祖朱石门先生，吾父叔辈效而尤之，遂不可底止。”
张家之中，学朱石门的挥霍学得最厉害的是张岱的仲叔张联芳。他热衷收藏古董，一掷千金，不过他的眼光很精，因而也从古董的买卖赚了不少钱。张岱写张联芳，笔尖常带感情，写出他收藏买卖的细节。
张岱的父亲和大弟张联芳从小形影不离，在张联芳的身上可以看到艺术与金钱的魅力和矛盾。就如张岱写道：“仲叔喜习古文辞，旁攻画艺。少为渭阳石门先生所喜，多阅古画，年十六七，便能写生，称能品，后遂驰聘诸大家，与沈石田、文衡山、陆包山、董玄宰、李长蘅、关虚白相伯仲。仲叔复精赏鉴，与石门先生竞收藏，交游遂遍天下。”
官场锱铢必较，尔虞我诈，而艺品的世界亦是如此。精明的买家能赚到钱，而有才能的艺术家也能致富。同时，高明的骗徒和伪造者日益猖獗，而眼光独到又能诚实估价的人炙手可热，也是财源滚滚。朱石门交游广阔，自己的收藏也很惊人（张岱曾列过其中一部分），想必是张联芳的良师。万历三十一年（1603），张联芳乡试落第，旅行至淮安，有人来兜售天然硬木桌，淮安巡抚出价一百两。但张联芳以二百两买到之后，把桌子放在船上，连夜赶回家。巡抚派人追赶在后，发现张联芳是朱石门的学生，就不敢再为难这年轻人，于是空手而归。
张岱细说仲叔张联芳如何成为晚明江南的收藏名家。“自是收藏日富，大江以南，王新建、朱石门、项墨林、周铭仲，与仲叔而五焉。”张岱还说，张联芳在万历三十四年（1606）“造精舍于龙山之麓，鼎彝玩好，充牣其中”。或许，张岱此处所谓的精舍，正是他萦绕童年记忆、却为张联芳无情毁掉的书房。就算如此，张岱也没有点破，反倒说张联芳足以媲美元朝大收藏家，“倪迂之云林秘阁，不是过矣”。张联芳也造有舒适的船屋，或许是用来收购江南和杭州一带的珍藏，并赶快逃离愤怒的竞价者。张联芳称这船屋为“书画舫”，张岱有几次出门游历，就是睡在书画舫。张联芳还没在龙山之麓造精舍之前，或许也曾把部分珍宝藏在书画舫。
从一些张联芳在年轻时买的古玩，就可证明他买卖的精明：张岱特别提到三件宋朝稀珍——白定炉、哥窑瓶、官窑酒匜，有个当地的收藏家出价五百两，结果被张联芳所拒，他说要把这三件宝贝留到自己去世为止。万历三十八年（1610），张联芳得到一块重三十斤的璞石：他先以清水冲涤，然后在日光下检验其成色，其色清澄，让他很高兴。张联芳把璞石交给玉工雕一只龙尾觥、一只合卺杯。单单这只合卺杯，张联芳就卖了三千两，这还不包含龙尾觥，或是剩下的片屑寸皮——这也值不少钱。
崇祯元年，张联芳终于如愿以偿，入朝为官，但还是不忘四处收购藏品。譬如张联芳在河南孟津当官时，心想此地曾是周朝都城所在，想必有不少青铜器。根据张岱记述，张联芳任期届满时，“所得铜器盈数车，美人觚一种大小十五六枚，青绿彻骨”。张岱说仲叔张联芳坐拥各色“异宝”，结果“赢资巨万，收藏日富”。张联芳是否以不正当的手段取得这些古物，张岱倒是没说。不过，张岱在别处说他到所见过最美、最不寻常的珍宝——岳家所藏三只一组优雅青铜酒杯、两只大花木罇，各高三尺，花纹兽面。这个宝物是盗挖三代古墓而来的赃物，被阉官截夺据为己有后，再卖给张岱的岳父。
张岱的母亲出身会稽陶家。陶家跟张家、朱家一样，都是书香门第，科场得意。陶父是举人，在福建监管盐政多年。他也是简朴之人，效法长辈，用度吝啬，喜欢以“清贫”自居。照张岱的解释，陶家人的吝啬表现在万历二十四年（1596）：“宜人以荆布遣嫁，失欢大母（指朱恭人），后以拮据成家，外氏食贫，未尝以纤芥私厚，以明不负先子所托。大母朱恭人，性卞急，待宜人严厉，恪尽妇道，益加恭慎。”
不论陶氏是否受到“恭慎”对待，对她而言，生活显然并非易事。婚后不久，陶氏在万历二十五年（1597）产下一子，理应受到张家称道。然而，张岱却说双亲早岁贫苦，捉襟见肘。纵然结婚了十年之后，这种窘境仍未见改善。张岱的父亲张耀芳二十载的寒窗苦读，都已经三十好几，还是没能中举人，家中的开支让他特别伤神。家中的长辈看到他需索孔急，似乎并不乐意伸出援手。祖父张汝霖非常严厉，而张家这一房是有些钱，朱家也不坏。但是家中开销大，而张汝霖又不是那种以收贿提高俸禄的人。就算是他在万历二十三年进士及第，授县令职，他给自家孩子和亲戚的钱还是很少，若是要变卖家产也由得他们去。虽然张家有权有势，但是“先子家故贫薄，又不事生计，薪水诸务，一委之先宜人。宜人辛苦拮据，居积二十余年，家业稍裕”。
张岱对于节俭、贫薄、豪奢的意义似乎不怎么看在眼里，他在别的地方写到张家在万历二十九年（1601）办过一次盛会，这是穷人家绝对办不来的，就算富人家也要倾家才能办得了。张岱当时只有四岁，这些细节可能是父母或叔父告诉他的。据张岱描述，这场盛会是因为张岱的几位叔叔，加上他父亲，想点灯照亮整座龙山，教其他家族自惭形秽。他们剡木为桩百余根，涂以丹漆（雘），三根为一架。每一架饰以文锦，张灯一盏。而满山的树林也悬了灯。丹漆木架连成一线，闪现光芒，“沿山袭谷”。过了六十多年之后，张岱还记得当年情景：“自城隍庙门至蓬莱冈上下，亦无不灯者。山下望如星河倒注，浴浴熊熊。”
盛会的排场非常铺张，还有劳绍兴官府下令，严禁百姓贪欢妄为。要去看龙山放灯一定会经过龙山南麓的城隍庙口，在此挂有禁条：自此（入门）之后，唯能徒步，禁车马；禁烟火、禁喧哗；禁城内豪室惯常行事，先遣家奴驱赶行人清道。张岱的父、叔在松树下立了一木台，展席憩息，亦食亦饮亦声歌。至于城里的人，“有好事者卖酒，缘山席地坐。山无不灯，灯无不席，席无不人，人无不歌唱鼓吹”。看灯的男男女女一入城隍庙门，“头不得顾，踵不得旋，只可随势，潮上潮下，不知去落何所，有听之而已”。每日仆后入山清扫，“果核蔗滓及鱼肉骨蠡蜕，堆砌成高阜”。接连四夜，每晚灯火通明。
责任与爱可轻易交融，也可彼此冲突，张岱在八岁左右对此便有了一番体悟。万历三十三年（1605）前后，此时张岱母亲怀胎六个月，举家上下同心祝贺张岱的祖母朱恭人寿诞。张岱母亲不想被人说她怠惰，在张家人面前抬不起头，不顾有孕在身，坚持招呼老夫人寿宴的大小细节，买菜，拟宾客名单、准备礼物，结果过于疲累，早产了三个月，生下一男婴，取名山民。山民生来瘦弱，身长不满一尺，体重只几斤，气息甚微。男婴竟然没有夭折，倒是出人意料。在三个弟弟之中，张岱最喜欢这个弟弟。不过，因为张岱的母亲没想到这个男婴能活下来，所以也没在他身上花太多时间——还有别的孩子更有机会长大成人，需要母亲的关爱和照料。在绍兴一带，这类恐怕活不长的婴孩被称为“莲生”。莲花乃是佛陀足印的象征，“莲生”意指婴孩能否生存只能听天由命。
父亲也是不关心。张岱说：“先大夫老于场屋（科场），无意教子，致弟失学，弟发愤曰：‘人也而可弗学？’遂私自读书，自经书子史以至稗官小说，无不涉猎。”若不读书，怎能为人？张山民的反问呼应了百年前高祖的看法。但张岱也同意，这个弟弟成功的机会微乎其微：“吾辈皮相，余弟未必能文。”
然而，山民虽没有双亲的关爱，却能有一番成就：集学者、诗人、艺术鉴赏家于一身，于收藏一事，堪与朱石门、张联芳相比。张岱说他这个弟弟之所以成功，是因为“吾弟资性空灵，识见老到，兼之用心沉着。凡读书多识，不专而精，不骛而博，不钻研而透彻”。
而且，山民在追访稀世珍藏时也没有势利的气息：“凡至货郎市肆，偶有一物，见其注目视之，必古质精款，规制出人，见无不售，售无不确。一物入手，必旦晚抚摩，光怪毕露，袭以异锦，藏以檀匣，必求名手，为之作铭。夜必焚香煮茗，挑灯博览，见诗文佳者，津津寻味，不忍释手。”张岱从弟弟山民和眼睛瞎了的堂弟张培身上，看到了性格的韧性如何让人能过一般人过不了的难关。
万历三十九年（1611），张岱母亲又面临另一番考验。张岱的祖母朱恭人到绍兴看三舅，结果突然去世。这里的问题牵涉到习俗和忌讳：按照习俗，不宜到人家家里把亲人灵榇移回自己家里，丧礼也得在祖居举行。若是触犯这两项禁忌，恐怕会惹祸上身。根据张岱的说法，祖父骤然丧偶，心神未定：“大父迟疑不决。宜人力请归宗，以凶煞自认，大父喜曰：‘女中曾，闵也。’后累遭祸祟，终不自悔。”
对十五岁的张岱来说，生命是苦涩的，于是在万历四十年（1612）到南镇梦神求梦。当地人相信会稽有南镇之神，文献也记载了各式各样的梦；张岱郑重其事，写了一篇骈体文，祈请南镇之神赐梦。张岱说他实在无法参透他所碰到的事。从梦境返回红尘世俗，“顾影自怜，将谁以告？为人所玩，吾何以堪？”张岱回忆十五岁时纠缠心中的种种困惑，他在文中问道：“神其诏我，或寝或吪；我得先知，何从何去。……功名志急，欲搔首而问天；祈祷心坚，故举头以抢地。”
朱恭人的去世并未扭转张家的萧索窘境，张岱对此困窘也坦白书之，提及母亲与常人不同的开明态度：“后以先子屡困场屋，抑郁牢骚，遂病翻胃，先宜人忧之，谓岱曰：‘尔父冯唐易老，河清难俟，或使其通意园亭，陶情丝竹，庶可以解其岑寂。’”母亲以冯唐为例，既诙谐又妥切。冯唐生于汉朝，系出名门。他出名的是他到年纪很大才得到差事，在宫中做郎官，汉文帝步出轿子时，还觉得奇怪，宫里怎么会有年纪这么大的老人在服侍他。冯唐到九十岁，名字还列在备用官员，等到汉景帝登基之后，才以冯唐年龄太大而将之除名。
万历三十八年（1610）之后，张岱的父亲张耀芳开始耽湎于各种癖好，而母亲也不去管他，“遂兴土木，造船楼一、二，教习小傒，鼓吹剧戏，一切繁靡之事，听先子任意为之。”张岱此时也纵情于各种嗜好，然而随着父亲的日益挥霍，结果并非那么愉悦：“宜人不辞劳苦，力足以给，故终宜人之世，先子裒然称富人也。泰昌改元，先宜人厌世，而先子又遭奇疾，凡事𤍇傝，不出三年，家日落矣。”
张岱在评价父亲的一生时，借着称赞母亲对父亲想做的事情都予以成全，而隐含了对父亲的批评：“先子少年不事生计，而晚好神仙。……先子暮年，身无长物，则是先子如邯郸梦醒，繁华富丽，过眼皆空。先宜人之所以点化先子者，既奇且幻矣。不肖岱，妄意先子之得证仙阶，或亦宜人之助也。”
到了万历四十八年之前后（1620年代中），张耀芳仍然赋闲在家，身材日渐肥胖——这在张家与朱家有很多人都是如此，而他们喜欢比食量，更让体重失控。张岱并不想表达父亲的狂食有可取之处。的确，张岱拐个弯来凸显他们愚蠢的一面。“盖先子身躯伟岸，似舅祖朱石门公而稍矮。壮年与朱樵风表叔较食量，每人食肥子鹅一只，重十觔，而先子又以鹅汁淘面，连啜十余碗，表叔捧腹而遁。”
张岱好像觉得这些细节还不够详尽似的，另外又提及父亲在万历四十八年（1620）大啖鹅肉而大病一场的经过，巨细靡遗，叙述父亲的胃疾与消化不良，后来花了大钱，前后请了许多大夫各显神通。结果各名医却是束手无策而“却走”，之后当地有个手法奇特的大夫开了药方，用地黄治好了张岱的父亲。
万历四十四年（1616）前后，张岱娶刘氏为妻。刘氏家里也是读书人，家世中等，但张岱却对刘氏只字未提，也几乎没提及刘氏所生的孩子，这也是当时的习俗使然。不过，张岱倒是写到几个进了张家家门的女性，与张岱夫人一起生活，帮忙照顾小孩，但是她们始终觉得不自在，总是担心自己与小孩的未来。张岱至少有过两名妾，夫人刘氏去世之后，二妾仍继续同张岱同住。张岱的父亲纳了好几个妾，有的在母亲去世前，有的在去世之后。对家族来说，这类女人常常千方百计谋夺家产，而据张岱所言，侧室有时也会得逞：“宜人以戮力成家，而妾媵、子女、臧获，辄三分之。”其结果便是张耀芳到了晚年已经“身无长物”。但若是家中长辈出面主持公道，妾妇也有可能被逐出家门——张岱的祖父张汝霖正是这么做：“辛亥（1611），朱恭人亡后，乃尽遣姬侍，独居天镜园，拥书万卷。”
但也有可能是，张汝霖的细心安排安抚了姬妾，面面俱到，让各方都满足。据张岱描述，至少朱恭人的父亲朱赓便有如此能耐。据说朱赓纳了几名小妾，夫人很不高兴，听到这消息便发出“狮子吼”。朱赓知道事情不妙，前往张家求助乩仙，惠赐化妬丹。乩书曰：“难！难！”但朱赓可在枕头内发现化妬丹。朱赓发现此丹之后，就给了夫人。夫人服下之后说：“老头子有仙丹，不饷诸婢而余是饷，尚昵余。”此计奏效，“（夫人）与公相好如初”。
有时父亲过世之后，儿子会马上把父亲生前的宠妾扫地出门。张岱在一篇传略里提到仲叔张联芳的姬侍，便是一个例子。张联芳在崇祯十七年（1644）去世，身后遗下庞大家财，价值不菲的古玩悉数归其子燕客所有。显然这女子在张联芳生前曾表明她的坚贞，但其他亲戚则嗤之以鼻。在好几年前，因为张联芳“侍姬盈前”，张岱曾劝他把这名女子辞退。但她坚称要随侍在侧，还起誓：“奴何出？作张氏鬼耳。”张联芳把这句话告诉张岱，张岱只能祝贺仲叔有幸得到如此忠贞的女子。
燕客和张岱听到张联芳的死讯，仓促赶赴奔丧，并在来吊唁的人里头看到这名女子。她表示：“得蚤适人，相公造福。”张岱微微一笑，提醒她曾说过死为张氏鬼。她答道：“对老爷言耳，年少不得即鬼，即鬼亦不张氏待矣。”她的诚实讨不到任何好处：燕客与张岱笑着拒绝她的请求。
张岱的父亲跟周氏感情很好，张岱说她是父亲的“内妾”。张岱的母亲去世之后，周氏一直想要巩固自己在张家的地位，确保自己生下的孩子可以分得家产。张岱说到有一回他与父亲在言谈间提到周氏的机关算计，虽然戏谑，但也是善意提醒：“先子喜诙谐，对子侄不广谑矣。一日周氏病，先子忧其死，岱曰：‘不死。’先子曰：‘尔何以知其不死也？’岱曰：‘天生伯嚭，以亡吴国，吴国未亡，伯嚭不死。’先子口詈岱，徐思之，亦不觉失笑。”父亲之所以失笑，是因为张岱的引喻很高明。伯嚭是春秋时楚国人，曾任吴国太宰，收重贿，害死伍子胥，越王勾践才有机会卧薪尝胆，最后灭了吴国。父子学识渊博，历史掌故信手捻来，却予人轻浮多变之感；像周氏这样的女子，经济和情感都是十分脆弱的。
张岱还有一篇长文来写他称为“外母”的岳母。张岱的岳母出身当地人家，比自己的生母多活十九年，显然填补了张岱丧母之后的情感空缺。张岱在外母刘太君去世后撰写祭文：“鞠育之犹母也，教训之犹母也。鞠育之而恐任余性，教训之而恐伤余意，其委曲而详慎之犹母也。至今日吾外母死，而岱之母道绝矣。”说来不可思议，张岱的母亲和岳母的忌日都是阴历四月二十日，只是其间相隔十九年，更让张岱觉得两位母亲的命运是相连的：“是余母与外母交丧矣。故岱之痛外母，一如痛岱之母，而岱思苦筋骨以报外母至死，一如报岱之母。而今兹不能，则有五内痛裂，抱恨终天，一如思岱之母，哭岱之母而已。”
外母去世之前的最后五天身体愈来愈虚弱，张岱遍求名医良药，亦试着乞灵神明：张岱到祠堂祝祷，也向东岳泰山之神祈求——几年前，张岱曾到泰山游历朝圣。但是种种方法俱为枉然。外母去世十三天之后，张岱请了僧道至灵寝，施礼“水忏”十二部，以求赐外母冥福。第二日，张岱率外母家人——一名女儿，几名孙子，其中几人已结婚——念祭文哀悼。
在张岱为家族女性所写的文章，以为外母所写的祭文最长，措辞剀切，透着苍凉：“吾外母虽生华屋”，张岱这么起头，“其生平丁骨肉之戚，抱零丁之苦，自为女、为妇、为媳、为母、为姑，未尝履一日之顺境，专一日之安闲。”她遭逢失亲之痛与孤独之情。张岱说他自从认识外母以来，只见她开笑口三四回而已，其余多是悲思涕泣之日。外母一生的故事，就是不断失去的故事。张岱外母十六岁成亲，十一年后的万历三十三年（1605），丈夫去世，当时她年仅二十七岁，带着两个稚龄女儿，腹中还怀了第三胎。在短暂的婚姻生活中，丈夫一直为积疴所苦；丈夫过世后，儿子又事事依赖她。过了不久，她的公公溺毙。外母的长女婚后不久就去世，年纪很轻，未留子嗣。于是，只能寄望嫁给张岱的次女能延续血脉，以告慰丈夫的在天之灵。但是，张岱语带懊悔，朝夕凝盼的孙子“乃麟定尚艰”，教外母郁闷，“愁屈勿展”。“监门老妪”虽然穷苦，但子孙满门，还可享骨肉团聚之乐；但是在外母艰辛的一生，就算是想像“监门老妪”那般也不可得。外母刘太君此外还得照料“严厉琐屑”的舅舅，侍奉守寡的婆婆，她“性极褊急，家人至难与言”，而家人必须“百计将顺，而诟谇甘之”。
张岱妻子最后终于产下一子，但这婴儿几乎因天花而夭折。张岱把儿子的幸存归功于一位绍兴当地的大夫——鲁云谷。张岱从年轻时就认识他，此人自学医理，超尘拔俗，精通茶道，笛艺精妙，擅长栽植绝品兰花。鲁云谷也有三恨：恨人抽烟、恨人酗酒，更受不了别人吐痰。对张岱而言，更重要的是鲁云谷通晓当地生长的药草，对人体的运作也有很深的了解。因为鲁云谷“医不经师，方不袭古”，张岱写道：“每以劫剂臆见起死回生。”张岱写了一首诗聊表谢意，说鲁云谷“用药如用兵，巢穴恣攻讨”。这才是关键所在。他的医术不是光靠直觉而已：“一团血肉中，经络自分晓；肺腑似能言，与君为向导。”鲁云谷最早专治小儿疾病，尤其擅长治痘疹且不留痘疤。于是，刘氏终究得以有了一个健康的外孙，至少延续家族的血脉。
在张岱的心目中，外母称得上真正“性坚忍”，无论事情有多难，她总会想办法让身旁的人满意。这一段道出刘氏的行谊：“嗟嗟！旁人有哭之哀者，不必其子与媳也；道路有称其贤者，不必其亲与戚也；空言有佩其德者，不必其施与积也。若岱则何以颂吾母哉？岱今则谓终母之身，其为女孝，为妇贞，为媳慎，为母辛，为姑惠，有数者，虽百苦备尝，亦可以含笑入地矣。”
张岱的外母虽然二十七岁便守寡，但也还是有值得庆幸之处。没有证据显示她的娘家或婆家逼她改嫁——这是当时常见的做法。刘氏在丈夫去世之后，似乎还可以照自己的方法养育子女。自家与婆家的家产无疑有所帮助，但是她的通达与坚忍也有助于她扮演女性应有的角色。我们若将她与嫁入张家的女性相对照，像是悲观的高祖母刘氏（安人）、节俭自持的王氏（宜人）、百折不挠的朱恭人，以及许多被逐出家门的侍妾，便会了解何以张岱的母亲要往佛寺寻求庇佑，带着幼子随她进香礼佛。我们也会了解何以她要将省下来的钱供奉给佛寺，花钱雇人送她和年幼的张岱前往佛寺，旋转写满经文的藏轮，愈转愈快，直到熟滑如飞，推者莫及，其中含纳了无数诵念祈祷，溢出了寺院围墙，传入浙江的青空，直达默然注视的众神跟前。