先说故事。山阴澹生堂是明代非常有名的藏书楼。遭逢明亡的大变，主人祁彪佳投水，两个儿子一个流放宁古塔，一个也很快就死了。家境败落，不能尽保其书，到了康熙五年，乃有第一次散书。
这个消息被黄宗羲知道了。他没有那么多钱，便邀来吕留良。吕留良出了几千金，黄宗羲则拿出攒下的束修，二人凑在一起，来买祁家所出的这一批书。二人到祁家挑书。吕留良出资多，得书自然也多，有三千多本；黄宗羲买到两百多部，但部部挑的是善本好书。吕留良看到黄宗羲把最好的书都挑走了，心里很不痛快，在回来的路上，便让仆人从黄宗羲那里偷了两部书，算是出口闷气。
黄、吕自顺治十七年订交，一向亲密。吕留良敬重黄宗羲，请他来家里坐馆，黄宗羲回余姚时，吕往往亲送到杭州，赠以盘缠。黄宗羲也很看得上吕留良，曾有“用晦之友即吾友，用晦之砚即吾砚”的诗句。两人都以遗民自任，所谓同志，怎么会为几本书闹到不可开交呢？
据说是黄宗羲先动怒的。他写了封谴责信，题曰“与吕用晦书”，寄给几位朋友看，偏没寄给吕留良。吕留良知道有这样一封骂他的文字，却不能尽知里边的话，只好向坏里猜想。两人因澹生堂书一事龃龉，又加上另外一些事件（如刘宗周遗书事，高斗魁墓志铭事），终至彻底反目。
君子绝交，亦出恶言。随着怨恨越来越深，背后的谩骂也越来越刻薄。黄宗羲自订的文集，提也不提吕留良，除了称之为“书贾”——吕留良靠选政谋生，在南京卖书。黄宗羲轻蔑地说他是时文选手，所事乃纸尾之学。他曾做《七怪》一文，里边说“今之学者，学骂者也……所谓墙外悍妇，声飞灰灭，为猪嘶狗嗥者也”，指的便是吕留良。吕留良则把“悖乱”、“谬学”、“铜臭”、“贡谀”、“奴颜”这些评语送给他的老朋友。两人的门生也彼此对垒，你骂我，我骂你，延续了许多年。
若说黄吕反目只为了几本书，那也太小瞧这两位才人了。二人抵牾的根源，除学派之争外，说到底，还是政治态度问题。
黄宗羲是遗民，这不用说，吕留良本来入了科场，在清朝做过十多年秀才的，结识了黄宗羲等人后，做起了“思想遗民”。但他的态度，比黄宗羲要激烈得多，属于坚定的不合作主义者。
黄宗羲一生的经历极为丰富，到了晚年，已经激烈不下去了。他不是个沉迷于幻想的人，把世事看得清清楚楚，所指望的人心，终不可恃，所期待的异变，一个也没发生，倒是满人稳坐着江山，看那样子，还要接着坐下去。老百姓是要吃饭的，而士人也蕨葳难饱，一队队地“夷齐下首阳”了。作为历史学家，黄宗羲知道，秦亡于自己的虐政而非三户之楚，元亡于饥民而非遗民。他晚年的思路，已不局于家国之恨，伸向了天下之忧。
在实际中，黄宗羲采取了妥协的方针。他自己是不出仕的，但和朝中贵人多有私下的来往。他不参加明史馆，但派了学生万斯同去。他起初称满人为夷虏，后来——在某些场合——竟称起“王师”来。他辩解说：我得吃饭，还得吃药，生此天地之间，不能不发生人际关系，就连陶渊明，不肯屈身异代，也不曾拒绝江州刺史赠的酒、始安太守送的钱啊。
对吕留良来说，黄宗羲是从蛟龙变成了蝌蚪。澹生堂事正发生在吕留良退出科场那一年，正当他一变而为激烈的反满者的时候。他自己靠选书大可过活，用不着应酬不喜欢的人。只与说得来的相往还，情绪越酿越强烈。对黄宗羲操守的责斥，也只是心事的寄托吧，只是骂得太难听了些——他听说黄宗羲在某官员家课馆，气得写了一大叠讽刺诗，讥黄为“新巢喜得依王谢，千门万房总不贫”，还画像云“顿首复顿首，尻高肩压肘”。——至此，两人的关系已无可挽回了，尽管后来黄宗羲做过一次努力。他派儿子百家持书信和诗扇来修好，吕留良冷冷地回答：“知君自定千年业，哪许余人妄勘磨。”
这里面的是是非非，辛辛苦苦，从古到今到以后，知味者自能品尝得出。只是叹后世人的风度，不及当年的嵇阮山向，亦远矣。