“文革”中，对知识分子的迫害，千奇百怪，花样层出不穷。
有一天，钱钟书回家，头发给人剃掉纵横两道，现出一个“十”字，这就是所谓“怪头”。幸好杨绛向来是他的理发师，赶紧把他的“学士头”改为“和尚头”，抹掉了那个“十”字。而他的一个“同伙”因为剃了“怪头”，饱受折磨。理发店不但不为他理发，还给他扣上字纸篓子，命他戴着回家。
不久，杨绛也“恭逢其盛”，受到同样的遭遇：
一九六六年八月二十七日，这是杨绛不幸的一天——早上她翻译的“黑”稿子《堂吉诃德》被没收，晚上又给剃成“阴阳头”。当天，宿舍里有个“牛鬼蛇神”撕了好多信，不敢烧，扔在抽水马桶里。不料冲到底层，把马桶堵塞了。住在楼下的那位老先生有幸未列为“权威”，他不敢麻痹大意，忙把马桶里的纸片捞出漂净，敬献革命群众。
这就引起宿舍里的又一次“揪斗”。杨绛回家虽然较晚，但进院就看见大楼前的台阶上站满了人，大院里也挤满了人，有坐的，有站的，王大嫂是花儿匠的爱人，她一见杨绛就偷偷摆手。杨绛心知不妙，却又无处可走，正迟疑间，只见平房里的张大妈对她呶呶嘴，示意叫她退出去。可是“极左大娘”已经看见杨绛了，提着名字喝住，她只好走上台阶，站在丈夫旁边。
杨绛夫妇都是陪斗。那个用杨柳枝猛抽杨绛的姑娘拿着一把锋利的剃发推子，把两名陪斗的老太太和杨绛都剃去半边头发，剃成了“阴阳头”。有一位家庭妇女不知什么罪名，也在其中。她含泪合掌，向那姑娘拜佛似的拜着求告，总算幸免剃头。杨绛则不愿长他人志气，求那姑娘开恩，就由她剃光了半个头。
当时剃了“阴阳头”的，一个是退休干部，她可以躲在家里；另一个是中学校长，向来穿干部服、戴干部帽，她可以戴着帽子上班。而杨绛没有帽子，大热天也不能包头巾，却又不能躲在家里。
钱钟书急得直说：
“怎么办？”
杨绛安慰他说：
“兵来将挡，火来水挡；总有办法。”从二楼走上三楼的时候，果然灵机一动，想出个办法来。她的女儿钱瑗几年前剪下两条大辫子，她用手帕包着藏在柜里，这会子可以用来做一顶假发。她找出一只掉了耳朵的小锅做楦子，用丈夫的压发帽做底，解开辫子，把头发一小股一小股缝上去。她想不出别的方法，也没有工具，连糨糊胶水都没有。
就这样杨绛费了足足一夜工夫，做成了一顶假发，害得钱钟书整夜没睡安稳。她笑说，小时候老羡慕弟弟剃光头，洗脸可以连带洗头，这回我至少也剃了半个光头。果然，羡慕的事早晚会实现，只是变了样。
杨绛自恃有了假发，“阴阳头”也无妨。可是一戴上假发，才知天生毛发之妙，原来一根根都是通风的。一顶假发却像皮帽子一样，大暑天盖在头上闷热不堪，简直难以忍耐。而且光头戴上假发，显然有一道界线。剪下的辫子搁置多年，已由乌黑变成枯黄色，和她原来的黑发色泽不同——因为那时候她的头发还没有花白。
第二天，杨绛戴着假发硬挤上一辆车，进不去，只能站在车门口的阶梯上，比车上的乘客低两个阶层。她有月票，不用买票。可是售票员一眼识破了她的假发，对她大喝一声：
“哼！你这黑帮！你也上车？”
杨绛连忙声明自己不是“黑帮”。
“你不是黑帮是什么？”售票员看着杨绛的头发，乘客都好奇地看她。她心想：“我是什么？牛鬼蛇神、权威、学者，哪个名称都不美，还是不说为妙。”她心里明白，等车一停，立即下车。从此一年之内，杨绛不敢乘车，全靠两条腿走路。
即使走在马路上，杨绛也时刻担心惹出是非，遇到不测。她说：经过“文化大革命”的洗礼，“街上的孩子很尖利，看出我的假发就伸手来揪，幸有大人喝住，我才免了当街出彩。我托人买了一只蓝布帽子，可是戴上还是形迹可疑，出门不免提心吊胆，望见小孩子就忙从街这边躲到街那边，跑得一溜烟，活是一只过街的老鼠。默存愿意陪我同走，可是戴眼镜又剃光头的老先生，保护不了我。我还是独走灵便。”
一个星期天的早上，宿舍大院的平房里忽然出现一个十六七岁的红卫兵。他召集大楼里的“牛鬼蛇神”去训话，杨绛也在其中。他下令从此以后每天清早上班之前，不准乱说乱动，只准扫大院，清除垃圾，改造思想……不胜其烦。杨绛心想：我们这群“牛鬼蛇神”是最驯良、最和顺的罪犯，不论谁的命令都一一奉行。因为一经“揪出”，就不在人民群众之中，而在人民群众之外。如果拒不受命，就是公然与人民为敌，“自绝于人民”。“牛鬼蛇神”互相勖勉、互相安慰的“官腔”是“相信党，相信人民”，虽然在此时，不知有谁能看清党在哪里，人民又是谁。
这时候，杨绛家里的阿姨顺姐被迫离开了。他们生活上的许多事情都得自己料理。革命群众已通知煤厂不得为他们家送煤。他们日用的蜂窝煤饼，一个个都得自己到煤厂去买。
即便是咸菜、土豆当然也得上街买。卖菜的大娘也和小孩子一样尖利，眼睛总盯着杨绛的假发。有个大娘满眼敌意，冷冷地责问她：“你是什么人？”杨绛不知该怎么回答，以后就和丈夫交换任务：他买菜，自己买煤。
杨绛每天下班路过煤厂，买三块大煤、两块小煤，用两只网袋装了一前一后搭在肩上，因为她在所里扫地扫得两手无力，什么都拿不动了。煤厂工人是认识她的。他们明知是“牛鬼蛇神”，却十分照顾。她下班赶到煤厂，往往过了营业时间，他们总放她进厂，叫她把钱放在案上，任她自取煤饼。有一次煤厂工人问杨绛：
“你烧得了这么多煤吗？”
“六天买七天的，星期日休假。”她说。
他们听她还给自己“休假”，都笑了。往常给杨家送煤的老田说：“干脆我给你送一车吧。”他果然悄悄儿给她送了一车煤。杨绛央求他给同在难中的李健吾和唐棣华家也送些煤，这位师傅也给送了。这事不幸给“极左大娘”知道，立即带着同伙赶到煤厂，制止了送煤行动。
回顾这段困苦不堪的经历，杨绛沉痛地说道：我虽然每天胸前挂着罪犯的牌子，甚至在群众愤怒而严厉的呵骂声中，认真相信自己是亏负了人民、亏负了党，但我却觉得，即使那是事实，我还是问心无愧，因为——什么理由就不必细诉了，我也懒得表白，反正“我自岿然不动”。打我骂我欺侮我都不足以辱我，何况我所遭受的实在微不足道。至于天天吃窝窝头咸菜的生活，又何足以折磨我呢。我只反复自慰：假如我短寿，我的一辈子早完了，也不能再指望自己做这样那样的事；我不能像莎士比亚《暴风雨》里的米兰达，惊呼：“人类多美呀。啊，美丽的新世界……！”我却见到了好个新奇的世界。“文革”把一切都颠倒过来了。按照“颠倒过来”的原则，文学所原来打扫卫生的临时工小刘当起了领导，负起监督文学所全体“牛鬼蛇神”的重任。杨绛和钱钟书、何其芳、俞平伯、陈翔鹤等专家都属她监管。杨绛扫厕所，钱钟书扫大院。他们每天不是劳动改造，就是写检查，一切正常的业务活动均被取消。
杨绛心上慨叹：这回我至少可以不“脱离实际”，而能“为人民服务”了。
杨绛干的是小刘原来的活儿。杨绛仔细看过那两间污秽的厕所，也料想她这份工作是相当长期的，绝不是三天两天或十天八天的事。于是她就置备了几件有用的工具，如小铲子、小刀子，又用竹筷和布条做了一个小拖把，还带些去污粉、肥皂、毛巾之类和大小两个盆儿，放在厕所里。不出十天，她把两个斑驳陆离的瓷坑、一个垢污重重的洗手瓷盆和厕所的门窗墙壁都擦洗得焕然一新。瓷坑和瓷盆原是上好的白瓷制成，铲刮掉多年的积污，这样虽有破缺，仍然雪白锃亮。三年后，翻译家潘家洵的太太对杨绛说：“人家说你收拾的厕所真干净，连水箱的拉链上都没一点灰尘。”
杨绛还回忆说：“小刘告诉我，去污粉、盐酸、墩布等等都可向她领取。小刘是我的新领导，因为那两间女厕属于她的领域。我遇到了一个非常好的领导。她尊重自己的下属，好像觉得手下有我，大可自豪。她一眼看出我的工作远胜于她，却丝毫没有忌妒之心，对我非常欣赏。我每次向她索取工作的用具，她一点没有架子，马上就拿给我。”这种话只有幽默感十足的杨绛才说得出，叫人忍俊不住。在“文革”这一特殊条件下，杨绛认为，“收拾厕所有意想不到的好处”：其一，可以躲避红卫兵的“造反”；其二，可以销毁“会生麻烦的字纸”；其三，可以“享到向所未识的自由”，摆脱“多礼”的习惯，看见不喜欢的人“干脆呆着脸理都不理”，“甚至瞪着眼睛看人，好像他不是人而是物。绝没有谁会责备我目中无人，因为我自己早已不是人了。这是‘颠倒过来’了意想不到的妙处。”
为了免却扩散余毒，学部的“牛鬼蛇神”被分别集中起来。文学所的“集中地”是“三楼”。
所谓“三楼”，是文学所的特殊名称。在文学所二层楼房顶上有个方堡似的大房间，设计师当年设计这个大房间，也许别有深意，可是没人知道他原来设计的意图，一直都把这个大房间当仓库用，也只是堆放缺胳臂断腿的桌椅和废旧报纸杂志。既然没有正式用处，也就没有正式的名称。
现在把“牛鬼蛇神”关押在这里，才临时起名“三楼”。当时还没有创造发明出“牛棚”这个规范化的“名称”。不过意思一样，谁若“更上一层楼”，被揪到这里来了，谁便彻底丧失了“人”的尊严和自由，成了不折不扣的“另类”。
“三楼”墙厚窗高，闷热无比，加之多年储放杂物，到处都是尘埃和蛛网。来到这个安身立命之所，“牛鬼蛇神”忙着打扫卫生，然后沿着四壁，又把那些残缺桌椅摆了一圈，每人被指定给一个座位，即一把椅子和一张椅子宽窄的桌子。人人遵命面向墙壁，互相不得来往交谈，真是一幅可怕的达摩面壁图。钱钟书也身处“三楼”，除了面壁反省之外，还要打扫大院。
钱钟书曾向杨绛形容过小刘这位“监管大员”的“威风”，杨绛也挺想看一看钱钟书“一伙”的处境：文学所的“牛鬼蛇神”都聚在一间屋里，不像我们分散几个办公室，也没有专人监视。我很想看看默存一伙的处境。一次，我估计他们已经扫完院子，就借故去找小刘。我找到三楼一间闷热的大办公室，看见默存和他同伙的“牛鬼蛇神”都在那里。他们把大大小小的书桌拼成马蹄形，大伙儿挨挨挤挤地围坐成一圈。上首一张小桌是监管大员小刘的。她端坐桌前，满面严肃。我先在门外偷偷和室内熟人打过招呼，然后就进去问小刘要收拾厕所的东西。她立即离席陪我出来，找了东西给我。杨绛的女儿钱瑗、女婿王德一夫妇是北京师范大学的教师，同校不同系，钱在外语系，王在历史系，这时两人都在学校接受改造和学习，无暇顾及父母。杨绛与钱钟书自“文革”后更加亲密融洽，被“学部”的人誉为“模范夫妇”。他们是一同上班，一同下班，总是肩并肩、手挽手。当时的情形，方舟在《我所认识的钱钟书》中所说的：“一些青年研究人员在背地里说：‘看人家钱钟书一对儿，越老越年青，越老越风流！’”
除了精神和肉体的折磨之外，令杨绛“心惊肉跳”的事情还有就是“抄家”。
破“四旧”、立“四新”之际，红卫兵、造反派将目光瞄准知识分子的书房，他们破门而入，抄家成风，任意砸抽屉，抄图书，书房成了“革命”的对象。
杨绛家里的阿姨顺姐，与杨绛关系很好，杨绛曾说，“文革”开始后，“院里一个‘极左大娘’叫顺姐写我的大字报。顺姐说：写别的太太，都可以，就这个太太她不能写。她举出种种原因，‘极左大娘’也无可奈何。”
据杨绛回忆，“极左大娘”不准顺姐在家里干活，因为她不肯写大字报骂杨绛。可是她又不许阿姨走，因为家有阿姨，随便什么人随时可以打门进来搜查。一次，钱钟书的皮鞋、领带都给闯来的红卫兵拿走了，又要拿打字机。阿姨就谎称说是公家的，没让拿走。
为了防止意外，杨绛认为，“第一要紧的是销毁‘罪证’，因为毫无问题的字纸都会成为严重的罪证。例如我和小妹妹杨必的家信，满纸胡说八道，引用的典故只我们姊妹了解，又常用家里惯用的切口。家信不足为外人道，可是外人看来，保不定成了不可告人的秘密或特别的密码。……我每晚想到什么该毁掉的，就打着手电，赤脚到各处去搜出来。可是‘毁尸灭迹’大非易事。少量的纸灰可以浇湿了拌入炉灰，倾入垃圾；烧的时候也不致冒烟。大叠的纸却不便焚烧，怕冒烟。纸灰也不能倾入垃圾，因为准有人会检查，垃圾里有纸灰就露馅了。我女儿为爸爸买了他爱吃的糖，总把包糖的纸一一剥去，免得给人从垃圾里拣出来。我常把字纸撕碎，浸在水里揉烂，然后拌在炉灰里。这也只能少量。留着会生麻烦的字纸真不少。我发现我们上下班随身带的手提袋从不检查，就大包大包带入厕所，塞在脏纸篓里，然后倒入焚化脏纸的炉里烧掉。我只可惜销毁的全是平白无辜的东西，包括好些值得保留的文字。假如我是特务，收拾厕所就为我大开方便之门了。”
烧归烧，杨绛不愿意将外国文学名著《堂吉诃德》译稿毁掉，那是她一九六一年开始在无休止的学习与批判的夹缝中，辛勤笔耕的成果，她用牛皮纸把译稿包好，用麻绳捆上，隐藏起来。可是就在杨绛被剃成“阴阳头”的前一天，一个出版社的造反派到学部造反，召集外文所的“牛鬼蛇神”晚饭后冒雨到大席棚挨斗。揪斗完毕，革命小将向杨绛等人下了一道命令：“把你们的黑稿子都交出来！”
什么是“黑稿子”呢？据杨绛的“同伙”告诉她，她翻译的《吉尔·布拉斯》“诲淫诲盗”，想必是“黑”的了。《堂吉诃德》是不是“黑”呢？堂吉诃德是地主，桑丘是农民，书上没有美化地主，歪曲农民吗？巨人怪兽，不都是迷信吗？杨绛一想起造反派咄咄逼人的威势，不寒而栗，不敢不提高警惕。她为了免得这部稿子遭殃，决定还是请革命群众来判定黑白，料想他们总不至于把这部稿子也说成“黑稿子”。
《堂吉诃德》原著第一第二两部各四册，共八册，杨绛刚译完第六册的一半。她每次誊清了译稿，就把草稿扔了。稿纸很厚，她准备在上面再修改加工的。这一大叠稿子很重，她用牛皮纸包好后，再用红笔大字写上“《堂吉诃德》译稿”。
杨绛抱着这个沉重的大包挤上车，再挤下车，还得走一段路。雨后泥泞，路不好走，她好不容易抱进办公室去交给组秘书。杨绛看准他为人憨厚，从来不“左得可怕”。她说明译稿只此一份，没留底稿，并说，不知这部稿子是否“黑”。他很同情地说，“就是嘛！”显然他不赞成没收。
可是杨绛背后另一个声音说：“交给小C。”小C原是通信员，按“颠倒过来”的原则，他如今是很有地位的负责人。原来那时候革命群众已经分裂为两派了，小C那一派显然认为《堂吉诃德》是“黑稿子”，应当予以没收。
小C接过稿子抱着要走，组秘书郑重叮嘱说：“这可是人家的稿子啊，只有这一份，得好好儿保管。”小C不答，拿着稿子就走了。
杨绛只好倒抽一口冷气，眼睁睁看着“堂吉诃德”做了“俘虏”。那一天真是她不幸的一天，早上交出《堂吉诃德》译稿，晚上给剃成“阴阳头”。
不久以后的一个星期日，不知哪个革命团体又派人来杨绛家里没收尚未发表的创作稿。杨绛这次早打定主意，什么稿子都不交出去了。她干脆地说：
“没有。”
那位造反派又要笔记本。杨绛随手打开抽屉，拿出两本旧笔记，就交给他以作应付。他却不依不饶，说道：
“我记得你不止两本。”
杨绛的确不止两本，可是当时她只拿到两本并说：
“没有了！”
杨绛事后回想，那位年轻人也许本性温和，也许有袒护之意，并不追问，也不搜查，就回去交差了。
他刚走不久，杨绛就找出一大叠整齐的笔记本，原来交出去的那两本是因为记得太凌乱，不打算保留的，所以另放一处。
刘士杰是杨绛夫妇在社科院的同事，他在“文革”中曾被命令“看管”钱钟书。钱钟书去世后，他在悼念文章中记叙了发生在钱家的“抄家”经过：
现在回想起来，在“文革”中，我所做的唯一对不起钱先生的事，就是参与了对他的抄家。不过，必须说明的是，那次抄家与当时红卫兵的抄家应该有所区别——这倒不是我有意为自己开脱罪责。当时红卫兵的抄家是为了所谓的“破四旧”，每至一家，打上门去，玉石俱焚，扫荡一切，具有极大的破坏性。而我们那次抄家则是略看一看就完事，应付差事而已。事情的经过是这样的：当时身为中央文革小组副组长的江青，在一次会上说：“别看那些反动学术权威是文人，他们做梦都想复辟资本主义。他们不光用笔造反革命舆论，跟我们较量，他们有的还私藏枪支弹药，准备有朝一日配合国内外反动势力，推翻我们的无产阶级专政。我们千万不能书生气十足，我们要把他们的枪支弹药搜出来，否则我睡不好觉。”当时几乎所有的群众组织都传达了江青的讲话。既然是中央文革的首长发了话，自然应该不折不扣地执行。虽然明知道这些老先生家里根本不可能藏有武器，但不能不去抄家，否则就要被说成包庇反动学术权威。
记得那一天，我跟着几位同事来到干面胡同钱先生的家，钱先生和杨先生诚惶诚恐地迎接我们。走进客厅，我看见一架钢琴，那是钱先生的女儿钱瑗经常弹奏的钢琴。我不禁脱口而出，说了一句：“钢琴！”还上前抚摸了一会儿。多年以后，钱先生还记得这句话和当时我那副幼稚的表情。其实，那次与其说是抄家，不如说是参观他家。我和我的同事好奇地、蛮有兴趣地观察这位大学问家屋内朴素而高雅的陈设。除了钢琴外，还有两样东西引起我的兴趣：一是狐狸皮，二是皮鞋。当我们拉开一个柜子的抽屉时，大家惊呆了，抽屉里蜷缩着几只狐狸！仔细一看，原来是狐狸皮。那是冬天女人用来围脖子的。我拿起一只狐狸皮围在自己的脖子上，果然又柔软又暖和。拉开下一个抽屉，则满是琳琅满目的皮鞋。这些狐狸皮和皮鞋都是杨绛先生从国外带回来的。
很快，“抄家”完了，当然什么也没有抄到。钱先生的家依然井然有序，根本不像当时别的大多数被抄的家那样翻箱倒柜，杂乱无章。尽管如此，我至今仍感歉疚不安，觉得对不起钱先生。虽说那是个特殊的、疯狂的年代，虽说那次“抄家”很文雅，没有给钱家带来任何损失，但毕竟是对一位公民，特别是一位高级知识分子的人权的粗暴侵犯。多少年后，我曾当面向钱先生表示我的忏悔和歉意。钱先生说，对于伤害他的人，特别是年轻人，他都不会记仇的。
在当时的条件下，杨绛夫妇得到了许多人的无私帮助，身兼中共中央政治局常委、中宣部部长的陶铸就是一个。据说陶铸感到学部一天到晚批斗这些上了年纪的“反动学术权威”，那么用不了几个月的“七斗八斗”，就会斗死，于是就亲自来学部（同来的还有陈伯达、关锋、戚本禹等人）作了一次著名的讲话，提出不要死盯住“反动学术权威”不放，还要“抓根根、发发、爪爪”，于是学部大乱，互相间开始“混战一场”，斗争方向就分散了。这就在一定程度上减轻了对包括杨绛夫妇在内的高级知识分子的人身迫害。