胡乔木牢牢记住毛泽东在杭州的“一少二多”的叮嘱：“少说话，多看看，多了解情况。”
1966年6月6日，胡乔木派出身边的工作人员前往北京大学，看大字报，了解情况。
当然，光是听听工作人员的汇报，也不行。他也必须亲自出去“多看看”。
上哪儿去呢？去儿子那学校吧——北京邮电学院。虽说他是按照毛泽东的指示去“多看看，多了解情况”，不料却从此埋下祸根——后来，他被这个学院的红卫兵们“盯”上了。
1966年7月20日，中共中央发出《关于成立毛泽东著作编辑委员会的通知》，上面印着胡乔木的名字，使胡乔木稍稍松了一口气——
主任：刘少奇
副主任：康生、陈伯达、陶铸
委员：李井泉、李雪峰、刘澜涛、宋任穷、王任重、魏文伯、胡乔木、萧华、刘志坚、张平化、熊复、王力、戚本禹、刘汉
虽说按照他的资历，理应是副主任。不过，他能列名委员之中，表明他的政治境遇尚可。
紧接着，中共八届十一中全会于1966年8月1日至12日在北京召开。毛泽东主持了会议，写下《炮打司令部——我的一张大字报》。会议于8月12日通过了《关于撤销和补选书记处书记的决定》，没有碰胡乔木：撤销了彭真、陆定一、罗瑞卿的中央书记处书记和杨尚昆的候补书记职务，调陶铸担任中央书记处常务书记，调叶剑英担任书记处书记。而胡乔木呢？仍是候补书记——既没有升为书记处书记，也未撤职，保持原职。
会议结束不久，8月18日，毛泽东在天安门城楼第一次检阅红卫兵。
那天，胡乔木也上了天安门城楼，他的名字也出现在新华社的电讯之中。不过，他站在远离毛泽东的地方，未敢走过去跟毛泽东说上几句。他跟别人也几乎不说话，只是按规定的位置木然站着，如此而已。
胡乔木神情沮丧，是因为就在四天以前——8月14日，“中央文革小组”找他谈话，进行了批评，指出他犯了一系列的错误：从《清宫秘史》中共八届七中全会、庐山会议直至《海瑞罢官》……8月15日，胡乔木不得不就以上问题写了一份简短的检查，表了个态。
这天晚上，他对身边的工作人员正式宣布：“我犯了错误！”
8月17日，胡乔木提出：收缩工作，精减人员，搬家，缩小居住面积，并要求到京郊四季青人民公社参加劳动。
8月18日，就在他上天安门城楼之际，他的父亲胡启东在北京八宝山的墓碑被砸！父亲胡启东晚年住在胡乔木家，于1957年2月病逝，葬于八宝山。他的墓碑，是由于右任的弟子、书法家胡公实写的。母亲夏氏也住在胡乔木家，后来死于肺结核。在“文革”中，时兴讲成分，所谓“老子英雄儿好汉，老子反动儿混蛋”。胡乔木的父亲胡启东虽说是开明绅士、进步人士，在“文革”中被骂为“大地主”。自然，他的墓碑被砸了。胡乔木呢，也被斥为“大地主的孝子贤孙”。
胡乔木从天安门上下来，便忙着写检查。8月28日，胡乔木改毕检查，派人送呈毛泽东。
8月31日，毛泽东第二次在天安门广场检阅红卫兵。胡乔木虽然已经处境维艰，还是收到了入场券，登上天安门城楼。他的表情，更为木然。
9月5日，中共中央办公厅秘书局对胡乔木停发文件。这是极为严重的讯号，意味着他从此正式“靠边”了！
胡乔木也意识到事态的严重，提出：降低工资，或把工资作为党费上交。取消哨兵、厨师、专车。又一次提出搬家。
9月7日上午，“中央文革小组”开会，听取胡乔木的检查，并对他再一次进行了批评。
这样，9月15日，当毛泽东在天安门广场第三次检阅红卫兵时，胡乔木便再也没有收到入场券。他被取消了上天安门城楼的资格。须知，这时刘少奇、邓小平都还登上天安门城楼呢。
胡宅离天安门广场甚近，广场上那“毛主席万岁”、“无产阶级文化大革命万岁”的口号声，不断传入胡乔木耳中。他木然地听着。此后，毛泽东一次次接见红卫兵，胡乔木再也没有登上天安门城楼了。他只能在家中写检查。
胡乔木提出了写检查的计划：
一，关于《清宫秘史》的检查；
二，关于《海瑞罢官》的检查；
三，关于庐山会议的检查；
四，关于《人民日报》工作的检查。
这位当年的“中共中央大手笔”，如今成了“检查一支笔”！
不过，他就连写检查，也非常认真：他要工作人员到北京图书馆借有关《清宫秘史》的资料；他给历史学家范文澜去信，请教有关问题；他还要查阅《人民日报》的合订本……
中南海里贴出了批判胡乔木的大字报，称他为“周扬一伙”，称他是“阎王殿中的阎王”（“阎王殿”指中宣部），甚至还提到他的名作《中国共产党的三十年》是“篡改党史”、为“中国赫鲁晓夫歌功颂德”，是“大毒草”！
最初，还讲究“内外有别”，中南海里的大字报不外传。然而，世上哪有不透风的墙？
何况，那“中央文革小组”正在往外抛材料，巴不得借此混乱之际整掉一批宿敌冤家……