1966年6月初，当胡乔木刚刚回到中南海颐园家中，忽地接到通知，康生约他一谈。
康生有什么事找他呢？
不久前，5月28日，中共中央曾发出《关于中央文化革命小组名单的通知》，任命陈伯达为组长，康生为顾问，江青、王任重、刘志坚、张春桥为副组长。
康生，正是权重一时之际。他跟胡乔木寒暄了一阵，无非是“最近身体好一些了吗”之类。接着，他便进入正题，要胡乔木迁出中南海！
从1949年起，胡乔木便住在中国的政治中枢中南海，一住十七年。如今，为什么要迁出中南海？
康生所说的“理由”，自然是冠冕堂皇的：中南海要修路，颐园里你那房子要拆……
当然，即便是那里真的要修路，完全可以安排胡乔木住在中南海别的地方。然而，康生要胡乔木在中南海外找住处。显然，这是要把他逐出中南海！
胡乔木从康生那里回来，心境是沉重的。因为就在一个月前，就在中南海里，发生了令人心惊肉跳的事，虽说他当时在杭州，后来才听说：
那是田家英，在5月22日接到通知，要他立即搬出中南海。5月23日上午，田家英悲壮地结束了自己的一生，上吊于中南海喜福堂！
田家英被安上了“篡改毛主席着作”的罪名。那是在他整理毛泽东的一份谈话记录时，删去了几句关于《海瑞罢官》的话：“《海瑞罢官》的要言是‘罢官’。嘉靖皇帝罢了海瑞的官，1959年我们罢了彭德怀的官，彭德怀也是‘海瑞’。”这下子，深深激怒了江青。
就这样，在“文革”大幕刚刚拉开之际，毛泽东的三位秘书的命运便泾渭分明了：
正直刚烈的田家英死了；
书生意气的胡乔木靠边了；
善于投机的陈伯达高升了。
当然，康生找胡乔木谈话时，还算是“客客气气”的，胡乔木毕竟还是中共中央书记处候补书记。而田家英呢，他是被“停职反省”，限时限刻搬出中南海。
据云，当时为了毛泽东的安全，着手“清理中南海”。要胡乔木迁出中南海是江青的主意，但是她不便跟胡乔木谈，由康生出面。
于是，胡乔木由中共中央机关事务管理局的干部陪同，在中南海之外找房子。胡乔木看了十馀处房子，选中了天安门广场附近一幢房子——那里原是某国驻华大使馆。他喜欢那房子有很大的书库，可以安顿他数万册藏书。
就这样，怀着深深的失落感，胡乔木离开了中南海……本来就沉默寡言的他，这时话更少了。