1966年4月10日，以中共中央文件名义印发了《林彪同志委托江青同志召开的部队文艺工作座谈会纪要》。“文革”紧锣密鼓声，震撼着华夏大地。
这时，胡乔木在杭州疗养。毛泽东也正在杭州：1966年4月16日至26日，毛泽东在杭州召开中共中央政治局常委扩大会议，为发动“文革”作准备。
也就在这时，一班“笔杆子”聚集在上海锦江饭店后楼，忙于起草《五·一六通知》。
起草小组名义上由陈伯达、康生、江青主持。由于陈、康要在杭州出席政治局常委扩大，起草工作实际上由江青主持。“秀才”张春桥、吴冷西、王力、关锋、戚本禹、尹达、穆欣、陈亚丁等为起草小组成员——再也没有胡乔木的份。
最为忙碌的要算江青的心腹张春桥了。《通知》每改一稿，张春桥便派人直送杭州毛泽东。毛泽东作了修改，又派人直送上海张春桥。随着《五·一六通知》的下达，“文革”正式揭幕了，中国大地掀起了大字报狂潮。
毛泽东仍在杭州，遥控着北京的“运动”。就在毛泽东如此忙碌的时刻，胡乔木求见毛泽东。因为胡乔木已经接到通知，要他回北京，参加“运动”。他预感着不祥。知道毛泽东也在杭州，希望见一次，谈谈心里话。
往昔，作为毛泽东的政治秘书，胡乔木见毛泽东是很容易的。只消打个电话，写张条子，就能见到。如今不比往昔。胡乔木求见，不知什么原因，迟迟未见答覆。
不予答覆，也许意味着毛泽东不见他了。于是，胡乔木打点行装，与夫人谷羽以及秘书、警卫坐一辆小轿车，怅然离开杭州，前往上海，计划由上海回北京。
轿车刚刚抵达上海，忽地从杭州打来电话，说是毛泽东要接见胡乔木。
急匆匆，轿车掉头，又从上海重返杭州。
急匆匆地回去，急匆匆地见面，见面时胡乔木思路全乱了，原本要向毛泽东诉说的一些话，都没有说出来。
毛泽东对他说的话，也很简单：“你回到北京，少说话，多看看，多了解情况。”
就这样，简短地见了一面，毛泽东就去忙别的事情去了。
胡乔木万万没有想到，这竟然是他跟毛泽东的最后一次谈话！
此后，当毛泽东回到北京，虽然胡乔木曾希望求见毛泽东，却被江青挡驾了。
作为毛泽东多年的政治秘书，胡乔木毕竟对毛泽东充满感情。虽说他这一生不知跟毛泽东见过多少次，但这最后一次谈话实在令人太遗憾了。此后，他多次跟家里人说起：“我最后那次见主席，怎么会把要讲的话都忘了讲呢！”
这遗憾，永远不可弥补。
自从这一次与毛泽东诀别之后，他的毛泽东的政治秘书一职也就画上了句号——虽说自从他1961年8月向毛泽东请长期病假以来，政治秘书一职已名存实亡。通常，总是说他担任毛泽东秘书二十五年，即从1941年2月至1966年6月。实际上是二十年，即从1941年2月至1961年8月。