对于胡乔木来说，一生中最重大的事件是成为毛泽东的秘书。从此，毛泽东深刻地影响了他。胡乔木后来成为“中共中央一支笔”，也正因为他长期工作在毛泽东身边……
笔者请谷羽回忆，胡乔木是怎样来到毛泽东身边的？谷羽指着坐在一侧的女儿木英说道：
“木英是1941年1月23日出生的。我记得，在生下木英后半个多月，也就是2月上旬吧。那时，我们住在延安大砭沟的窑洞里，泽东青年干部学校就在大砭沟，中共中央宣传部、中共中央组织部也在那里。乔木当时已调到中共中央宣传部工作。忽然，王若飞来窑洞看乔木，我也在场，所以知道他们谈话的内容……”
王若飞，当时的中共中央秘书长。王若飞对胡乔木郑重其事地说道：“毛主席那里需要人，决定调你到他那里做秘书工作。”
毛泽东自1931年11月7日在瑞金担任中华苏维埃共和国主度（即中央执行委员会主席）以来，人们对他的习惯称呼便是“毛主席”。尽管他后来的职务不断变化着，“毛主席”的称沿用下来。在1937年8月洛川会议上，毛泽东又担任中共中央军委主席（最初叫书记）。
王若飞的话，完全出乎胡乔木的意料。他怎么也不会想到，毛泽东会调他当秘书。
胡乔木思索了一下，说出了心中的顾虑：“给毛主席当秘书，我怕当不好。我从来没有过秘书工作。”
王若飞为了打消胡乔木的顾虑，说出了毛泽东“点将”的来历：
“你发表在《中国青年》杂志上纪念五四运动二十周年的文章，陈伯达看了，很欣赏。他推荐给毛主席看了，毛主席说，‘乔木是个人才’。所以，毛主席很早就注意你。最近，毛主席那里人手不够，他点名调你去当秘书，你同时也是中共中央政治局秘书。”
那时，陈伯达担任的秘书，他跟胡乔木并不认识。
既然是毛泽东点名要调胡乔木去当秘书，胡乔木只得从命了。
胡乔木从大砭沟前往延安的“中南海”——杨家岭，当年中共中央首脑人物聚居的地方。杨家岭位于延安城西北约三公里，是个小山村。据说明朝太保杨兆的墓在此，故原名“杨家陵”。1938年11月20日，日本飞机首次轰炸延安城，中共中央机关当夜便从城内凤凰山麓迁入这个小山村，从此改名“杨家岭”。
毛泽东住在小山坡的三眼窑洞里，左侧是刘少奇的窑洞，右侧是朱德、周恩来的窑洞。
胡乔木从来没有做过秘书工作。新来乍到，被任命为文化秘书（后来成为政治秘书）的他，一时竟不知做些什么。毛泽东跟他谈过一次话——那时他平生头一回跟毛泽东谈话。四十八岁的毛泽东，只是问了问这位二十九岁的年轻人的大致经历，便忙于工作了。胡乔木无从插手，只得在自己的办公室里盻坐。他不敢直接去问毛泽东该做些什么。
如此这般，胡乔木心里十分不安。他终于鼓足勇气，走向毛泽东的窑洞。本来，他想去问毛泽东该做什么工作，一进去见毛泽东正埋头校对文件清样，就说道：“让我来校对吧！”
毛泽东笑道：“好呀！”
于是，胡乔木从毛泽东手中接过清样，拿到自己办公室里校对。这是他头一回学会做秘书工作。
胡乔木所校对的，是《六大以来重要文件汇编》清样。《六大以来重要文件汇编》是中共中央书记处编印的一本“大部头”文献集，由毛泽东亲自主持编选工作。此书于1941年12月在延安正式出版，收入1928年6月中共“六大”以来至1941年11月的党内文件五百五十七篇，分上、下集出版。此书是供中共高级干部整风学习用的，借以弄清中共“六大”以来的党内路线斗争问题。这“大部头”在正式出书之前，先是把文件印成活叶文选分发。胡乔木当时所校对的，正是文件活叶文选的清样。
胡乔木做过编辑，又有文字功底，所以经他校对的清样，不仅没有错别字，而且更正了一些文件最初误印的地方。毛泽东对这位年轻人的工作十分满意。
校对《六大以来重要文件汇编》那五百多篇文件，使胡乔木第一次系统地了解了中共“六大”以来党内高层斗争的内幕，第一次系统地读了毛泽东的许多着作，因此，协助毛泽东编《六大以来重要文件汇编》，是他在毛泽东身边所上的“第一课”。
后来，胡乔木回忆说：
“当时没有人提出过四中全会后的中央存在着一条‘左’倾路线。现在把这些文件编出来，说那时中央一些领导人存在主观主义、教条主义就有了可靠的根据。有的人就哑口无言了。毛主席怎么同‘左’倾路线斗争，两种领导前后一对比，就清楚看到毛主席确实代表了正确路线，从而更加确定了他在党内的领导地位。”
“编辑《六大以来》就是为了解决政治路线问题”，“《六大以来》成了党整风的基本武器”。