除了重视中共党史的研究之外，胡乔木还首先提出了应该重视研究中华人民共和国国史的问题。
顾为铭在《当代中国史研究》上发表《中华人民共和国史研究的发端》一文指出，1978年1月11日，时任中国社会科学院院长的胡乔木，在该院召开的制定科研计划和规划的动员会上说：“现代历史，我们已经有了鸦片战争以后的，民国以后的，以至五四以来的历史研究，但是，中华人民共和国成立以后的历史，现在还没有着手认真地进行研究，要赶快着手研究。”这是第一次郑重提出中华人民共和国史的研究问题。
在动员会后，胡乔木就确定研究选题和新建研究所两个方面提出建议，都把中华人民共和国史研究列入。
其一，胡乔木提出要搞100个马克思主义基本着作的选题。他在1977年12月中央宣传部召开的社会科学界知名人士座谈会上提出：“如果我们有一百本涉及中国、外国的现在和将来的着作，我们党内的思想水平就可以大大提高，彻底肃清‘四人帮’的流毒。”会后，他一直思考这个问题，并于1978年初经同邓力群、于光远两位副院长商量，正式提出《马克思主义基本着作选题一百例》，在《中国社会科学院简报》1978年第一期刊出，并报送中宣部。中宣部也在《宣传动态》1978年第一期上以《胡乔木等同志建议组织力量下决心编写一百本马克思主义着作》为题刊载。《中华人民共和国史》也是这100个选题中的一个。
其二，胡乔木在1978年2月21日亲自写了一份《八年内拟新建的研究所（草案）》，要邓力群和院党组讨论修改后报中央。按胡乔木的规划，要新设五六十个研究所，其中第五个就是“中华人民共和国史研究所”。3月28日，邓小平找胡乔木、邓力群谈话。胡乔木谈到增设研究所的计划时，邓小平即表示“赞成”。邓小平说：什么事情总得有个庙，有了庙，立了菩萨，事情就可以办了。而且有些事情要赶快立庙，有些有专业知识的人年纪已经大了，如不赶快立庙，过几年立起庙，菩萨也请不到了。邓小平叮嘱胡乔木、邓力群“要赶快做”。
限于当时各方面的条件，中华人民共和国史研究所并没有很快创办起来。但胡乔木已经请黎澍带领几位学者着手编写中华人民共和国史的准备工作。
顾为铭在《中华人民共和国史研究的发端》一文中指出，1981年6月，中共十一届六中全会通过《关于建国以来党的若干历史问题的决议》以后，系统地总结新中国成立以来的历史经验的条件已经成熟。1982年5月，胡乔木在青年社会科学工作者座谈会上倡议，要对新中国成立以来各条战线的历史经验作出有科学价值的总结，编写若干专着。他指出，这不仅是为中国现代史的研究积累资料，而且可以从中找出规律性的东西来，用以指导我们的工作。为落实这一倡议，中国社会科学院及其所属的中国社会科学出版社提出方案，准备编写出版一套多卷本的、定名为《当代中国》的大型丛书。中央宣传部部务会议决定积极贯彻执行胡乔木的这项指示，立即着手组织落实，于11月9日向中央作了报告。当月，中央书记处讨论通过了中宣部关于编写出版《当代中国》丛书的报告，并指示中宣部转发。丛书编辑部负责人在答新华社记者问中指出：“编辑出版这部丛书的目的，是要科学地总结我国社会主义革命和建设的历史经验，并以无可辩驳的事实材料，展示新中国建立以来所取得的伟大成就和社会主义制度的优越性。”其意义之一是：“它将为以后进一步修中华人民共和国史做好准备。”
此后，《当代中国》丛书的编写工作即全面启动，由中宣部、中国社会科学院、新闻出版署和当代中国研究所等部门组织实施。
顾为铭指出，1989年，胡乔木听取李政道的意见，向中央建议设立一个专门机构，左史记言，右史记事，有突发事件时代表官方发表“白皮书”，说明事实真相，以正视听。
同年11月11日，胡乔木找中共中央党史研究室、中共中央文献研究室、中国社会科学院等单位负责同志胡绳等谈话，把组织编写中华人民共和国历史提上日程。胡乔木说：“中华人民共和国成立40多年了。我们应当对共和国的历史进行研究，编写共和国的历史。这个问题，我说了一年多了。我准备找力群同志说这件事情。要就这个问题向中央、国务院写出报告。我想，中央会赞成的。”还提出：“想先搞一个中华人民共和国编年史。”胡乔木谈了搞编年史的设想，“计划选编到1989年”，对历史分段、人力组织、工作计划、机构设置等都提出了意见。11月25日，在上海休息的胡乔木写信给邓力群催办此事。信中说：“对当代中国研究所的确实开张营业的时间，以及能立即专门着手调查研究整理资料部署工作的专职人员的调集就位，希望能早日决定了。而且还需要向中央、国务院正式报告请示。”
1990年，这项工作具体实施。4月，邓力群约请胡绳、郁文、曲维镇开会，一致同意筹建研究、编写中华人民共和国历史的机构—当代中国研究所。6月2日，邓力群给李鹏同志送呈关于筹建当代中国研究所所需编制问题的报告，得到原则同意。
6月14日，由胡乔木起草，杨尚昆、胡乔木、薄一波联名向中共中央常委打报告，正式提出：“我们建议成立当代中国研究所，行政上和日常工作由社会科学院代管，由邓力群同志代表中央党史领导小组负责组建和指导。”并说：“我国建国已四十余年，建国以来的历史已占党的历史的大部分，而至今对于建国以来国家和党的历史的研究工作都极为薄弱。亟需有计划、有组织、有领导地予以加强。”
中央常委很快批准了这个报告，当代中国研究所正式成立，中华人民共和国史研究从此有了正式的专门机构。在中央党史领导小组和邓力群指导下，中华人民共和国史这门新学科从此进入了一个创立并逐步发展的新阶段。而胡乔木，是中华人民共和国史这门新学科的当之无愧的开创者。
另外，《中国大百科全书》也是由胡乔木提出建议而编撰、出版的。
《中国大百科全书》总共七十三卷（外加索引一卷），是我国第一部包罗古今中外知识，同时突出中国内容的现代综合性百科全书。《中国大百科全书》共收7。8万个条目，1。31亿字，并附有5万幅图片，参加编撰的专家学者共20672人，册叶浩瀚、内容宏富，覆盖哲学、社会科学、文学艺术、文化教育、自然科学和工程技术等66个学科或知识领域。。
胡乔木担任了《中国大百科全书》总编委会主任。
顺便提一下，对于，《鲁迅全集》的注释、出版工作，胡乔木也出了大力。
1977年12月20日，胡乔木与《鲁迅全集》领导小组组长林默涵等谈话时，就《鲁迅全集》注释工作发表了自己的意见。胡乔木指出：
一，对有关三十年代文艺运动的几个问题：两个口号论争，关于“四条汉子”以及创造社、太阳社与鲁迅关于革命文学的论争，要乘当时有关的人如郭老、茅盾、夏衍、周扬等健在，把有关事实查对清楚，赶快写出一个注释稿子来。
二，文中或书中提到的人和事，有些与事实不符或传闻失实的，要查对清楚，加以说明。对一些人物（如顾颉刚、冯雪峰等）如何注释，要筛选一下，有些要报中央。
三，对为什么不作“题解”的问题，做了解释。他说：因为对一个作家的作品，本来可以有不同的探讨和解释，比如对于莎士比亚的剧本，在研究者的着作中，就有种种不同的解释。而“题解”写在原着上，则变成了法定的解释。“注释”解释名词、用语，是客观的，作者本人无须对它负责。“题解”解释命意，就变成强加于作者了。
《鲁迅全集》涉及中国文艺界诸多人物与事件，错综复杂。由胡乔木主持《鲁迅全集》注释工作，可谓最佳人选。茅盾在致周而复的信中，非常赞赏由胡乔木主持《鲁迅全集》的注释工作：
“盖注释中争议也不少，非乔木同志主此事而默涵等实际负责，将不能妥善解决也。年来以鲁迅为招牌，摘取片言只语，对某某事件作夸大解释者，实在不少。此亦‘四人帮’形而上学影响之一事也，非有霹雳手不易摧枯拉朽也。”