蒋梦麟在日本一个月，对日本印象非常好：“整个国家像个大花园，人民衣饰整饬，城市清洁。他们内心或许很骄傲，对生客却很有礼貌。”他认为：“强迫教育使（日本）国民的一般水准远较中国为高，这或许就是日本成为世界强国的秘密所在。”这也成为日后蒋梦麟决定投身教育，期许教育改变中国命运的原因之一。
到美国留学，蒋梦麟怀抱着改良农业以救国人的志向，进入加州大学农学系就读。一天清早，蒋正准备到农场看挤牛奶的情形，路上碰到一群蹦跳雀跃的小孩子去上学。他忽然想：“我在这里研究如何培育动物和植物，为什么不研究研究如何培育人材呢？”于是，他也不去农场了，一直跑上伯克利的山头，坐在一棵古橡树下，凝望着旭日照耀下的旧金山和金门港口的美景，脑子里思潮起伏，细数着中国历代兴衰的前因后果。忽然之间，他眼前恍惚有一群天真烂漫的小孩，像凌波仙子一样从海湾的波涛中涌出，要求他提供给他们读书的学校，于是他毅然决定转到社会科学学院，选教育为主科。后蒋梦麟又到哥伦比亚大学攻读教育学博士，师从美国著名实用主义哲学家、教育学家杜威。
留学归国后，蒋梦麟与几位朋友在北京大学和江苏省教育会赞助下开始发行《新教育》月刊，由蒋任主编。杂志创办后六个销售量达到一万份。它的主要目标是“养成健全之个人，创造进化的社会”。
蒋梦麟少年时曾参加学潮，但日后却并不主张学生运动。五四运动后，蒋梦麟告诫学生：“吾人若真要救国，先要谋文化之增进。……深望诸君，本自治之能力，研究学术，发挥一切，以期增高文化。又须养成强健之体魄，团结之精神，以备将来改良社会，创造文化，以负各种重大责任。”
五四运动后，学生日益激进，胡适和蒋梦麟乃联名发表《我们对于学生的希望》。文中写道：“荒唐的中年、老年人闹下了乱子，却要未成年的学子抛弃学业，荒废光阴，来干涉纠正，这是天下最不经济的事！”
北大学生林德扬自杀，罗家伦写文章《是青年自杀还是社会杀青年？》高谈社会丑陋，没有教会年轻人如何寻找到更多活下去的理由。蒋梦麟随即在报刊上着文严词反驳，强调社会本来就不能自己改良，必须要个人去改良它。而自杀是示其弱，不道德，不是为奋斗，是“一个大罪恶”。他疾呼，生命只有一个，要常保乐观才好，要求青年在面对社会险恶的环境时，不能选择自杀逃避，应该积极地“奋斗到极点还要奋斗”。
蒋梦麟说：“我在大学中搞了几十年，经过许多风潮，发现了一个规律：一个大学中有三派势力，一派是校长，一派是教授，一派是学生，在这三派势力中，如果有两派联合起来反对第三派，第三派必然要失败。”
蒋梦麟自幼痛恨旧式教育，但后来他却对旧式教育怀有感激之情。他说，如果不是“吃得苦中苦，方为人上人”，“万般皆下品，唯有读书高”等名言警句的激励，他早就跑到上海经商去了。因此，他认为：“理想、希望和意志可以说是决定一生荣枯的最重要因素。教育如果不能启发一个人的理想、希望和意志，单单强调学生的兴趣，那是舍本逐末的办法。只有以启发理想为主，培养兴趣为辅时，兴趣才能成为教育上的一个重要因素。”
1928年，蒋梦麟出任南京教育部长。当时，贩卖文凭的“野鸡大学”充斥各大都市。蒋梦麟出于高等教育的素质问题的考虑，严格限制私立大学的存在，制定并颁布了《大学组织法》，规定大学分文、理、法、教育、农、工、商、医八大学院，凡具备三个以上学院者，始得称大学，否则为独立学院。对于那些无良的私立大学，蒋梦麟也以铁腕手段加以整顿，或取缔，或警告。
蒋梦麟还颁布教育部令，进行了一系列的教育改革：规定学校一律用国语进行授课；禁止小学用文言文课本；小学须教授英语或其他外语；被派遣的公费留学生，必须通过派遣国的外语考试；对教会学校进行严密查察，不符合条件即取缔；大学不再招收预科学生，有需要则设立附属高级中学；大学各附属高中毕业生不得无实验直接升入各本大学肄业。
1929年，在教育部长蒋梦麟的建议下，中华教育文化基金会（蔡元培任董事长，蒋梦麟任副董事长）通过决议，将北平图书馆与北平北海图书馆合组，成立“国立北平图书馆”，即中国国家图书馆的前身。
1930年，中央大学校长张乃燕（国民党元老张静江之侄）因学生闹学潮，直接写信给蒋介石，提出辞职，且不等教育部批准即离开南京。蒋梦麟极为恼火，接受记者采访时，处处维护中央大学学生，对蒋介石颇有微词，称他这个教育部长也是从报纸上才得知张乃燕辞职的消息，并说中央大学位居所有国立大学的首位，校长的去留关系重大，“绝非一二人所能决定”。
因中央大学校长张乃燕辞职，及取缔私立劳动大学之事，蒋梦麟得罪了国民党元老李石曾、吴稚晖、张静江，被迫辞职。蒋辞职的前夜，吴稚晖到教育部，双目炯炯有光，质问中央、劳动两校之事，并为两校讼冤。在吴看来，部长是当朝大臣，应该多管国家大事，少管学校小事。最后，吴一指蒋梦麟，厉声说道：“你真是无大臣之风。”蒋恭恭敬敬地站起来回答说：“先生坐，何至于是，我知罪矣。”第二天蒋即辞职。刘半农听闻此事，赠蒋图章一方，文曰：“无大臣之风。”