五四运动爆发后，蔡元培宣布辞职，当时社会各界发起挽蔡运动，蔡终继续留任，但因时患胃病，便让自己昔日的学生、同乡蒋梦麟作为自己的个人代表，到北大主持校务。蒋梦麟能成为蔡元培的代理人，除汤尔和竭力推荐外，还有如下原因：一、蔡、蒋私人关系密切，蒋为蔡的学生和同乡；二、蒋梦麟时与北大多位教授在上海办《新教育》月刊，而《新教育》的方针是蔡元培在南京临时政府教育总长任内提出来的；三、国民党总理孙中山对蒋梦麟颇为欣赏。
蒋梦麟到北大后，行事极为低调，他首先向教育部和北大教授们说明，自己只是蔡元培的个人代表，是代蔡元培捺捺印子的。蒋的这种低姿态使得北大各方面的力量都颇为满意。法政大学教务长邵裴子称赞蒋梦麟“不独外得众心，而内部亦消灭许多反侧，其发挥力诚足使人起敬也”。
到北大二十日后，蒋梦麟在给张东荪的信中说：“我21日到北京以来，吃了不少的苦，好像以一个人投在蛛网里面，动一动就有蛛子从那屋角里跳出来咬你。唉！若无破釜沉舟的决心，早被吓退了。人人说市中有虎，我说我任凭虎吞了我就罢了；没有吞我以前，我不妨做些做人应该做的事。我记得王守仁有句话：‘东家老翁防虎患，虎夜入室衔其头；西家儿童不识虎，执策驱虎如驱牛。’……我本了这个精神，向前奋斗，过了半月，诸事已有端倪。……你若来看一看，必以为大学这回并没有经过什么风潮……”
蒋梦麟认为学校应该是在山林花草鸟鸣虫嘶的天然环境内，他曾请教育部长傅增湘在北京西山为北大多觅些地，以备将来把北大迁到西山去。他还跟清室商量，希望清室能把圆明园送给北大。他对张东荪说：“这园有四里阔，六里长，有山有泉，是最好的地方。”
蔡元培返校后，在蒋梦麟的协助下，对北大进行体制改革。经蒋建议，北大设立教务、总务两处。总务处是北大的行政中枢，处理学校的行政事务，由蒋自己任总务长；教务处负责教务，由顾孟余担任教务长。校中最高立法机构是评议会，制订各项规程，授予学位，并维持学生风纪。从此，北大走上教授治校的道路。
除北大总务长外，蒋梦麟还兼任文牍、会计部主任、预算委员会会员、聘任委员会委员、学生自治委员会委员等职务。总务委员会实际上成为北京大学最高行政机关，负责管理全校事务，举凡注册、编制、文牍、咨询、介绍、图书、仪器、出版、校舍、斋务、杂务、会计、卫生等，都是总务长所必须负责管理的事情。
1922年，蔡元培赴欧美各国考察，蒋梦麟再度代理北大校长。蒋接到孙中山来信，对北大的各种运动大加奖誉，最后勉励蒋“率领三千子弟，参加革命”。
1923年，蔡元培因罗文干案再度辞职离校，后赴欧洲考察。蒋梦麟援引北大教授连续任教五年可享受出国休假待遇的规定，让北京政府保留了蔡校长一职，蒋第三次代理北大校长，一直到1926年蒋因躲避奉系军阀通缉而逃离北京。之后，北大评议会致函蔡元培，对三年来蒋梦麟主持北大的工作予以充分肯定：“平心而论，本校学生之程度，本校学生之爱纪律，本校图书仪器之设备，在近三数年间，实际上固俱有显著的进步。”
1930年，蒋梦麟正式出任北大校长，直至抗战胜利，成为北大历史上掌校时间最长的一位校长。蒋梦麟自述：“从民国19年到民国26年的七年间，我一直把握着北大之舵……一度曾是革命活动和学生运动漩涡的北大，已经逐渐变为学术中心了。”
上任之初，蒋梦麟对文、法、理三学院的院长说：“辞退旧人，我去做；选聘新人，你们去做。”在这段时间，一批旧教授离开了北大，如著名史学家朱希祖于1932年辞职；1934年，国文系教授林损、许之衡被解聘。
早在1920年，蒋梦麟就拟为北大学生盖一所宿舍。到1934年，在蒋梦麟的努力下，北大终于在松公府东院北面兴建了一幢学生宿舍，每室8平方米，附壁室2平方米，每室住1人。北大学生朱文长回忆：“蒋梦麟校长为新宿舍费了不少的心血。而这楼完成之后，北大宿舍乃压倒了燕大清华。这是四层楼立体式的钢骨水泥建筑，在一院空场的最北头，远远看来像一座兵营，里面的格局也很特别，里面每层七八间形式各别、妙处不同的房，十分适合北大爱好个别发展的胃口。更妙的是一人一屋，偿了几十年来北大同学求隔离的宿愿。每间屋附着一小间放箱子挂衣服的暗室。热水汀、弹簧锁，配合而调和的特制家具，摩登舒适，使你完全忘了这是老北大。”
蒋梦麟注重加强理科的教学和建设。他对理科教师的队伍进行了全面大整顿与充实，聘请了一批全国一流的科学家来校执教，如皮革专家刘树杞，地质学家丁文江、李四光，光学家饶毓泰，植物学家张景钺，古生物学家孙元铸，有机化学家曾昭抡，拓扑学家江泽涵等。当时，北大所聘研究教授中以理学院最多，大约是文学院的2倍、法学院的4倍。蒋梦麟还努力充实理科各系仪器设备。经过几年努力，北大地质系、物理系、化学系、生物系、心理系等办学条件大为改善。据统计，到1935年，北京大学实验设备的价值已达50余万元，计有仪器6200余件，标本167000余件，药品及实习用具3100件，名列全国各高校之冠。
蒋梦麟协助掌校期间还落实“选科制”改革，即允许学生在规定范围内自由选择，修够学分即可毕业，不拘年限。到西南联大之时，“选科制”已经十分完善。1939年考入西南联大的何兆武回忆说，他在联大七年一共读过四个院系，一年级读工学院，后来觉得不是自己的兴趣，就转到历史系，然后考了哲学系的研究生，因病休学耽搁功课后重考，觉得自己学哲学不太合适，又改行学外语。“转系很容易，写申请书，系主任同意就可以。”西南联大学生转系十分普遍，诺贝尔奖得主、物理学家杨振宁，进联大时报考的是化学系，后来改读物理。
在蒋梦麟治下，北大呈现“五公开”的自由局面：一是课堂公开，不管有没有学籍，都随便听课。二是图书馆公开，可以随便进出。三是浴室公开，莲蓬头一天到晚开着，什么人都可以去洗。四是运动场地公开，操场上外校学生有时比本校的还多。五是食堂公开。
蒋梦麟认为：“师资不尊，不足以言重学术；待遇不丰，不足以言志；故崇教授之座位，而厚其俸给，二要也。”故蒋执掌北大时代，北大教授受校方礼遇极高。钱穆回忆：“在北大任教，有与燕京一特异之点。各学系有一休息室，系主任即在此办公。一助教常驻室中。系中各教师，上堂前后，得在此休息。初到，即有一校役捧上热毛巾擦脸，又泡热茶一杯。上堂时，有人持粉笔盒送上讲堂。退课后，热毛巾热茶依旧，使人有中国传统导师之感。”
晚年，蒋梦麟在《新潮》一书中深情地回忆道：“著者大半光阴，在北京大学度过，在职之年，但知谨守蔡校长余绪，把学术自由的风气，维持不堕。”
1945年6月，在美国考察教育的蒋梦麟，受甫担任行政院长的宋子文之邀，出任行政院秘书长。6月底，北大教授会讨论此事，会议上郑天挺等教授主张根据《大学组织法》中大学校长不得兼职的规定，认为蒋梦麟既从政就不能兼任大学校长，应辞职。
8月7日，蒋梦麟回到昆明，召集教师茶会，坦诚地说，他欲兼任北大校长却违反了自己手订的大学组织法，最初未想及此点，经朋友们的提示和劝告，决计辞去校长职务。据与会之人回忆：“他讲话的态度极好，得着大家的同情。”9月，教育部决定胡适为北大校长。自此，蒋梦麟离开北大。
1950年，在台湾举行的北大52周年纪念会上，傅斯年在演讲中说：“孟邻先生学问上比不上孑民（蔡元培）先生，办事却比蔡先生高明。我的学问比不上适之先生，但办事却比胡先生高明。这两位先生的办事，真不敢恭维。”蒋梦麟听后笑言：“孟真，你这话对极了，所以他们两位是北大的功臣，我们两个人不过是北大的功狗。”