“三一八惨案”后，国民军面对直奉联军的攻势已无抵御之力。冯玉祥感到除与旧日的上司兼好友吴佩孚重归于好外，别无出路，于是决定趁着执政府因“暴力枪杀良民”而落入窘境，在京城上演一出捉段放曹（曹锟）的武戏，以便讨好吴佩孚。
1926年4月9日夜，鹿钟麟率警备司令部的大队人马包围了吉兆胡同。幸好已经自行脱险的曾毓隽事先得到消息，派人通知了段祺瑞。由于大街上已经戒严、盘查，段祺瑞便由卫队长护送，暂时到同住于一条胡同的老同学家里躲避。
鹿钟麟本来想指挥人马冲进段公馆，活捉段祺瑞，后来发现胡同口有机枪连布防，只得暂时停止前进，双方对峙达三小时之久。对峙期间，北京城里满街都是士兵，气氛十分紧张。
为了防止国民军突破火力布防，强行闯入段公馆，或者在附近进行搜查，曾毓隽灵机一动，特地通过报社连夜发出号外，称段祺瑞已进入东交民巷。鹿钟麟看到号外后，信以为真，只得撤兵回府。
鹿钟麟一返回司令部，即以北京警备司令的名义释放了一直被他们幽禁的曹锟。天亮后，他与其他国民军将领一道发出联名通电，在逐条列举段祺瑞罪状的同时，宣布“保护总统（指曹锟）恢复自由”。联名电还大拍吴佩孚的马屁，说吴为“命世之才，抱救国之志”，国民军“此后动定进止，唯吴玉帅（吴佩孚）马首是瞻”。
怕吴佩孚仍弄不清他们的真意，国民军方面又让重新获得自由的曹锟给吴佩孚发电报，望其与国民军合作对付奉系。未料吴佩孚不但一口拒绝，而且要求国民军全部缴械接受改编，他在给鹿钟麟的电报中甚至称“恨不能食汝之肉，寝汝之皮”。至此，冯玉祥才算完全绝望。4月15日，国民军退出北京城，扼守南口。
段祺瑞虽得以复职，但其政治能量已丧失殆尽。张学良代表奉系，明确表示对维持段祺瑞政权没有信心，只能保护段祺瑞安全离开北京。4月20日上午，段祺瑞在外交总长胡惟德不知情的情况下，特任其兼署国务总理，摄行临时执政职权。当天下午，他乘坐张学良调派的一列专车，离开北京，前往天津。
这是段祺瑞第三次到天津过寓公生活。他在天津没有房产，以前都是住段芝贵或吴光新的宅邸，这次来津，开始是在日租界的寿街租了一间房子，但有一次他无意中将自己的姓“段”和寿街的“寿”联系了起来，觉得不太吉利。吴光新听说后，便劝他搬到自己位于日租界宫岛街的寓所。
吴光新的这座寓所建于1916年，外形奇特宏大，施工质量很高，可与日租界清逊帝溥仪所居住的张园相媲美。缺点是此处离日本天津驻屯军司令部比较近，经常有日本军政官员来访，段祺瑞不胜其烦，只好经常托病不见。
得知段祺瑞想找一个清净的住所，老部下魏宗瀚就把他接到了日租界须磨街自己的寓所。
下野后的段祺瑞自称“正道居士”，每天吃斋礼佛，十分虔诚，但他的须磨街住宅却并不显得门庭冷落——他的那些部下幕僚，如曾毓隽、章士钊等人全都不离不弃，一路从北京跟随到天津，而其他各路的说客和谋士也经常前来登门“劝道”。
在这种情况下，就算老段真的像他表面宣布的那样只谈佛经不问政治，“政治”也会时不时地来光顾和过问他。问题是，此时的国内政局已经发生重大变化，他再也不可能成为政坛上的中心人物了。
甚至连段祺瑞本人都不会想到，他实际担负着最后一次挽救和整合北洋系的使命。在段祺瑞黯然下野和段记执政府“杯碎”之后，北洋各派继续相互削弱，使得整个北洋系以加速度奔向自己的末路。
段祺瑞对于北洋系乃至于整个近代中国的重要意义，吴佩孚是在很久以后才领悟到的。那时候，他也成了被政坛抛弃的落魄寓公，而段祺瑞刚刚去世。
吴佩孚特请人代表他到段宅吊唁，并亲撰挽联。他告诉别人：“我对合肥（指段祺瑞）之丧，一度任秘书，一度任帖写（指挽联等均系吴本人自作自写），此为有生以来第一次，唯对段夫子一人而已。”
吴佩孚所写挽联的联文很长，道尽了他历经波折沧桑之后的感悟：“天下无公，未知有几人称帝，几人称王，奠国著奇功，大好河山归再造；时局至此，皆误在今日不知，明日不战，忧民成痼疾，中流砥柱失元勋”。
吴佩孚送的祭幛为“木坏山颓”。大匾上款为“芝泉夫子”，下款为“受业吴佩孚敬献”，四个大字乃“还我河山”。
那一刻，这位曾经书生意气并无比叛逆的秀才将军，成了最懂段祺瑞的人。