1928年秋，蒋介石第一次到北平（即北京）。当时段祺瑞的侄子段宏纲居住在北平，且与蒋介石的幕僚吴忠信认识。经吴忠信介绍和陪同，蒋介石与段宏纲相约在北京饭店见了面。
一见面，蒋介石就对段宏纲说：“我亦保定陆军学堂学生，段先生是我的老师。”接着便询问了段祺瑞的起居生活情况。
随后，蒋介石对吴忠信说：“我因公务繁忙，不能前往天津看望段先生，请你代表我去。”当天下午，在段宏纲的陪同下，吴忠信到津谒见段祺瑞。
返回北平后，吴忠信向蒋介石进行了报告。得知段家生活确很困难，蒋介石马上让人给段祺瑞送去两万元。在以后的三四年内，他还向段祺瑞赠送过几万元生活费，段家的生活问题遂得到了解决。
蒋介石此举，既是念及往日的师生情，同时也有加强政治联络的考虑。因为此时蒋介石和国民党在北方的政治力量还比较薄弱，亟须借助段祺瑞在北洋的声望来巩固自己的权力地位。
惦记着段祺瑞的，不光有他的学生，还有蠢蠢欲动的日本人。1931年，日本通过九一八事变侵占东北。慑于国际舆论，他们不敢明目张胆地直接对东北进行统治，于是就想在中国的政治舞台上寻找到适当的人选做傀儡。
日本老牌特务土肥原为此在天津积极活动，准备在溥仪和段祺瑞二人中择其一出关组织政府。段祺瑞能够进入土肥原的视线，当然是因为他在北方的影响力以及过去执政时“亲日”的历史，但段祺瑞“亲日”有个前提，那就是得从中国的国家利益出发，与之相悖的事他是坚决不愿做的。
在接受天津《大公报》的记者采访时，段祺瑞说：“盗已入室，但亦未必即据为己有，只有给他些东西，让我们自己收回来再说。”他要表达的意思很明白，即他可以在东北另外成立一个与南京政府对立的政府，也可以答应日本的一些要求，但绝不同意把东北从中国分裂出去。
段祺瑞的态度让土肥原深感这老头不好糊弄，即便到了关外，也未必肯俯首听命，到那时弄巧成拙，反而对日本不利。这样他只好把溥仪拉到大连，并于1932年3月成立了伪满洲国。
1933年年初，日军先攻榆关，再攻热河。东北军不战而溃，战火烧向长城一线。日本外务省次官吉田茂奉日本政界元老西园寺之命，来天津找到曹汝霖，要他请段祺瑞出面，与西园寺一道，以中日在野元老的身份共同“调停”斡旋，商定中日两军“就地停战”。
在曹汝霖的陪同下，吉田茂拜见了段祺瑞。得知对方来意，段祺瑞当即明确答复，“调停”可以，但撇开东三省，“调停”就无从谈起。“我们在野之人出来调停，说话要有根据，当局若问到东三省，将如何答复？我看单从就地停战作为调停，恐怕没有这样简单。”
他认为：“现在中国军队气焰之高，不下于关东军。若说停战，应由日本先停，因为这次是日本先开战的。”
这样的要求显然不可能为日方所接受。吉田茂见话不投机，很难再谈下去，只得起身告辞。
送走吉田茂，曹汝霖忍不住抱怨道：“芝老，人家是真心希望和平的呀！况且当初支持你又不遗余力。”
段祺瑞则犹有余愤：“欺人太甚，是可忍，孰不可忍！”
日本一边举兵对关内发动进攻，一边酝酿建立“华北国”，所选中的第一个人就是段祺瑞。王揖唐利欲熏心，在看望段祺瑞时，常常用含蓄的话进行试探，企图劝段祺瑞出来为日本人做事。
蒋介石风闻后，不断派民间人士和专使北上，请段祺瑞南下，并说明他如果继续留在北方，恐为日本人所利用。经过南方代表这么一讲，段祺瑞才明白王揖唐的用意，于是便准备动身去上海。
王揖唐知道后急忙前来劝阻，而且话语渐渐露骨，说段的事业都在北方才能取得成功，虽然现在家里穷，将来总有机会出头，千万不要南下。段祺瑞对此很不满意，对家人说：“王揖唐不怀好意，我要教训他。”
等王揖唐再来，段祺瑞就直言不讳地对他说：“我是中国人，决不做汉奸傀儡，就是你自己也应该好好想想，不要对不起祖先、父母和子孙后代。我决计到南方去，以后不要再来多说了。”
除王揖唐外，段宏业等少数人也曾对南下持有异议，段宏业甚至为此和吴光新拍了桌子，但段祺瑞一言裁决：华北局面愈来愈复杂，我离开这个旋涡乃是上策。
1933年1月21日凌晨，段祺瑞乘专车离开了天津站。这位自称“吾老矣，无能为”的老人在告别北方的这一刻，也为自己过往的政治生涯画上了一个足以自豪的句点。