北洋无可挽回地走向了衰弱，与此同时，南方的国民党却在孙中山去世后，迅速调整了内部关系，并借助苏联的援助而得以壮大。初建的“党军”北伐军和黄埔军校让人耳目一新，以至于许多有志于建功立业的青年都心向往之，连作为北洋后起力量的保定派（主要为保定军校生）也纷纷脱离北洋，投奔南方。
段祺瑞之所以能够在缺乏实力的前提下担任临时执政，靠的是北洋领袖的招牌，以及北洋内部残存的那一点向心力，如今连整个北洋系都要崩溃了，谁还会在乎这个“手无寸铁”的老头子？
段幕的一群人希望尚存实力的派系能够拥戴段祺瑞出山收拾残局，但他们四处奔走，却四处碰壁。就在感到一筹莫展的时候，有人向段的左右建议与逊帝溥仪合作，还说：“宣统皇帝是块大招牌，合肥如能与他合作，号召力就比单干大得多了。”
段祺瑞一时昏了头，竟然也听信这些话，想和溥仪拉拉关系。由于溥仪仍自尊为皇帝，不肯枉驾段的寓所，而段祺瑞也不愿降低身份，主动去溥仪所居住的静园，于是双方就相约在溥仪的生父载沣家中见面。
段祺瑞是把溥仪作为一个可以合作的政治伙伴，但溥仪却不这么想，他还把自己看成是大清皇帝，而段祺瑞只是当年那个湖广总督，所以见面时态度十分傲慢，气氛也颇为尴尬，协商合作之事自然就更谈不上了。
段祺瑞又羞又恼，告辞出来后对等候在侧厅的手下说：“我总还当过中华民国元首，这小子竟在我面前摆皇帝的臭架子，真正岂有此理！”
作为“三造共和”的元勋，不仅悄悄地去见了逊帝，对方还不把他放在眼里，这对段祺瑞来说是件非常丢脸的事。曾毓隽开始不知道这件事，后来消息传到他耳朵里，就趁旁边没有外人的时候，问段祺瑞：“听说在不久之前，老总和溥仪见了面，有这么一回事吗？”
段祺瑞经此一问，脸上立刻露出了惊讶的表情，接着便很不耐烦地说：“糟得很，糟得很，不要谈了！”
看到段祺瑞那躲躲闪闪、左顾右盼的神态，曾毓隽也就不再追问下去了。
其实即便溥仪不摆架子，他与段祺瑞也不可能合作成功。原因就在于二人的目标并不一致。曾毓隽与溥仪的师傅陈宝琛既是同乡又是世交，往来比较密切。陈宝琛有一次对曾毓隽说：“希望你能在段祺瑞身边为逊皇尽一份力量，从中斡旋。能合作更好，不能合作，希望芝泉（段祺瑞）不要反对。”
曾毓隽深知段祺瑞之心，他当时就回答陈宝琛：“段一向主张共和，若要求他和逊皇搞复辟，段生性刚愎，这一点我想很难在他面前说得通。”
渐渐地，段祺瑞终于明白复出已完全无望，只得继续过他的寓公生活。与当时住在天津的其他前清、北洋遗老显贵们不同，段祺瑞一生不事敛财生利，闲居时间一长，经济状况便日见窘迫。段祺瑞不得不亲自审查账目，以想办法节约开支。
为减少日常开销，他连麻将都不打了，仆人也减到了最少。幸亏魏宗瀚邀约一些当年的老兵，自愿轮流前来帮忙打杂，段宅才不至于弄到黄叶满阶无人扫的地步。
政坛失意，家境冷落，固然让老爷子心情郁郁，但最令他伤心和难过的，恐怕还是眼看着北洋一步步地走向历史的尽头，而自己却无能为力——1928年，北伐军攻入北京，由南方发动的新一轮“武力统一”取得胜利，曾经盛极一时的北洋时代终告谢幕。
就在诸事不顺之际，突然有人给段祺瑞寄来了一封信。信是以一个学生的口吻写的：“老师可记得送入日本士官学校的学生中，有一个蒋志清否？那就是我……”
段祺瑞当年在保定筹办军校时，确曾选送学生去日本学军事，但他的学生那么多，哪里还记得一个“蒋志清”？再看下去，才知道“蒋志清”原来就是写信人、现任北伐军总司令蒋介石。
想到自己培养出来的后辈居然成了新政权的领军人物，而且在得以大红大紫后仍不忘其师，这令段祺瑞大为欣喜，以后常对人说：“蒋介石是我学生。”