到天津之后，段祺瑞生活上的另一个显著变化，是开始每日吃斋念佛。在他看来，这是对过去自己作为军人，动刀子指挥杀人的一种反省。
为此，段祺瑞还专门在家里辟了一间佛堂，每天早晨起来就焚香诵经，作为照例的功课，以后这种习惯始终没有改变。吃素也是这样，他晚年因夏天贪吃西瓜而闹肚子，最后又发展为胃溃疡，病情持续加重。他的侄子和医生都希望能开荤，以便增加营养、增强体质。段祺瑞誓言：“人可死，荤绝不能开！”未几，果不治身亡。
虽然吃斋念佛，但像老段这种吃了一辈子政治饭的人，要完全做到四大皆空是比较困难的——就算他自己看破红尘，以徐树铮、曾毓隽等人为首的学生、旧部们也不让。
这些学生、旧部有时会来天津看望段祺瑞，他们常说现在国内遍地烽火，生灵涂炭，长此以往，国将不国。今日要收拾这盘残棋，让老百姓过个太平日子，还得老师东山再起不可。
每逢听到这样的话，段祺瑞虽然嘴上不会说什么，但他那严肃的脸上总是多少会露出一丝笑容，显然这些话他还是很听得进去的。
就当时国内的形势而言，段祺瑞的学生、旧部们并没有夸大其词。内战的祸根仍然出在军人直接用武力干政之上，事情还得从直皖战争结束时的“分赃”说起。在直皖战争中，奉军参战兵力不多，出的力也很少，但他们却机缘巧合，得以接收了大批皖军军械，“西北军新购之器械，大多数为奉所得”，这自然令直系感到眼红和心理不平衡。接着划分地盘，直系得到了鄂豫陕赣皖五省地盘，而奉系只拿到一个较为贫瘠的热河，于是奉系又不忿起来。
“分赃”主要由曹锟约张作霖密谈。最初吴佩孚也在座，他一向喜欢说话，一战而胜皖系之后更是扬扬得意、高谈阔论。张作霖非常厌恶他，便冷冷地对曹锟说：“三哥，今天这个会，是咱们两个人的会，别人不能参加。如果说师长也能参加，我们奉军也有几个师长呢！”
吴佩孚听后脸色大变，一句话没说就气愤地走了出去。事后他对自己的幕僚说：“他张胡子不要觉得自己不错，赶明儿叫他认识认识我这个师长！我不打到沈阳，决不姓吴！”
直奉相争，首先被拖出来开刀的牺牲品却是靳云鹏内阁。段祺瑞离京之前对靳云鹏说的“没有我，你能站得住吗”，那可绝不是气话，而是大实话——靳云鹏始终没有搞清楚，一手把他培养起来的段祺瑞对他具有什么样的意义。事实是，段祺瑞一失败，靳云鹏对于直奉乃至徐世昌来说就失去了重要性，他在中国政治舞台上也就可有可无了。
组阁不久，靳云鹏就被一度逢迎他的直奉夹在了中间，和徐世昌也有了矛盾，整个人如履薄冰，其处境之难远甚于直皖战前。
靳云鹏内阁中直系势力较盛，内务、交通、财政三总长均为直系阁员。在他们的推动下，国务院通过了任命吴佩孚为两湖巡阅使的决定。张作霖一直对吴佩孚表示轻蔑和不屑，这一任命引起了他极大的愤怒。不久，他便亲自来京，指责直系阁员不配留在内阁之中，并且要求内阁改组。在他和徐世昌的夹击之下，靳云鹏内阁被迫宣布总辞职。
靳云鹏自此再未有机会重返政坛。若干年后，段祺瑞在上海病逝，灵柩运回北京安葬，靳云鹏也到浦口迎灵。在专车上，大家鄙视靳云鹏过去背叛了段祺瑞，全车没有一个人和他讲话，甚至卧铺都没为他安排。靳云鹏自感无趣，便临时下了车，自己重新买票换车返京。
赶走靳云鹏后，根据张作霖的推荐，徐世昌又授命梁士诒组成了新内阁。梁士诒是旧交通系的首领，而新旧交通系原先都是皖系中的重要组成部分。梁内阁一成立，即对直皖战后被通缉的皖系成员予以赦免，同时在军饷分配上，采取了厚奉而薄直的政策。
梁内阁此举又大大惹恼了吴佩孚。正好梁内阁当时应允日本公使，同意向日本借款以赎回胶济铁路，吴佩孚便利用民情，以这件事为靶子，对梁士诒进行猛烈攻击，称他是中国当代的李完用（朝鲜亲日派首脑，被作为“卖国贼”的代名词）、张邦昌。
梁士诒自然要为自己的行动辩解，双方展开了激烈的电报战。其间，各省的直系督军们也纷纷通电传檄，为吴佩孚摇旗呐喊。张作霖既为梁内阁的推荐和支持者，也只得出面为梁辩护，指责吴佩孚只会唱高调、说大话，对梁内阁“不加谅解，肆意讥弹”，“不问是非，辄加攻击”。
吴佩孚本就看张作霖不顺眼，手痒痒得想要揍他，张作霖自投罗网，被他一把揪住，其通电宣称：“若有袒护梁氏者，即为吾人之公敌，当誓杀尽，以除国贼。”
未几，梁士诒被迫宣布请假，由外交总长颜惠庆代理总理。张作霖脸面大失，一边表示“万万不能使自己所拥护之人被斥去位”，一边以“捍护京畿，拥护梁阁”为口号，拥兵入关，讨伐直系。
1922年4月29日，直奉战争爆发。战前，包括徐世昌在内的一些人还以为奉军兵强马壮，剽悍善战，若对直系战而胜之，不啻为一张新的护身符，可是没想到奉军只是徒有其表，很快就被吴佩孚打得一败涂地，败出关外。