在徐树铮被监视居住期间，一名日本驻上海的中佐武官不知道是不是也跟天津的那个小野寺一样，属于徐树铮的“铁粉”。他主动找到徐树铮的朋友，共同商议营救徐树铮的办法。当时日本人出入徐宅可以不受限制，这名武官提出，可以先让徐树铮化装成日本人，然后自己再进入徐宅把他带出来。
朋友如实向徐树铮转达了日本武官的计划。徐树铮说这些鸡鸣狗盗的事，我不干了，也不想再同日本人瞎胡闹，我决计出国，其他什么都不想。
通过这几天的闭门静思，徐树铮把先前从政的经验教训都重新过滤了一遍。在他看来，“老总”（段祺瑞）几次当国，对于外交方面都过分地依赖日本，光讲“中日亲善”，在其身边的日本通如曹汝霖、王揖唐等人也数不胜数，而接近英美的却没有几个人。
徐树铮还清楚地记得，有一次英国人来拜访段祺瑞，急切间找不到懂英语的人。他刚好在那里，虽然对英语不精，但也能应付一二，这才化解了尴尬。
段祺瑞在下台之前，皖系实力那么强盛，为什么反而还会败于直系之手？徐树铮认为与外交政策有很大关系，由于外交政策所出现的偏差，导致直系得到英美的支持，政治声誉上升；而段派和皖系却被对日借款等问题所连累，一再受到社会舆论的抨击。他对朋友说：“一意拉拢日本，其他列强尤其是英美当然眼红，所以直系的曹、吴便成为奇货可居了。我们这次所受的挫折和侮辱不就是明证吗？”
徐树铮苦思之后得出结论：处在新的国际局势之下，要想搞政治就要竭力多争取日本以外的其他国家。他这次就准备趁机会去趟欧洲，认真了解一下欧美国家的政治经济以及军事情况，有机会还要和各国的政治家加强接触，以便对“将来老总出山”能够有所帮助。
获得租界当局的许可后，徐树铮搭乘外轮离开了上海。外轮中途需要在香港暂停，香港总督府得知徐树铮在船上，怕得罪直系，因此早早就派人在码头守候并声明拒绝徐树铮上岸。
就在徐树铮窘迫万状、不知所措的时候，到了下午，香港总督府的态度突然又来了个一百八十度的大转弯，他们派员持请柬登船，邀请徐树铮到总督府参加当天的晚宴。
总督府所以前倨后恭，就是因为收到了英国驻华公使从北京发来的电报：段祺瑞已被拥戴为中华民国临时执政！
获知徐树铮正在香港，按照段祺瑞的本意，是不想让他出国的，但徐树铮决心已定，于是段祺瑞就委派他为欧美考察专使，让他名正言顺地踏上了出国考察之旅。
徐树铮的出国，虽然使重新组成的段幕少了一位中坚分子，但一位能人的新近加入，多少弥补了这一缺憾，此人就是建议段祺瑞实施“调和统一”的章士钊。章士钊因能文善思，早已蜚声南北，而且他这时的政治见解和理想已完全为段祺瑞所接受，二人再次见面，可谓一见倾心。
进入组阁和构建班底阶段，段祺瑞在天津本宅设立了办事处，任命章士钊为秘书长，让他和长子段宏业共同负责处理相关事务以及接待八方来客。
自段出山的消息传出后，办事处门前即冠盖如云，来此奔走的政客人山人海，络绎不绝。段祺瑞上了年纪，吃不消喧闹纠缠，便深居楼上，楼下则由章士钊和段宏业负责接待，无论何方人物，必须经二人同意，才能上楼晋见段祺瑞。
章士钊深感段祺瑞的知遇之恩，办事非常尽心尽力。为了能够随时与段祺瑞商讨有关问题，应付各方面的关系，他干脆搬到段宅，住在楼下，晚上就与段宏业共宿一榻。
在徐树铮缺席的情况下，章士钊部分代替了他的角色，成为段祺瑞新的军师。不用大总统或大元帅，而以“临时执政”的名义主政，即为章士钊的主张。之所以要采用这一制度设计，主要还是吸取了以往“府院之争”迭起的教训，于是索性将总统、总理的权力合二为一，全部收归“临时执政”所有。
章士钊被段祺瑞采纳的另一个建议，是查办参与贿选的国会议员。查办名声已经臭到家的“猪仔议员”名正言顺，不会遇到什么阻力，同时由于原国会议员大部分都参与了贿选，剩下的拒贿议员不足法定人数，无法开会，这样就可以使“临时执政”在理政时不至于受到国会的过多牵制。
在认为准备就绪之后，段祺瑞决定启程进京。1924年11月24日，他与作为临时过渡性质的摄政内阁完成交接，正式在京就任临时执政。