就在韩休干劲十足的同时，萧嵩已经在考虑隐退了。
与韩休共事九个月来，萧嵩感觉到极大的压力，他没有想到这个看起来恬淡的人，一起共事竟是如此之难，不仅私下经常跟他唱反调，还经常在皇帝面前指责他的缺点，几次皇帝已经不高兴了，韩休还在自说自话。
唉，不共事，还真不知道彼此的脾气。
此时的萧嵩六十五岁，奋斗了一辈子的他想歇歇了。
如果换成别人，可能还会跟韩休继续斗，但萧嵩不准备斗了，因为没有意义。斗来斗去，大家打的都是七伤拳，伤了对方，也伤了自己。
萧嵩决定向李隆基请求退休。
李隆基说：“朕并没有厌弃你，你为什么要走呢？”
萧嵩回答说：“臣蒙受厚恩，当上宰相，富贵已经达到顶点。现在陛下还没有厌弃臣，所以臣还能从容退休。如果陛下已经厌弃臣了，性命尚且不保，又怎能得偿所愿？”
说完，萧嵩泪流满面。
李隆基也为之动容，便对萧嵩说：“你先回去吧，容朕考虑考虑！”
话说到这个地步，李隆基其实已经准了萧嵩的退休申请，只是他还需要时间考虑一下宰相人选。李隆基又想到了韩休，这个人是不是跟萧嵩一起罢免呢？
考虑再三，李隆基决定罢免韩休，他不是不知道韩休的能力，但是跟韩休相处，他太累了。
试想，身为一国之君，谁愿意让一个道德先生天天在自己的面前说教？连一向有容人之量的太宗李世民都有忍受不了魏征的时候，因为说教多了，会让人难受。这就解释了，为什么多数皇帝喜欢小人，因为小人不讲原则，而君子太讲原则。不讲原则的小人，如同溃烂的堤坝，任由洪水肆意流淌，讲原则的君子，则如同完好的堤坝，要把洪水拦截在堤坝之中。
皇帝的欲望，正是那滔滔洪水。
开元二十一年十二月二十四日，李隆基下诏：
免去萧嵩宰相职务，改任尚书左丞；
免去韩休宰相职务，改任工部尚书；
任命京兆尹裴耀卿为门下侍郎、同中书门下平章事；
任命张九龄为中书侍郎、同中书门下平章事。
诏书一下，开元天宝年间最后一个良相张九龄缓缓走来，良相时代即将结束。
卸任的萧嵩则继续着传奇，虽然后来一度遭到李林甫的打压，但总体而言生活悠哉乐哉，家财丰厚，地位崇高，闲云野鹤十几年后于天宝八年病逝，享年八十余岁。
在萧嵩身后，他的家族与宰相的缘分还在继续。
他的孙子萧复，德宗朝官拜宰相；
曾孙萧俯，大和年间官拜宰相；
曾孙萧仿，咸通年间官拜宰相。
萧嵩所在的萧氏一门，从贞观年间的萧瑀开始，前后八人出任唐朝宰相，由此萧氏一门有一个极为荣光的称呼，“八叶宰相”。
到此时，当年给他和陆象先相面人的预言全部实现，“陆郎十年内位极人臣，然不及萧郎一门尽贵，官位高而有寿”。
活神仙！
值得一提的是，虽然萧嵩和韩休都就此淡出了历史前台，但他们对唐朝后续的历史发展还有贡献。
在萧嵩的关照下，曾经的小吏牛仙客一直升迁到河西节度使，进而成为宰相。
相比萧嵩，韩休也不含糊，卸任之前，他郑重向李隆基推荐了心目中的宰相人选：李林甫。
一年后，李林甫拜相，与韩休的推荐不无关系！