不知不觉，张九龄已经走到了罢相的边缘。
张九龄走到这一步，一方面是因为李隆基的忍耐接近了极限，一方面是同为宰相的李林甫落井下石。
原本，张九龄没有把李林甫放在眼里。
在张九龄看来，李林甫就是一个不学无术的家伙，与他谈论公事，李林甫如同痴醉之人，半晌没有回应。如果谈论公事以外的事情，李林甫则对答如流。因此张九龄对自己的左右说：“李林甫议事，如醉汉语也，不足言。”
然而，就是这个“醉汉”一步一步将张九龄逼进了死角。
因为“醉汉”李林甫抓住了张九龄的“把柄”。
“把柄”是一个人，名叫严挺之，后来对杜甫照顾有加的剑南节度使严武便是严挺之的儿子。严挺之时任中书侍郎，与张九龄交情非常好，李林甫在张九龄身上找不到破绽，便从张九龄的属下兼好友严挺之身上找。巧合的是，严挺之还得罪过他，拆过他的台。
事情还得从“错别字风波”说起。
之前李林甫提拔过一个人，这个人叫萧炅。萧炅头脑灵活，办事得力，深得李林甫赏识，于是李林甫便提拔萧炅担任户部侍郎。然而，萧炅也有一个致命缺点，那就是读书不多，认识的字也不多，时间一长，便闹出了“错别字风波”。
一次，萧炅和严挺之出现在同一个场合，萧炅恰巧闹出了笑话，他把“伏腊”读成了“伏猎”，严挺之当场就快笑喷了。身为户部侍郎，居然连“腊”和“猎”都分不清，这也太搞笑了。回来之后，严挺之便跟张九龄说，“朝廷怎么能容忍一个‘伏猎侍郎’存在呢？太儿戏了！”
张九龄闻言，顿时把萧炅记在了心里，不久萧炅的“伏猎”侍郎做不成了，只能到岐州出任刺史。
仅此一件事，严挺之便跟李林甫结下了梁子，李林甫认为这是严挺之不给自己面子，故意让自己难堪。
严挺之，走着瞧！
不久，严挺之与李林甫的矛盾升级了，起因还是严挺之不给李林甫面子。
当时，张九龄有意把严挺之拉入宰相行列，但是仅仅自己一个人说话分量还不够，还需要裴耀卿、李林甫共同推荐，毕竟三个宰相一起推荐要比张九龄个人推荐效果更好。
张九龄授意严挺之去走一下李林甫的门路，至少应该登门拜访一下。严挺之呢？
他死活看不上李林甫的为人，终其一生，没登过李林甫的门。
李林甫气坏了，别人往自己的家里一天跑八趟，严挺之八年都不跑一趟，这人太不把自己这个宰相当回事了。
必须给他点颜色看看。
功夫不负有心人，有心的李林甫终于抓住了严挺之的破绽：企图干预司法公正。
这一抓很致命，进而引发了一场蝴蝶效应。
严挺之“企图干预司法公正”的起因是他的前妻。
原本严挺之结过一次婚，后来不知什么原因一纸休书把妻子休掉了。被严挺之休掉的前妻又嫁给了蔚州刺史王元琰，王元琰后来因为贪赃枉法被打入大狱，由大理寺、刑部、御史台三大衙门共同审理。
这时严挺之的前妻找到了严挺之，希望他能帮王元琰一把。受前妻之托，严挺之便勉为其难去捞王元琰，结果王元琰没捞出来，他自己也掉进去了。
他的所作所为被李林甫侦察得一清二楚。李林甫很快通过宦官把小报告打到了李隆基那里，李隆基动了肝火，准备收拾一下严挺之。
李隆基对张九龄说：“严挺之为犯罪的人开脱，这是严重地干预司法公正！”
张九龄急忙为严挺之辩护：“对方是严挺之已经休掉的妻子，这中间应该没有什么偏私。”
李隆基接了一句：“虽是前妻，但这里面一定还有偏私。”
张九龄哑口无言，他知道李隆基已经掌握了充足的证据。
严挺之完了。
张九龄也完了，因为他急于替严挺之辩护，李隆基就此认为，张九龄、裴耀卿、严挺之结党！
“结党”的帽子一扣，便扣掉了张九龄的宰相生涯。
其实，张九龄的疑似“结党”并没有严重到不可救药的地步，只是李隆基已经对张九龄失去了耐心，而疑似“结党”便成了压垮张九龄的最后一棵稻草。
不久，张九龄收到了李隆基赏赐的一件特殊礼物：白羽扇。
张九龄下意识看了一下外面的天气，已是深秋时节，在深秋时节赏赐一把白羽扇，白羽扇背后隐藏着什么呢？众所周知，白羽扇是夏天用的，深秋一般人都不用，当然诸葛亮除外，他用扇子不分季节。
张九龄明白了，他读懂了李隆基的寓意：张九龄，你过时了！
张九龄顿时悲从心来，然后把满腹悲伤注入自己的笔下，写下了《白羽扇赋》：
当时而用，任物所长。彼鸿鹄之弱羽，出江湖之下方，安知烦暑，可致清凉？岂无纨素，彩画文章？复有修竹，剖析毫芒。提携密迩，摇动馨香，惟众珍之在御，何短翮之敢当？而窃思于圣后，且见持于未央。伊昔皋泽之时，亦有云霄之志，苟效用之得所，虽杀身之何忌？肃肃白羽，穆如清风，纵秋气之移夺，终感恩于箧中。
张九龄的大体意思是说，为了做一把白羽扇，鸟儿付出了自己的生命。可是，如果能对君主有用，付出生命又算得了什么呢？到了秋天，扇子便没用了，难免被扔在筐里。但是，尽管如此，它仍然会感激陛下曾经的知遇之恩。
这哪里说的是鸟和扇子，分明说的是张九龄自己。
《白羽扇赋》呈送到李隆基那里，李隆基很快作出了回复：
答张九龄进白羽扇赋批
朕顷赐扇，聊以涤暑，卿立赋之，且见情素。词刘理妙，朕详之久矣。然佳彼劲翮，方资利用，与夫弃捐箧笥，义不当也。
李隆基的意思是说，我之前赏赐给你扇子，是让你消暑纳凉的，没想到你还写了一篇《白羽扇赋》，写得不错，我看了很久。不过你有点误会，扇子是让你用的，而不是抛弃的，别多想，别多想！
李隆基话虽然这样说，但心中已经下定了决心，在他的心中，张九龄就是那把白羽扇，用不上了，该收进箱底，收藏了。
顺着《白羽扇赋》延伸一句，当初张九龄写《白羽扇赋》时只是因为心中悲伤急于表明自己的心迹，没想到一写就写成了千古名篇。数百年后，明朝著名书画家董其昌用自己的笔写下了《张九龄白羽扇赋》，这一写就成了中华民族永久的瑰宝。至今，董其昌的《张九龄白羽扇赋》还收藏在台北故宫博物院，张九龄、董其昌便这样远隔数百年，却相得益彰。
在《白羽扇赋》后，张九龄意识到，自己的宰相日子不多了，他必须为自己的未来打算。
他决定向李林甫妥协。
于是他又写了一首诗，《归燕诗》：
海燕何微眇，乘春亦暂来。
岂知泥滓贱，只见玉堂开。
绣户时双入，华轩日几回。
无心与物竞，鹰隼莫相猜。
张九龄在这首诗中比自己比作海燕，把李林甫比作比自己大的鹰隼，他借用海燕的口告诉李林甫，我已经无心跟您争了，您就别猜忌了。
《归燕诗》很快送到了李林甫府中，李林甫接过一看，微微一笑，张九龄，你也有今天。
开元二十四年十一月二十七日，开元年间最后一位良相张九龄的宰相生涯画上了句号，他被免去宰相职务，出任右丞相（尚书右仆射），他的搭档裴耀卿则出任左丞相（尚书左仆射），此时的尚书左仆射、右仆射已经成了一个闲职，只保留行政级别，却没有具体职务。
伴随着张九龄和裴耀卿的下台，开元天宝年间执政时间最长的宰相李林甫成为大赢家，他兼任中书令出任第一宰相。
与李林甫搭班子的是张九龄看不起的牛仙客，牛仙客出任工部尚书、同中书门下三品，同时兼任朔方节度使。
严挺之呢？
中书侍郎做不成了，被贬出长安，出任洺州刺史；
严挺之前妻的现任丈夫王元琰也没能逃过惩罚，最终被流放岭南。
至此，因为王元琰的贪赃枉法，引发了严挺之、张九龄、裴耀卿的连锁倒台，如同蝴蝶效应，东半球的蝴蝶一扇翅膀，便引起了西半球的一场暴风雨。