从开元二十四年的“返京事件”开始，张九龄和李林甫的角力露出冰山一角。
表面看起来，张九龄贵为中书令，处于明显优势，实际上，这场角力根本不是一场公平的角力，原因在于两人对待这场角力的态度。
张九龄向来对事不对人，尽管他对李林甫没有好感，但他从不刻意针对李林甫，更不去研究李林甫，李林甫则不同，从上任的第一天起，他就开始琢磨张九龄。
双方注定不在一个斗争层面之上，张九龄无欲无求，李林甫却处心积虑，因为张九龄挡了他的道。
李林甫恨张九龄不是一天两天了，时间可以追溯到李林甫出任宰相之前。
当时李隆基经过武惠妃的推荐，想要重用李林甫，便询问张九龄的意见。
张九龄说：“宰相关系国家安危，陛下却想重用李林甫，臣只恐他日李林甫会成为江山社稷的隐患。”张九龄原本以为会就此将李林甫排除在宰相集团之外，没想到李隆基吃了秤砣，还是让李林甫成了他的宰相同僚。
张九龄不甘心与李林甫这样的人做同僚，因此想找机会把李林甫踢出去。
一天，李隆基在皇家禁苑宴请群臣，君臣数人来到了鱼池前，李隆基兴致很高，便用手指了指鱼池：“这几条鱼真够鲜活可爱的。”
李林甫马上接过话头：“全是仰仗陛下皇恩浩荡。”
这时张九龄接言：“盆池里的鱼，就跟陛下任用的人一样，只能装饰景致为儿女情长助助兴而已！”
话里有话，意有所指。
李隆基没有回应，但心中不悦，李林甫更不用说，从此对张九龄怀恨在心。张九龄呢，说过了也就说过了，他丝毫不以为意，丝毫没有意识到他已经把李林甫得罪到家了。
张九龄与李林甫的矛盾在张九龄不知不觉间逐渐升级，不久，武惠妃也汇入张九龄与李林甫的矛盾之中，形成了复杂的三角关系。
三方在废立太子的问题上，纠缠到一起。
前面说过，武惠妃的恩宠在后宫等同于皇后，但美中不足的是，太子李瑛并非自己所生，因此她一直在为扳倒太子而努力。
在武惠妃阴谋扳倒太子的同时，太子李瑛、鄂王李瑶、光王李琚的抱怨也在升级，他们都看到了自己母亲的失宠，武惠妃则把所有的恩宠据为己有。
其实，古代的皇子是可悲的，他们虽然是物质上的贵族，但却是情感上的弃儿。
他们虽然有母亲，但是按照皇家的管理规定，并不能与母亲长期生活在一起，普通人家的朝夕相处，对于他们而言则是奢望。他们虽然有父亲，但是他们的父亲却有很多儿子、很多女儿，平均分配是不可能的，遇到重大节日能看到父亲一眼就是天大的荣幸。
因此，他们是情感孤儿。
现在三个情感孤儿凑在一起不断抱怨，而在抱怨同时，却忘了隔墙有耳，他们的妹夫、驸马杨洄已经刺探他们很久了。
杨洄，李隆基的女婿，咸宜公主的驸马，而咸宜公主则是武惠妃的亲生女儿，李瑛、李瑶、李琚则是杨洄的挂名舅哥。
经过杨洄的刺探，武惠妃总算在鸡蛋里找到了骨头，她要在李隆基面前发出致命一击：
太子阴谋结党，将要加害贱妾母子，而且他们还指斥陛下。
李隆基被点中了腰眼，他怕的就是太子结党。如果换作别人说“太子结党”，李隆基还会表示怀疑，然而，这是她最宠爱的武惠妃说的。
一句顶一万句。
废立之心油然而生。
李隆基把张九龄等三位宰相召来，说出了自己的想法，结果又遭到了张九龄的反对：
陛下登基近三十年，太子诸王也不离深宫，每日都接受陛下的教导，天下人都庆幸陛下享国久长，子孙繁茂。如今三位皇子都已成人，从没听说他们有什么大的过失，陛下为何要听信谣言，在愤怒之际废黜太子。况且太子是天下之本，不可轻动，以往历朝历代都有废太子导致社稷动荡的事例。由此观之，不可不慎重。陛下必欲废太子，臣不敢奉诏！
张九龄又一次把李隆基噎住了，李隆基哑口无言生闷气。
不久，李林甫的话又晃晃悠悠传到了李隆基的耳朵里，他的态度与当年明哲保身的李世一样：“此陛下家事，何必问外人！”
家事？
其实是国事！
身为一国之君的李隆基当然知道废立太子的利害，一时间他也拿不定主意。
在李隆基犹豫不决的同时，武惠妃也在积极努力，她让自己的亲信宦官给张九龄带话：“有废必有兴，宰相大人如果这一次肯施以援手，宰相之位就可以长久！”
这表明，武惠妃想跟张九龄做交易。
张九龄不想跟任何人做交易。
他当即怒斥传话的宦官，然后把这件事情奏报给李隆基。
李隆基五味杂陈，对张九龄充满了复杂的情感。
一方面，这位宰相风度翩翩，文章天下无双，能力无出其右；另一方面，这位宰相过于执拗，甚至没有察言观色的能力。
为天下计，需要这样一个宰相；为自己计，与这样的宰相相处太累了。
对于这样一个人，是赶还是留呢？