时间进入开元十四年，张说在自我感觉良好中前行，也在危机四伏中前行，但他自己浑然不觉。
张说依然延续着自己的做派，一静一动，截然不同。
安静时，他独立思考，手里拿着别人送给他的两颗珠子。这两颗珠子绀色有光，名曰“记事珠”，张说有什么事情想不起来时，就用手拨弄这两颗珠子，顿时就会觉得心神开悟，大事小事都涌上脑海，历历在目，一无所忘。凭借这两颗珠子，张说的记忆力非常好，事事用心。
躁动时，则完全与安静时是两个做派，一旦下属官员汇报工作不对张说的脾气，他就会发火骂人，毫不留情，直到把对方骂得无地自容，他才罢休，于是众人对他有如此评价：“张公之言，毒于极刑！”
被张说骂得最多的就是政治新贵宇文融，张说一看不惯他的为人，二看不惯他越来越红，因此能打则打，能压则压，在张说的面前，宇文融很难得到好脸。
骂完宇文融，张说舒坦了，在一边旁观这一切的中书舍人张九龄却紧张了起来，他对张说说：“宇文融正在承受皇上的恩宠，他本人又巧言善辩，您不得不防啊！”
张说不以为然，说道：“那些鼠辈能成什么事啊！”
久在上位的人就是容易麻痹，张说从门缝里看宇文融，把他看扁了。
事实证明，张说确实小看了宇文融，在张说放松警惕的同时，宇文融倒张说的运动正进行得如火如荼。他得到了一个得力的帮手，此人后来成为唐朝的著名奸相，名字叫李林甫。
李林甫，大有来头，他的曾祖是高祖李渊的堂弟长平王李叔良，论辈分他比当今皇帝李隆基还高一辈，按照《三国演义》里刘备的自抬身价，他是当今皇帝的皇叔，别人得喊他一声“李皇叔”。
刘备自卖自夸也就罢了，李林甫是不敢的，敢给当今皇帝当皇叔，借他一个胆。
自古以来，皇帝的亲戚都是单向的，而不是平常人的双向，也就是说，如果皇帝给你面子，承认你这个亲戚，那你就是皇亲，如果皇帝不给你面子，你就只能当亲戚关系不存在。像刘备那样跟皇上还没见过面就自封为“皇叔”的，一般情况下就离死不远了，这是真事。
李林甫不敢摆皇叔的谱，他老老实实地从基层干起，第一个职位是千牛直长（宫廷侍卫）。这个职位是朝廷给贵族子弟预留的，李林甫就凭借祖上的恩荫，得到了这个职位。
千牛直长这样的职位对于一般人来说也算不错了，但对于李林甫而言，还远远不够。
幸好，他还有一门高亲，他的舅舅是当时正得宠的楚国公姜皎，因为李林甫擅长音律，姜皎很是喜爱。在姜皎的提携下，开元初年，李林甫当上正五品的太子中允。
很快李林甫发现，仅靠姜皎一条线是不够的，他需要两条腿走路，于是他开动脑筋，迅速傍上了源乾曜这条线。
李林甫是如何傍上源乾曜的呢？
靠的是人力资源整合。
李林甫的舅舅是姜皎，姜皎的妹夫叫源光乘，而源光乘正是源乾曜的侄孙（侄子的儿子），经过这样一番串联，李林甫傍上了源乾曜。
关系链条如下：
李林甫—姜皎（李林甫的舅舅）—源光乘（姜皎的妹夫、源乾曜的侄孙）—源乾曜
傍上源乾曜之后，源乾曜对李林甫印象不错，这就给李林甫留下了上升的空间。
不久，李林甫开始向源乾曜提要求，不是直接提，而是委托源乾曜的儿子源洁。
源洁对源乾曜说：“李林甫想当司门郎中。”源乾曜一听便摇头了，他说：“郎官对品行、才能、声望都有很高的要求，哥奴（李林甫小名）岂是郎官的材料？”
李林甫想当的司门郎中属于刑部的从五品官员，掌管天下诸门及关口出入往来之籍赋，有点现代边防检查的意思。
从五品的司门郎中没有当上，不过源乾曜还是给了李林甫一个补偿，将他擢升为正四品的太子谕德，这是个闲职，主要给太子进谏。
闲职归闲职，李林甫的行政级别却上来了。又过了一些日子，李林甫转任国子司业（国立大学副校长），他这个国子司业跟别人不一样，别人是从四品，他是正四品。
这时李林甫又开始转动脑筋，在满朝官员中寻找新的大树，经过一番逡巡，他把目光锁定在政治新贵宇文融身上，这个人或许是自己的新靠山。李林甫火速靠了上去，宇文融也张开了怀抱，在朝中没有多少根基的宇文融也需要李林甫，双方各取所需。
经过宇文融的推荐，李林甫被擢升为御史中丞，御史中丞的编制为两人，他和宇文融一人占据一个。
当宇文融和李林甫结成联盟时，这两颗炸弹已经具备了超强的威力。
御史中丞是御史台的副职，上面还有一个御史大夫，御史台主管风纪，通俗地说相当于现在的中央纪检委，其威力之大，自己想象。
从此宇文融和李林甫开始寻找机会，他们要把张说打落马下。
开元十四年二月七日、八日，李隆基连续发布了两个人事任命：
任命崔日知为左羽林将军；任命崔隐甫为御史大夫。
宇文融和李林甫从这个任命中看到了机会。
不就是两个人事任命吗？有什么机会可言。
原来，人事任命的背后还有一段曲折。
本来李隆基将崔隐甫从河南尹（洛阳特别市市长）位置上调进京城准备重用，张说却觉得崔隐甫学识浅薄并不看重，便准备让崔隐甫出任金吾卫大将军。
与此同时，张说也推荐了一个人——殿中侍御史崔日知，他准备将崔日知委任为御史大夫。
两个人事任命报到李隆基那里，张说就像往常一样等待李隆基的批复。
令张说万万没有想到的是，李隆基居然来了一个乱点鸳鸯谱，把两个人事任命正好颠倒了过来：崔日知当左羽林将军，崔隐甫当御史大夫。
就是这次“乱点鸳鸯谱”，让宇文融的鼻子嗅到了异常的味道，皇帝没有按照惯例批准宰相的人事任命，这说明张说要完了！
政治，就是高级别的人与人斗争，在这里面，一点风吹草动就可能隐藏着无穷的玄机，李隆基乱点鸳鸯谱便是传递这样的信息，现在宇文融捕捉到了。
宇文融决定再找一个帮手，只要加上这个帮手，张说便在劫难逃。
宇文融的新帮手正是他的新上司，御史大夫崔隐甫。
仕途走到崔隐甫这个程度，在朝中是不可能没有几个朋友的，张说之前的所作所为，崔隐甫了如指掌，现在他也恨上了张说。当宇文融找上门时，崔隐甫知道自己报复的机会来了，他与宇文融又是一拍即合。
开元十四年四月四日（瞧这倒霉日子），张说的苦日子来了。
在这一天，御史大夫崔隐甫、御史中丞宇文融、御史中丞李林甫向李隆基奏报：
张说结交巫师，占卜星座，包庇下属，生活奢华，超出标准，收受贿赂。
不打则已，一击致命，宇文融裹挟着整个御史台出手，就是要将张说打落马下，不得翻身。
接到奏报，李隆基下令成立张说专案组，专案组成员有侍中源乾曜、刑部尚书韦抗、大理少卿胡珪、御史大夫崔隐甫，专案组规格之高，史无前例。与此同时，李隆基下令金吾卫士兵包围张说的宅第，在案件没有落实清楚之前，张说的宅第一直实行军事管制。
到了这个地步，张说的宰相算是当到头了，能不能从这个案件中脱身，得看他的运气。
张说能脱身吗？很难。
只需要看看专案组成员，就知道等待张说的是什么。
源乾曜因为泰山封禅，对张说抱有成见；
崔隐甫因为人事任命，对张说怀恨在心；
专案组四位成员，两位与张说有恩怨，这还不算宇文融和李林甫。
值得一提的是，宇文融和源乾曜的关系还非同一般，当年一手提拔宇文融的京兆尹正是源乾曜。
现在源乾曜与张说有矛盾，源乾曜的老下属宇文融也跟张说有矛盾，这两个人会对张说善罢甘休吗？
形势对张说十分不利。
这时，一个人出现在朝堂之上，此人名叫张光，身份是太子左庶子。
张光一手拿着刀，一手拽着自己的耳朵，手起刀落，将自己的耳朵割了下来，然后大声说道：“臣以自己的耳朵作证，张说冤枉！”
李隆基被张光镇住了，他想不到这个人会用这种方式为张说作证，不由得感叹一句：“到底是兄弟情深。”
原来，张光另外一个身份是张说的亲哥哥。
被张光感动的李隆基随后叫过高力士，让他去监狱看看张说。
高力士奉命来到了监狱，看到了落难的张说，昨天还高高在上的宰相，今天就成了蓬头垢面的阶下囚。
回到宫中，高力士对李隆基说：“张说蓬头垢面坐在草席上，吃的是家人用瓦罐送的粗米和蔬菜，惶恐不已，等待惩罚。”
李隆基一听，心顿时软了，他只是想给张说一个教训，何至于到如此程度。
看着李隆基的脸色，高力士试探着说道：“张说往日尽职尽责，对国家也有功劳。”
皇帝就是这样，等着下边的人把他想说的话说出来，然后他再装模作样地批准，以示恩宠。李隆基同样如此，经高力士一说，便决定赦免张说。不过宰相已经做不成了，从此只能当一个位高权轻的闲人了，跟他的前任姚崇、宋璟一样。
回过头再来说张说的这次被弹劾，其实幕后的黑手还是李隆基。
自开元九年重新拜相以来，张说的权势有抬头的趋势，在一段时间内，李隆基还能容忍，而在泰山封禅之后，张说的权势达到了顶点，李隆基的容忍也到了极限。
熟知历史的李隆基自然知道皇权和相权的斗争，也知道相权过大的危害，他更知道，祖母武则天就是被张柬之为首的宰相逼宫的，而当年姑姑太平公主也是拉拢窦怀贞、崔湜等宰相跟自己做对。因此李隆基为宰相的权势设定了一个范围，在这个范围之内，他可以容忍，超出这个范围，他就会干预，张说正是在崔隐甫的问题上突破李隆基的极限，最终导致了自己的下台。
由此可见，皇帝和宰相的关系就是耍猴人和猴的关系，只要猴在圈内，耍猴人可以给猴笑脸，一旦出圈，笑脸就变成鞭子。