让皇帝生气，这后果已经很严重。不过，张说如果能就此打住的话，也还可以挽回。但是有一句话说得好：当局者迷。张说也不例外。他沿着错误的道路愈走愈远了。
开元十四年（七二六年）初，唐玄宗看上一个叫崔隐甫的人。这个人也是从基层起家，长期担任地方大员，政绩突出。这时候，玄宗想让他当御史大夫，就是御史台改为都察院，清沿用之，御史台之名遂废）的最高长官，负责监察。拿这个人选跟张说商量，结果张说一听，马上就否决了，说：这个人胸无点墨，哪能当御史大夫。陛下是想用他，顶多当个武官。至于您说的御史大夫，我倒有一个人选，就是崔日知。此人以前和我共过事，非常能干，而且文化水准高，正好胜任御史台。张说这建议好不好呢？平心而论，也并无大错。他力荐的崔日知是唐隆政变功臣崔日用的堂弟。当年中宗时代，谯王重福在洛阳发动叛乱，官员都跑光了，正是他力撑危局、平定叛乱的，也确实是个能人。按理说，纠正皇帝的偏颇，给皇帝推荐合适的官员人选也是宰相的重要职责，以前也不是没有做过。然而，这一次张说这么做却是大错特错。玄宗本来对他就一肚子气了，这时候更是怒不可遏，什么事都得你说了算，我倒要让你看看谁是皇帝。没过几天，唐玄宗就宣布了，任命崔隐甫为御史大夫，至于崔日知嘛，既然张说认为崔隐甫顶多当个武官，那就让崔日知当好了，任命崔日知为羽林将军。
这件事对张说可是大大的不利，他不仅把皇帝得罪了，顺带着还把御史大夫崔隐甫也得罪。要知道，御史台可是管监察的，就算是宰相，也是他的监察对象。而且，更要命的是，宇文融当时也是御史台的人，是御史中丞，这样一来，张说在御史台就已经有两个敌人了。
有了崔隐甫这件事，宇文融觉得自己离胜利不远了。可是要想一举成功扳倒张说，光他和崔隐甫两个人还没有把握。因为众所周知，他和崔隐甫跟张说都有过节，要是只有他们俩出头的话，容易让人怀疑动机不纯。于是，宇文融决定再拉一个人增加公信力。谁呢？这个人就是唐玄宗一朝大名鼎鼎的权相李林甫。只不过当时他还只是个御史中丞，而且，这个御史中丞还是宇文融帮他当上的。宇文融为什么拉李林甫呢？很简单，除了赏识李林甫之外，还因为李林甫本人也没文化。这样的人，张说注定看不起。只要张说在上头，他也很难混上去。所以，单从自己的前途考虑，李林甫也不会不同意。就这样，御史台三个没文化的人联合起来了。他们的共同目标只有一个——扳倒张说！
开元十四年（七二六年）四月初三，几个人发难了，告张说三大罪状。第一，私下结交僧人和术士，图谋不轨；第二，以权谋私，招权纳贿；第三，纵容手下的小吏贪赃枉法。这几条罪状可不得了，当年，姚崇只犯其中一条，纵容手下贪赃枉法就被迫辞职了，何况这里又增加了两条。在这增加的两条里，最有杀伤力的是哪个？肯定是招纳和尚术士占星！要知道，玄宗可是靠政变起家的，他最知道和尚道士的份量了，所以，开元年间，玄宗三令五申，禁止百官公卿跟和尚道士交往。现在张说都已经贵为宰相，他还要占星干什么？他可是搞过政变的人，不得不防。玄宗本来已经不满意张说了，接到这份弹奏之后更是勃然大怒，马上命令，把张说抓起来。
抓起来之后，玄宗命令刑部、大理寺和御史台三堂会审，侍中源乾曜负总责。源乾曜本来就讨厌张说，另外，他跟宇文融一直关系不错，当年宇文融还是一个县主簿的时候，就是他发现这匹千里马。所以，这个案子的审理结果没有任何悬念。经源乾曜他们确认，御史台的弹奏完全属实，张说必须被绳之于法。我们上一回讲过，张说和张嘉贞斗法的时候，利用张嘉贞想要救弟弟的迫切心情，狠狠耍了张嘉贞一把。现在，轮到他们张家来体会这种兄弟情义了。张说的哥哥张光跑到朝堂去，跪在玄宗的面前割耳称冤，血流满面，结果怎么样？玄宗扬长而去，不予理睬。到了这一步，张说真是凄凉无比，简直就像从泰山顶上直接掉下来一样。
可能有人会想，玄宗也太无情了吧？没错，专制皇权本来就有非常无情的一面，但是，要说玄宗对张说一点情义都没有，还真是冤枉玄宗。虽然张光诉冤时，玄宗没有表态，但张说被关两天后，玄宗又怜悯起他来了，派自己的心腹宦官高力士前去探视，看看张说过得好不好，有没有悔罪表现。要知道，高力士和张说都是唐玄宗先天政变的功臣，本来关系就不错；再说了，既然是玄宗派他去探视，高力士能不明白其中的感情吗？所以，回来之后就向玄宗汇报，说：张说可怜极了，我去的时候，他正蓬头垢面地坐在草上，捧着一个瓦罐吃饭呢！我一看，里面竟是粗麦粒。就问他怎么不让家里人送点可口的来。结果张说对我说，我既然犯了罪，哪能再享受生活呢？您听，他是故意让家人送这种东西的，这是在惩罚自己呢！有道是人非草木，孰能无情，当年张说是个何等骄傲的人啊！唐玄宗哪能真的忍心把一个意气风发、神采飞扬的宰相逼成这个样子呢？既然玄宗流露出了不忍的意思，高力士赶紧趁热打铁，说：张说当年曾经当过您的老师，于国有功，对您也还是忠心的，还是放他一马吧！就这样，张说又给放出来了，当然，中书令是别想再当了。
那我们应该怎样评价张说遭逢的这场牢狱之灾呢？我想，有三点值得注意。第一，玄宗对宰相似乎愈来愈不客气了。姚崇是辞职，宋璟和张嘉贞是免职，到张说这里，已经是关进监狱再免职了。张说当宰相的时候主张“刑不上大夫”，没想到自己倒经受牢狱之辱。这也算是巨大的悲哀吧！
第二，最后挽救张说的，除了玄宗的怜悯之心、念旧之情外，还有宦官高力士的得体汇报。高力士的说法居然能够决定一个大臣的命运，我们也可以看出他本人，乃至宦官这个集团的巨大能量。这也是高力士在先天政变后第一次出现在正史记载之中，以后，他的角色会愈来愈重要，记载也会愈来愈多。
第三，张说之所以有这样的结局，和宇文融的打击直接相关。张说和宇文融有意气之争、利益之争，但是，最重要的还是所谓的文学和吏治之争。张说尚文，以文化水准为衡量人的基本标准；而宇文融尚吏，以办事能力为衡量人的基本要素。这两种倾向也正是唐玄宗当时用人的两条基本思路。本来，张说上台意味着文治的抬头，现在看来，似乎吏治派又占上风。看来，对于到底怎样任用这两类人士，玄宗本人还在思考纠结中。
就在张说和宇文融斗法的过程中，还有两个重要人物分别在两个阵营参战。一个是宇文融派系的李林甫，另一个则是张说派系的张九龄，这两个人都是未来的宰相。可以想像，文学和吏治之争还会继续下去。高层之间的斗争，似乎已经成为玄宗中期政治的一个阴影了。那么，下一步，还会发生什么事情呢？