交锋已经开始，升级随之而来。
在张柬之等五人封王之后，武三思的杀招继续进行，他要将五王一个一个剪除。
首先被打压的是博陵王崔玄，他被武三思调整到梁州（今陕西汉中）出任梁洲刺史；接下来是汉阳王张柬之，他是自己走的，八十岁的他请求退休回襄州（今湖北襄阳），李显顺水推舟将张柬之委任为襄州刺史，只拿俸禄，不需管事。
时间进入公元706年，武三思的打压继续进行，他把敬晖、桓彦范、袁恕己都贬出了洛阳，一一赶到了滑州、洺州、豫州担任刺史。
值得一提的是，此时的桓彦范已经叫韦彦范了，韦皇后将他列入族谱，以示恩宠。
然而所谓的恩宠都是虚的，注定抵挡不了武三思的杀招。
不久之后，武三思继续出招，除张柬之之外，四王再次遭到贬黜。
敬晖被贬为郎州（今湖南常德）刺史，崔玄被贬为均州（今湖北丹江口）刺史，韦彦范被贬为亳州（今安徽毫州）刺史，袁恕己被贬为郢州（今湖北京山县）刺史，四个人去的地方有一个共同特点：都是欠发达地区。
这会是四王的终点吗？
不，远远不够。
不久，洛阳城发生的一起谋反未遂案又成了武三思打压五王的理由。
这起谋反未遂案是由曾经参与过兵变的驸马都尉王同皎而起。王同皎是李显的女婿，此时正担任光禄卿（宫廷膳食部长），按说他应该对现状很满足，不会与谋反沾边，可惜他偏偏沾了边。
其实，严格论起来，王同皎是忠臣，他策划的不是谋反，而是货真价实的“清君侧”，他想清理的是武三思和为虎作伥的韦皇后。
正是因为武三思和韦皇后不断有绯闻传出，王同皎起了“清君侧”之心，便关起门来策划清理武三思。
本来是神不知鬼不觉的事情，王同皎却大意了，他忘了约定一起起事的张仲之家里多了两条流浪狗，一条叫宋之问，一条叫宋之逊，两人刚从岭南逃回洛阳，被他收留在家中。
随后，宋之问上演了“农夫和蛇”的故事，将王同皎告发，王同皎最终被处死，而宋之问和宋之逊由此平步青云（最终也不得好死）。
本来王同皎的“清君侧”跟五王没有任何关系，然而即便这样，还是被武三思扯上了关系，五王被诬告与王同皎暗中勾结，针对五王的贬黜再次升级。
公元706年六月六日，敬晖被贬为崖州（今海南琼山）司马，韦彦范被贬为泷州（今广东罗定）司马，张柬之被贬为新州（今广东新兴）司马，袁恕己被贬为窦州（今广东信宜）司马，崔玄被贬为白州（今广西博白）司马，五王的去处全部属于传统的岭南地区，而且被剥夺了王爵。
在被贬的同时，还有附加条件，五人此时的官职均属于编制外，永远不享有调迁的权利，也就意味着，不出意外，他们的人生就将在这五个地方定格。
同时韦彦范被剥夺了姓韦的权利，又改回来了，还姓桓！
这会是五王的最后结局吗？
还不是。
几个月后，武三思又出招了。
他偷偷地命人将韦皇后的丑闻写到一张纸上，然后把这张纸贴到了人流量最大的洛阳城南洛水桥上，在这张纸的最后还写道，要求将韦皇后废黜。
这一下触到了李显的炸点。
在被拘禁的岁月里，正是韦皇后的支持才让他挺了过来，现在他已经是君临天下的皇帝，他不能容忍任何人对韦皇后的侵犯。
气急败坏的李显下令追查，不久就得出结论：以张柬之为首的五王干的！
真的是张柬之等人干的？八十一岁的张柬之没有那么下三滥，如果张柬之真的能做出那样的事，武三思的脑袋早就搬了几回家了。
这就是一个社会怪状，有原则的人往往路越走越窄，而没有原则、没有道德底线的人路却越走越宽，这到底是为什么呢？