公元656年正月初七，李治做出了一个出人意料的举动：改元。
改元就是更改年号，李治下令，正月初七之前为永徽七年，正月初七之后为显庆元年，从此永徽成为过去，显庆已经来临。
长孙无忌在听到改元的诏令之后，心头一颤，他知道这是皇帝改弦易辙的开始，他的好日子到头了。长孙无忌为什么会这么想呢？
这还得从“永徽”这个年号说起。
“永徽”这个年号是在贞观二十三年之后起用的，“永徽”的永是永远的意思，“永徽”的徽是标志、旗帜的意思，永徽组合到一起，其实就是继承、延续、发扬，说白了，就是继续贞观年间的事业，坚持贞观年间的道路。因此，在中国历史上，永徽年间的统治也被视为“贞观之治”的延续。
现在，年号改了，长孙无忌从中嗅出了不同的味道，看来，自己过时了。
从李治改元之后，长孙无忌便将自己的精力转移到监修国史之上，他知道李治与武则天的双剑合璧已经不可阻挡，他这个舅舅还是知趣点，远远地走开吧。
在贞观一朝以及永徽年间红了三十年的长孙无忌不会想到，他的刻意远离并没有帮他躲开祸端，相反，针对他的祸端正在慢慢酝酿。
武则天的追讨开始了，她要清算那些曾经反对立后的人。
清算从褚遂良开始，然后由褚遂良波及其他人。
褚遂良在两次激烈冒犯李治后就遭到了打击，从中书令一下子被贬为潭州都督，中书令是正三品的京城高官，而潭州都督则是总部位于今天湖南长沙的地方官而已。
对褚遂良的打击还远远没有结束，不久他又被从潭州赶到了桂州，桂州在今天的广西桂林市。
贬到桂州还不是结束，而是开始。
显庆二年，褚遂良的桂州都督身份被许敬宗和李义甫解释为另外一种意思：侍中韩瑗和中书令来济联合褚遂良意图政变，褚遂良所在的桂州是军事重地，可以用作韩瑗和来济的外援。
欲加之罪，何患无辞。
本来是对反对立后的重臣进行打压，现在却以意图谋反之名。
在“意图谋反”的罪名下，侍中韩瑗被贬为振州州长，中书令来济被贬为台州州长，终生不准到长安朝见。振州是今天的海南三亚，那个年代没有今天的海景房，有的只是一地蛮荒；台州是今天的浙江临海，那时同样是欠发达地区。
不幸的人总是相似的，与韩瑗、来济一样，褚遂良和柳奭也被贬了。
褚遂良由桂州都督被贬为爱州都督，柳奭由荣州州长被贬为象州州长，两人的被贬都是折腾死人不偿命。褚遂良的爱州在今天越南的清化市，柳奭的象州在广西象州县，一个从广西前往越南，一个从四川前往广西，在交通基本靠走的年代，可以想象路途上的艰辛。
褚遂良辗转从桂州到了爱州，从此长安已是千里之外。
委屈的褚遂良给皇帝李治写了一封信，信中追忆了自己对李治的忠心：
昔日李泰和李承乾争储时，臣不顾危险，归心陛下。当时岑文本和刘洎向先帝力荐李泰，又是臣挺身而出，竭力争取，这些都是陛下亲眼看到的。最后我和长孙无忌等四人一起拥立，先帝最终同意。
等到先帝驾崩时，臣和长孙无忌一起在病榻之前接受遗诏。陛下您当时突遭巨变，伤心不已，臣以“社稷为重”宽慰陛下，当时陛下手抱着我的脖子，痛哭不已。后来臣与长孙无忌一起处理国家大事，毫无纰漏，数日之内，内外平静。
然而，臣毕竟力量太小，而责任太重，一举一动，都容易犯错。臣就像一只蚂蚁，剩下的生命是有限的，恳请陛下可怜！
褚遂良这封信写得呕心沥血，既陈述了自己的忠心，又向皇帝俯首乞怜，尤其是信的结尾写得声泪俱下，我见犹怜。
褚遂良写信的目的很简单，就是想终老长安，然而就是这个小得不能再小的愿望也没能实现，接到信的李治居然视而不见，不作回应。
一年后，褚遂良在爱州病逝，享年六十三岁，那个被李世民称为“小鸟依人”的托孤重臣就这样在远隔长安数千里的爱州离开人世。
在褚遂良生命的最后时刻，或许他是遗憾的，不过如果他地下有知，他应该感到欣慰，至少他可以带着自己的脑袋平静地入土为安。