东山再起的李义府依然很红，他的红又持续了数年，到龙朔二年，李义府的红达到了顶点。
这一年，李义府做了一件大事：改葬祖父，为其祖父在李渊祖父李虎的陵墓侧营造了一座陵墓，这座陵墓造得相当体面。
为了造这座陵墓，三原县令李孝节动用了丁夫和车马，日夜不停，为李义府的祖父造坟。
村看村，户看户，群众看干部，干部还看其他干部。
在李孝节的带动下，高陵、栎阳、富平、云阳、华原、同官、泾阳等七县的县令也行动了起来，征集民夫和车马加入了为李大人祖上造坟的行列。
在这场轰轰烈烈的造坟运动中，高陵县令张敬业勤于职守，任劳任怨，终于不堪重负，过劳死。
坟成之后，王公以下高官纷纷向李义府赠送奠仪，场面宏大，送葬的羽仪、导从、器服都是穷极奢侈。等到安葬那一天，场面更是惊人，从灞桥到三原七十里间，相继不绝。武德年间以来，葬礼场面之宏大，李义府家数第一。明眼人都知道，哀荣是送给死人的，面子却是送给活人的，众人之所以这么做，是因为李义府确实很红。
然而红又能持续多久呢？李义府能逃得过盛极必衰的俗套吗？
他一样逃不过。
龙朔三年，李义府开始走下坡路，起因是一次谈话。
龙朔三年三月，李治与李义府进行了一次推心置腹的谈话。
李治对李义府说：“朕听说你的儿子和女婿做事很不检点，做了很多不法的事情，弄得朕还要帮他们掩饰，只是一直没跟你说而已。你回去也教育教育他们，让他们别那么干了！”
按照常理，李义府这时应该叩头请罪，然后谢主隆恩，然而李义府没有这么做。他脸色突变，面部青筋暴胀，口气生硬地问道：“这是谁跟陛下说的？”李治对李义府的反应颇感意外，颇为不快地回应道：“只要朕说的是实情就行，你还追问朕是谁说的干吗？”令李治更加没有想到的是，李义府居然未作回应，反而作沉思状，晃晃悠悠自顾自地走了。
老虎不发威，把你当病猫了！
以上记录来自《旧唐书》和《资治通鉴》，对此我有所怀疑，纵使李义府红到了极点，难道他忘记了他只是皇帝面前的一条狗吗？
这次谈话记录，似有可疑。
在我看来，李义府最后会倒台，不是因为他无礼触怒了皇帝，而是因为长孙无忌等人已除，武则天位置已稳，李义府这样声名狼藉的狗已经不需要了，现在到了卸磨杀狗的时候。
李义府的倒台同样是因为别人告发，告发他的罪状主要有两条：一是占卜望气，图谋不轨；二是卖官鬻爵，勒索钱财。
如果李义府继续得到李治和武则天的信任，这两条扳不倒李义府，可惜此时的李义府已经失去了武则天和李治的信任，两顶大帽子扣下来，李义府不倒也得倒了。
龙朔四年四月初，李治下令成立李义府专案组，由德高望重的司空李担任组长，对李义府的各种罪行进行审判。
数天后，李等人向李治报告：所有罪行，均事实清楚、证据确凿！
红了八年的李义府就此倒了，他被从官籍中除名，并流放巂州。巂州在现在的四川省西昌市，那里有新中国的卫星发射中心，之所以把卫星发射中心建在那里，就是因为那里荒凉，地广，人稀。
与李义府一起倒台的还有他的儿子李津、李洋以及女婿柳元贞。
李治做事很绝，李义府居然和儿子、女婿流放的不是一个地方。李津流放到振州（今海南三亚），李洋和柳元贞流放到庭州（位于今天的新疆），而且李义府的流放不是暂时的，而是无期流放。
三年后，李治大赦天下，一般的囚犯都得到赦免，而李义府这种无期流放的人不在赦免之列。终老长安终成一梦，他只能老死在遥远的巂州。
回返长安无望，李义府忧愤成疾，郁郁而终，享年五十余岁。
在他死后，长安城中的一些人才长出了一口气，开始庆祝。为了这次庆祝，他们已经等了三年。三年前他们就想庆祝，可是害怕李义府杀回马枪，现在终于可以踏踏实实庆祝了，那个曾经很红的李义府死了。
盖棺定论，这是一个有才无德的人，他的德行遭人唾弃，但他的文才还是有的，他有文集三十卷传于后世，同时还有二十卷《宦游记》，可惜已亡失。
都说李义府是“李猫”，其实套用欧洲的谚语，他只是替人火中取栗的“猫爪”。
八年后，李治再次大赦天下，李义府的妻子和儿子得到赦免，回到洛阳。
后来武则天念及李义府在永徽年间拥立有功，追赠其为扬州大都督。
李义府一家与武则天的纠葛并没有就此结束，而是一直延续到武则天生命的最后一刻。
在武则天生命的最后一年，她已经病重，张柬之等人发动玄武门之变，诛杀武则天宠幸的张易之兄弟，逼迫武则天让位于太子李显。
在这个过程中，出力最多、身先士卒的便是李义府最小的儿子，左羽林将军李湛。
当武则天看到李湛时，惊讶地说道：“你就是诛杀张易之的那位将军？我待你们父子不薄，何至于走到这一步？”
然而，到了这个时候，武则天说什么也没有用了，她已经落到了李湛的手里，从此时到最后病逝，她一直处于李湛的监视之下。
父亲李义府拥立有功，儿子李湛兵变有功，世事真是无常。