从唐朝中期开始的“牛李党争”绵延了近半个世纪。在唐武宗为帝的时代，“李派”首领李德裕备受恩宠，做了六年宰相。李德裕为政甚为刚健，满朝清明肃然。但同时，由于出身高门，他的贵族作派又非常突出，以奢华为例，按《独异志》记载：“武宗朝宰相李德裕奢侈极，每食一杯羹，费钱约三万，杂宝贝、珠玉、雄黄、朱砂煎汁为之，至三煎，即弃其滓于沟中。”也就是说，李德裕每喝一杯羹，价值三万钱，而且羹汤是用当时稀有的珠玉、雄黄、朱砂等煎熬，熬到第三次后，这些珍贵的药材就扔到地沟里。可以设想，连李德裕家的地沟也充满了宝物。说到宝物，按史上记载，李德裕“每好搜掇殊异，朝野归附者，多求宝玩献之。”可以说是古代的一位文物收藏家。放到现在，他所收藏的随便一件东西想必都价值几百万元。举一个例子：有一年盛夏，大臣们在他家聚会，当时天气甚是闷热。李德裕说这不妨事，随后把大家带到一个小屋，屋子四壁之上均是前人的名贵字画。诸位入座后，顿感清凉无比，于是问其故，才知道屋内有一件稀世宝物白龙皮，为新罗人所献，将其浸入水中后四周则清凉如秋。这只是他收藏的宝物之一，此外还有诸如暖金带、壁尘簪等皇家也没见过的东西。
唐宣宗即位后，深恶李德裕，当然不是因为他的奢华，而是因为他孤傲严肃、不怒自威的个性风格以及在武宗时代对自己的打压。按史上记载，每次上朝时，看到李德裕后，宣宗皇帝往往“寒毛倒竖”。这样的君臣关系算是没法处了。所以，没几天，皇帝就将李德裕贬到南方。在“牛李党争”的半个世纪里，两派人物被贬到外地是常事，所以当接受贬令时，李德裕虽悲愤，但还抱着有朝一日重返长安的幻想。但他错了。
唐相国李德裕为太子少保，分司东都。尝召一僧问己之休咎，僧曰：“非立可知，愿结坛设佛像。”僧居其中，凡三日。谓公曰：“公灾戾未已，当万里南去耳。”公大怒，叱之。明日，又召其僧问焉。”虑所见未子细，请更观之。”即又结坛三日，告公曰：“南行之期，不旬月矣，不可逃。”公益不乐，且曰：“然则吾师何以明其不妄耶！”僧曰：“愿陈目前事为验，庶表某之不诬也。”公曰：“果有说也？”即指其地曰：“此下有石函，请发之。”即命穷其下数尺，果得石函，启之，亦无睹焉，公异而稍信之，因问：“南去诚不免矣，然乃遂不还乎？”僧曰：“当还耳。”公讯其事，对曰：“相国平生当食万羊，今食九千五百矣，所以当还者，未尽五百羊耳。”公惨然而叹曰：“吾师果至人！且我元和十三年为张公从事，于北都，尝梦行于晋山，见山上尽目皆羊，有牧者十数迎拜我。我因问牧者，牧者曰：‘此侍御平生所食羊。’吾尝记此梦，不泄于人，今者果如师之说耶，乃知阴骘固不诬也。”后旬日，振武节度使米暨遣使致书于公，且馈五百羊。公大惊，召告其事，僧叹曰：“万羊将满，公其不还乎？”公曰：“吾不食之，亦可免耶！”曰：“羊至此，已为相国所有。”公戚然。旬日，贬潮州司马，连贬崖州司户，竟没于荒裔也。 （《宣室志》）
在这个秘密记载中，李德裕在被贬前居于东都洛阳，曾向一善于预测的僧人问吉凶之事，僧人指出李德裕近期将有灾难，会被贬到遥远的南方，且称南行之期月内即见分晓，无可逃避。李德裕郁闷，努力说服自己不要相信。
“您不相信？那这样，我们做个实验。”僧人说着，一指地下，“此地下埋有一石盒。”
李德裕立即叫人挖掘，果得一石盒。李德裕大惊，问：“贬至南方既然不可免，那么我想问一句：还有回还的可能吗？”
僧人道：“还有这个机会。”
僧人又道：“您这一生，应吃一万头羊。到现在为止，您已吃了九千五百头。也就是说，以后还有吃五百头羊的日子，官位未绝。”
李德裕长叹一声：“法师真乃神人！宪宗皇帝元和十三年，我在北都太原为张弘靖宰相的部下，曾梦见自己行于晋山上，那里是一眼望不到头的羊群，有牧羊人告诉我，这满山之羊是我平生所吃之羊。这个奇异的梦被我隐藏数十年，一直未向他人说过，而现在看来，正中禅师之言！”
尽管很悲伤，但李德裕还是抱有一丝侥幸，因为如那僧人之言，自己还有吃五百头羊的显贵日子，即使每天都吃羊肉，吃完这五百头羊，也需要十年。也就是说，自己还能显贵十年。联系到自己现在的岁数，十年足矣！
但计划赶不上变化。没过几天，振武节度使米暨派人来到洛阳，为了表达对李德裕的尊敬，专门一次性地送来了五百头羊作为礼物。
李德裕望着庭院里的群羊，大叫一声：“天意？！”
随后，李德裕将此事告诉那僧人，僧人摇摇头，叹息道：“一万头羊已够数了，看来您被贬之后，不能回还了。”
李德裕说：“我不吃这些羊还不行吗？”
僧人说：“羊已到了您眼前，吃不吃的都已属于您了。”
李德裕神色戚然，陷入长久的沉默。在他为宰相的时代，他对内抑制住中唐以来嚣张的宦官势力，对外采取强硬手段削平藩镇，并成功打击、威慑了回纥、吐蕃以及南诏。他甚是勤政，每日出入宫闱，与武宗皇帝商讨军国大事，他的名诗《长安秋夜》即是这种生活的写照：“内官传诏问戎机，载笔金銮夜始归。万户千门皆寂寂，月中清露点朝衣。”此诗生动地刻画出一位宰相夜以继日、辛勤工作的形象。但现在皇帝换成了宣宗，他失宠了。在收到那令人压抑、恐怖的五百头羊后，没几天，他就接到等待中的朝廷命令：被贬至荆南。随后，又被贬为潮州司马，还未到潮州，又贬为崖州司户。崖州，即现在的海南岛三亚。可以想象唐朝时那里的荒蛮，大约是那个帝国的最南方了。在去南方的路上，过一条险恶的河流时，李德裕身上携带的白龙皮、暖金带、避尘簪等无价之宝，不慎落入了水中，从此它们消失于这个世界上。
李德裕无限伤怀，他永远失去了它们，永远失去了北归之日。
远贬崖州后，李德裕写有无限伤感的《登崖州城》：“独上高楼望帝京，鸟飞犹是半年程。青山似欲留人住，百匝千遭绕郡城……”他终于没有机会北返中原了。大唐帝国的最后一位铁腕宰相最后孤独地死在了海那边。那是唐宣宗大中四年（公元850年）。