守丧中的令狐绹很快听说了李商隐进入王茂元幕府工作的消息，差不多同时也听说了他娶亲的消息：李商隐与他的同年进士韩瞻一样，娶了王茂元的女儿为妻。令狐绹知道，这是“树倒猢狲散”的人之常情——骤然失去顶梁柱的令狐家对于李商隐，就像穿旧的鞋，随手丢在过去。但人又总愚蠢地期望，能够碰见例外。父亲视李商隐如亲子，教他写文章，资助他考试，为他提供工作，给他一切支持，甚至在他屡屡进士落榜时替他向考官说好话。可惜，李商隐并不是那个例外。他迫不及待地另攀高枝去了。
开成三年（838年），进士及第却没有等到授官机会的李商隐参加了博学宏词科考试。原以为像这一科其他考生一样，可以走一条考中即授官的捷径，没想到，他虽然通过了考试，却没有通过政治审查——他的名字已经被报上中书堂，却被某一个宰相黜落了，理由是“此人不堪”。不具名的这个宰相想来知道了李商隐在令狐楚丧期投奔王茂元的事，做出了他认为最有正义感的判罚。李商隐被后世戳着脊梁骨骂“背恩无行”，从此开始。甚至《新唐书》的主编宋祁为了炫耀文采，不肯照抄《旧唐书》，在“背恩无行”四个字上又发展出“放利偷合”。哪里有利呢？两位《唐书》作者脑袋一拍：不是正有所谓“牛李党争”吗？令狐楚是牛僧孺一派，王茂元是李德裕一派，他窜来窜去，是哪一派的好处都不想丢下的小人。
李商隐不爱为自己解释。已经举世嘲讽他“不堪”，还解释什么呢？但面对令狐绹，他总忍不住想要解释一番。两年之后，他给令狐绹写过一首诗，小心翼翼地写道，“锦段知无报，青萍肯见疑”。他是最擅长玩弄文字的天才，一首渲染可怜的诗并不能显示特别的真诚，事情已经发生，再多的解释都是一种掩饰。令狐绹把这封信如常地收在一边。原谅是容易的，但情感上的铁幕落下，要想再打开，哪怕是他自己，也不是随心所欲就能做到的事。他们依然通信，诗词唱和，仿佛还是从小到大一起玩的朋友，但两人心里都知道，都不同了。
李商隐不想失去令狐绹这个朋友，令狐绹的朋友们不想放过李商隐这个“罪人”。开成四年（839年），李商隐一边为王茂元工作，一边依然没有放弃考试。他又参加了一次考中就能立刻授官的科目考：书判拔萃。这一次运气不错，成了秘书省校书郎。很快，李商隐就被调出中央去做弘农尉，负责司法。没想到，他不愿意草率判犯人死刑的努力触怒了上司陕虢（guó）观察使孙简，差点把工作给丢了。孙简这不分青红皂白的怒气却并不是就事论事：孙简的女儿嫁给了令狐绹的哥哥。与黜落李商隐的宰相一样，找李商隐的麻烦是孙简替令狐家鸣不平。
一边是令狐家的亲朋故友对他的惩罚，另一边是老丈人对他文笔近乎自私的索取。李商隐做弘农尉没两年，正在陈许节度使任上的王茂元便招李商隐为自己做掌书记，李商隐没法拒绝。朝廷离开容易，回去难。从此，李商隐又开始辗转幕府，他能做的，只有再次参加考试，获得回朝的机会。两年之后的会昌二年（842年），李商隐再次参加了书判拔萃的考试，锲而不舍地回到了秘书省做正字。
在命运一次次的磋磨里，他已经足够坚强，但一次又一次的跌倒再爬起来并不能交换任何一点儿喘息的机会。春天授官，冬天传来母亲病故的消息，做秘书省正字才半年的李商隐不得不递上辞呈，回家守丧。在与冬天一样萧条的心情里，无所事事的李商隐目之所及，都是家庭的残破。哪怕他背负举世骂名，放弃最爱的朋友，放弃矜持与尊严努力与命运对抗，他还是不够快，来不及给母亲一个想象里衣食不愁、儿孙满堂的安稳晚年。他还能够做到的只有把几个姐姐改葬，迁回怀州家族墓地，这是从祖母那时起就一直惦记也一直无法实现的愿望。
没想到，改葬是在战争中进行的。会昌三年（843年），昭义节度使刘从谏去世，他的侄子刘稹秘不发丧，要求朝廷任命自己为节度使留后。节度使留后常常在节度使不在辖区时代理工作，久而久之，便成了下一任节度使候选人。对朝廷任命不屑一顾的河朔三镇节度使，常常任命自己的亲信儿子做节度使留后，朝廷只有点头应诺的份儿。这是效仿河朔三镇的故事，要把昭义节度使从朝廷命官变成刘家父死子继的囊中之物。朝廷对此有相反的意见，一边认为朝廷已经姑息河朔三镇如此多年，现在多一个昭义不多，少一个也并不能挽回多少脸面。但主持朝政的李德裕态度坚决：昭义与河朔三镇不同，首府路州（今山西长治）靠近长安，如果昭义也如同河朔三镇一样失去控制，对于朝廷是迫在眉睫的威胁。最终，皇帝听从了李德裕的意见。五月，朝廷下令削夺刘从谏、刘稹官爵。朝廷对昭义的战鼓由此擂响。
下一年，朝廷派宣谕使出巡河朔三镇，宣谕皇帝的诏令：想要保持现状，就不准帮助刘稹作乱。宣谕使的工作完成得很好，河朔三镇中的成德节度使与魏博节度使同意率兵攻打昭义与他们接壤的邢州、洺州与磁州。河东节度使、河中节度使等也受命合力进攻，形成了对昭义的包围。正做忠武军节度使的老丈人王茂元被调为河阳节度使，切断昭义军进攻洛阳的可能。
李商隐家的祖坟在怀州雍店东原，正要穿过战场。李商隐带着母亲和姐姐们的灵柩从郑州回到怀州时，烽火朝然，鼓鼙夜动。王茂元的军队与刘稹在怀州短兵相接。李商隐被阻拦在战场之外，无进无退，只能暂时寄放灵车，回到王茂元的幕府，一边为他起草公文，一边等待着这场战争不知道何时的终结。会昌四年（844年）八月，昭义叛乱平定。四散多年的李商隐至亲的灵魂终于在他的努力下团聚在怀州祖坟。
李商隐为这次改葬写下一批祭文，最有名的是《祭裴氏姊文》《祭徐氏姊文》。几个姐姐比他年长许多，她们去世时他还年幼，生离死别的痛苦其实遥远，但“失去”本身却是一种一天一天都在强调的切肤之痛——“内无强近，外乏因依”，“四海无可归之地，九族无可倚之亲”。这个家庭，失去了经济来源，失去了社会地位，失去了亲戚朋友，失去了一切来自外部的帮助，有的只有冷眼与拒绝，穷且困。
李商隐的上一辈人柳宗元曾经写过：“吾观古豪贤士，能知生人艰饥羸（léi）寒、蒙难抵暴、捽（zuó）抑无告，以吁而怜者，皆饱穷厄，恒孤危，𧦧𧦧忡忡，东西南北无所归，然后至于此也。”艰苦、饥饿、羸惫、寒困，他都经历过，也算是“饱穷厄，恒孤危”，他没有被穷厄压死。现在，他是朝廷命官秘书省正字，有一个封疆大吏老丈人，正该成为豪贤。但是王茂元死于昭义叛乱的战场，李商隐通往政治中心的社交网络轰然摧塌。
他再仔细检查，尴尬地发现，只剩下令狐绹。这些年，令狐绹一路从左补阙兼史馆修撰升到从六品的库部员外郎、户部员外郎。令狐绹的官运不亨通，但也一步一个脚印。比起一次两次反反复复从九品下秘书省正字重新开始的李商隐，已经好太多。只是中间隔着“背叛”这样大的障碍，哪怕李商隐反复解释了，交情也维持得不咸不淡。在觍着脸吹捧令狐绹获得推荐与残存的自尊心间，李商隐摇摆了一会儿，但他的犹豫并没有维持太久：
会昌六年（846年），唐武宗去世。唐宣宗即位，改元大中。令狐绹的官运时来运转。