白居易还没有经历沉沦的时候，对“失败”就不陌生。他做拾遗，作为皇帝的眼目，系玉为佩，曳绣为衣。但居高临下，“朝见宠者辱，暮见安者危”，对命运翻覆看得更清楚。他跟好朋友元稹约好了，等到女儿嫁了，儿子成家了，就退休去过渔樵江渚、岁晚青山的生活。
等到自己真正经历起伏，又忍不住计算起数十年宦游的得失。唐代做官，三品之上穿紫袍，佩金鱼袋，五品以上才能穿绯袍，配银鱼袋。六品之下着青袍，没有鱼袋。在长安蹉跎十多年，他屡屡望见绯袍银鱼袋，现在又功亏一篑。
年轻时用来拼搏前途的健康也已经抵押给时间，再也拿不回来。白发多得数不过来，就任它去长。眼睛更坏了，夜里读书疼痛难忍，只能熄了灯，暗夜枯坐。
小城市日落而息。江边清冷的码头上，他又听见繁华长安的琵琶曲。浔阳北风里枫叶荻花瑟瑟脆响，他又写了一首流行的诗，娱乐别人，拯救不了自己。他依然陷落在没有灯火的荒野，再繁复堂皇的曲调，也不过讥诮地一遍遍指出，他一个“天涯沦落人”罢了。
元和十年（815年），四十三岁的白居易困在庐山脚下的江州，白发青衫，江州司马，他这辈子大概就这样完了。当年的同事，哪怕是不如他的，却个个都发达了！他像是赤身裸体落在深井里，衣冠整齐的昔日同僚在井上来来去去，不看他，难过；低下头来看看他，更让他感觉受到羞辱。与他同做拾遗的崔群已经做了宰相，写信来问。他回信说：您问我近况怎样，没什么好说的，混吃等死而已。您又问我身体怎样，除去一只眼睛不好，身体的其他地方也不好。你又问我每个月的钱够不够花，我虽然钱不多，计算着花，反正没冻死。
白居易花钱在庐山上造了一栋别墅，三年江州司马，他有一半时间住在庐山上。按规矩，守官离开治所，都要请假报备按期归来，白居易屡屡超期，别人也不敢管他——白居易的诗名天下皆知，哪怕在贬谪的路上，也有学龄少年款款背诵《长恨歌》。
委屈、怨恨。说出来小家子气，给别人添笑话。只好一再强调：我不在乎，我无所谓，我学佛参禅热爱自然，好得很！