柳宗元被贬到永州时，年近七十的老母亲与他同行。十二年前，父亲去世，七年前，他新婚仅仅三年的妻子杨氏因为流产离开了他，母亲是这个小家庭里陪伴他最久的家人。他年幼的时候，父亲在江南做官，他没有像一般的士大夫子弟那样进国学或者州、县学读书，反而与母亲及两个姐姐住在长安西南沣川岸边的农庄里，家里没有书，便由母亲为他开蒙。母亲教他古赋十四首，且背诵且讲授，又教姐姐们诗礼图史、女红裁剪。
永贞革新的时候，柳宗元捧着朝廷的任命，对于将要登上的舞台，有憧憬有担忧，想要做一番大事，也害怕一旦得罪，会被远贬，被惩罚。母亲只含蓄地对他说：“你就去做大事，不要管我。我虽然老了，如果有一天你要离开京城做官，我也会跟着你。”
直到他被贬邵州刺史，长安到湖南邵阳，路途千里，舟车不便，柳宗元满怀愧疚，母亲却笑着说：“我的愿望终于实现了。”到了永州，山川起伏，寸步劳倦，野外有毒蛇毒虫，只能借住在湿冷阴暗的龙兴寺。柳宗元不仅没有能够复兴他的家族，甚至连一个普通京官一般奉养老母也不行，他抱以厚望的改革，最终把他变成了一个罪人。痛苦内疚的时候，母亲又对他说：“你从前做的错事，当作以后的警示，敬惧而已。你如果能够做到这样，我就没有任何的遗憾。明者不悼往事，我从来没有因为你的事情悲戚过！”
母亲的从容助长了柳宗元本就棱角分明的倔强。永贞革新里施行的政策没有一件是错的。更滑稽的是，除去五坊小儿，抑制藩镇等措施被宪宗继承下来，继续实施着。他便理所当然地不知悔改，甚至，在贬谪的委屈忧愁里生出了一种悲壮。反省，但不后悔。他在《戒惧箴》里写下：“省而不疚，虽死优游。”
直到“问对错”也失去意义的时候。永州的房屋简陋，无人侍奉，夏天炎暑熇蒸，湿热不去，生病没有地方看，药石也求不到，祷告更没有神灵的同情。不到半年，在元和元年（806年）的夏天，母亲就去世了。灵柩需要运回京城栖凤原祖坟安葬，但柳宗元这个名义上的永州司马实际上却是个囚徒，连母亲去世也不能送灵车回京。他这个被困在南荒之地的独子，所有的孝心只能是跟在灵车后面，看着它越走越远。
他努力做官为了做让母亲骄傲的儿子。现在，马医农夫、乞丐用人甚至奴隶，只要有孩子，就会在清明时受到子孙的追养，但是京兆万年县栖凤原上显赫的河东柳氏，自以为高门大族的柳宗元，他父母的陵园不会有子孙祭扫。这像一根针，走路时扎在脚下，躺卧时扎在脖颈，痛时他就发愤向京中一切有可能帮助他的旧识求告，求一个回到长安，甚至转去离长安近些州县的机会。
并不是没有机会。元和四年（809年），也在永不量移的“八司马”之列的程异忽然被召回京城，因为在理财方面的本事被吏部尚书、盐铁转运使李巽（xùn）起用为盐铁转运使扬子巡院留后。
柳宗元家的亲故颇有在朝堂上能说上话的，但他贬谪永州五年，从来没有故旧大臣写信来问——他是罪谤交积的罪人，人人都怕问一句就沾上倒霉的腥臭，坏了自己的大好前途。别人不写信来问，他也不敢贸然写信去求救。崔群是柳宗元一起长大的通家旧好，无信来问，柳宗元还要给他找理由：崔群现在做中书舍人，翰林学士，是皇帝身边的人，多少双眼睛盯着，不要给他难堪。柳宗元也不敢给他写信，只能在《与李翰林建书》中小心翼翼提一句：“敦诗（崔群）在近地，简人事，今不能致书，足下默以此书见之。”偶尔有信来问，他捧着信诚惶诚恐，疑若梦寐。
年轻时他要做领袖，仿佛人人都喜欢他。唐代有做“壁记”的传统，新的建筑盖起来，都争着要请文坛的最有名的一支笔来做壁记，叙说建筑的源流与意义，抄誊在墙壁之上，作为可以流传后世的光荣。邠宁进奏院落成，请柳宗元写了壁记。周至县盖了新食堂，邀请他在食堂墙壁上写壁记介绍食堂兴建的缘由。太学有三个新任的四门助教上任，办公室里少一个壁记，也请柳宗元去写。他是最受欢迎的天才，人人趋之若鹜。
在永州，穷厄困辱，世皆背去。他还保留着贞元年间应邀写作的壁记，如同保留他年轻时左右逢源的证据。现在想来，当时真的人人喜欢他吗？那些奉承夸赞里又有多少口蜜腹剑……他现在都明白了。在不能入眠的深夜里，柳宗元在给旧友的《与裴埙书》中自我剖析：“我早年进取，早早得高官，惹人嫉恨。朋友们都要我替他们求官，哪怕我勉力为同辈朋友推荐，真正得官的也只有十分之一。求官不得的那些于是诪张排拫，编排造谣。不过，自己生性高傲，不能摧折，人人说我不堪，我便越不解释，以为时间可以证明一切。现在我落难也已经这样久了，但朝廷中关于柳宗元的造谣依然风风雨雨不能停止。”
为了求生，他还要继续硬着头皮给从前有交集的朝中贵近寄送文集。柳宗元做监察御史里行时武元衡是御史中丞，他的顶头上司。代拟表章的事情柳宗元做过不少，武元衡后来升做西川节度使政绩卓著，也很会表现识才怜旧的风度，他给柳宗元和刘禹锡都写了慰问信。但叙旧可以，起复不行：永贞革新时武元衡因为不站在王叔文一边从御史中丞被贬至太子右庶子。柳宗元、刘禹锡如同鸡肋，弃之可惜，但谁都不愿意赌上自己的前途去再次起用他们两个。
回到京城遥不可望。更给祖宗蒙羞的是，他快四十了，连个儿子都没有，死都没脸去死。