他也还讨一类人喜欢：愤怒青年、失意秀才、贬谪朝官。柳宗元的族弟柳宗直考上进士却没有得官，时有传说，都是因为有个罪人哥哥柳宗元连累了他。柳宗直干脆就去永州找柳宗元，向他学文章，陪他到处玩，照顾一家人。类似的还有柳宗元的表弟卢遵，跟柳宗元同样被贬谪而无所事事的吴武陵。
这一群被时代抛弃的人什么都没有，只有大把的时间，于是施施而行，漫漫而游，入深林，穷回溪，幽泉怪石，无远不到。柳宗元负责规划路线：从龙兴寺走到法华寺，登上法华寺西亭可以望见湘江，湘江的支流冉溪，冉溪之外的西山。冉溪而南，西山往西的钴鉧潭，钴鉧潭西有小丘，小丘西又有小石潭。都游玩一遍。
过了几年，他搬去冉溪，没多久，再次从西山开始另一个方向的巡游。
西山中有可以观景的朝阳岩。朝阳岩东南，冉溪水行至芜江，有袁家渴。楚越方言中，水的支流叫“渴”。袁家渴西南步行百步，有一条长十许步、宽窄变化在数尺间的石渠；水流从大石下穿过，往更远处菖蒲覆盖，清鲜环周的石潭源源而去。石渠上有石桥，过桥西北下土山山南，又有一座桥，过桥后是一条比石渠宽阔三倍的石涧，涧底是宽阔不见边际的整块大石。水流冲刷着石床，流若织文，响若操琴。
这两次长长郊游的记录在《始得西山宴游记》《钴鉧潭记》《钴鉧潭西小丘记》《至小丘西小石潭记》《袁家渴记》《石渠记》《石涧记》和《小石城山记》。这些就是后来提到柳宗元必要提起的《永州八记》。
山水游记，柳宗元眼前已见过许多范本：北朝郦道元整理地理文献而成的散文体《水经注》，南朝诗人鲍照的骈体《登大雷岸与妹书》。但没有人如柳宗元，他的文字踏着如水流般自由流动的步态，有击石般玲珑的音律。当时流行学骈体文写公文，他偏不。他按着司马迁的路数写散文，但从小接受的骈骊对偶让他的散文里有强烈的律动，朗朗上口。韩愈在朝，柳宗元被放逐，但不妨碍他们一道提倡的散文写作成为当时的风尚——“古文运动”。
他数十年用力于文章的苦心，原是为了成为最出色的翰林学士，执掌制诰，成朝廷腹心，创造属于他的时代。现在，只能随便浪费在人迹罕至的荒山水。每一次的出游总以兴致勃勃为始，寥落萧瑟为终。每当他从发现美景的喜悦里沉淀下来，将要深入对人生的感慨，他总把它硬生生掐断：都是恐惧，都是委屈，不要提。
有人从北方来，看他天天到处玩，笑嘻嘻地对他说：我本想来宽慰宽慰您，看您现在脸色坦荡，看来是通达人，那我就祝贺你了！柳宗元既无法埋怨这轻佻的安慰，也无法直白地陈说自己的痛苦，只能淡淡回答：“嬉笑之怒，甚于裂眦；长歌之哀，过于恸哭。”
柳宗元在永州的前五年，到处寄住，从龙兴寺住到法华寺西亭，都是暂住。五年之间，住处被山火烧毁四次，墙倒窗毁，书籍衣物荡然无存，人光着脚跑出来，不敢烧火，不敢做饭，不敢点灯。只惴惴不安坐在屋顶，等着天灾过去。怀揣着很快就能离开的希望，他总是憋着不愿意盖房子。到元和五年（810年），柳宗元终于买了小丘，买了泉，盖房子，垒池塘，有了固定住所。他为溪水泉丘池堂亭岛都起了名字——愚——因为他自己蠢。他为此写了《愚溪诗序》：愚溪之上，买小丘为愚丘。自愚丘东北行六十步，得泉焉，又买居之，为愚泉。愚泉凡六穴，皆出山下平地，盖上出也。合流屈曲而南，为愚沟。遂负土累石，塞其隘，为愚池。愚池之东为愚堂，其南为愚亭。池之中为愚岛。
从此放弃回京城去的奢望，要把永州当作家。
陪他一起游玩的人渐渐都离开。吴武陵调任，宗直在三十岁上早早故去。柳宗元为此自责万分。他在祭文里反反复复地说，柳宗直的英年早逝都是自己的罪。像柳宗直这样眼神儿不好，不会察言观色的人屈指可数。更多的人，脑子很好使——哪怕是柳家族里的小辈也知道躲着他走。旅途哪怕经过永州，也假装不知道柳宗元在此，目不斜视，飞快赶路。柳宗元年轻时就知道这个道理，在《宋清传》里写过“吾观今之交乎人者，炎而附，寒而弃”。他早早接受了这种势利。老实的小辈柳澥（xiè）来看他，离开时，柳宗元为他写了一篇序，夸柳澥是敦厚朴实的人，勉励他勤圣人之道，辅以孝悌，期望他在未来带领柳氏一族的复兴。那些对他不闻不问的族里小辈，他平平淡淡讲起他们去往各地赴任出差，经过永州也不来看他一眼的事，他甚至还要柳澥为他带话，勉励他们奋发，为自己不能替家族增光而道歉。
他们都有光明的未来。如同一颗钉子一样被摁死在永州的，只有他柳宗元。
永州在南方，到了冬天，有时也落雪，日夜不歇。登上朝阳岩，可以见到白茫茫无边延伸，越过五岭覆盖南越数州。柳宗元记下冬日的大雪，也记下他仿佛自由又永远被禁锢的心情：
千山鸟飞绝，万径人踪灭。
孤舟蓑笠翁，独钓寒江雪。
——《江雪》