但寒山毕竟属于那种“不得志而逃于禅”的落魄书生。尽管隐居天台山并皈依佛，对隐居前俗世生活的回忆仍不免激起他感情的涟漪。
回忆家中的田园生活，他写道：
茅栋野人居，门前车马疏。
林幽偏聚鸟，溪阔本藏鱼。
山果携儿摘，皋田共妇锄。
家中何所有，唯有一床书。
一个耕读自娱的乡村知识分子，过着与世无争的生活。若不是安史之乱，我怀疑寒山是否舍得出家。
虽然绝意仕途，寒山身处幽岩，有时仍不免系国于心：
国以人为本，犹如树因地。
地厚树扶疏，地薄树憔悴。
不得露其根，枝枯子先坠。
决陂以取鱼，是求一期利。
中国传统士人的忧患意识，并没有在他心中消磨殆尽。对于一个红尘中人，抛开利禄功名，最折磨人的，莫过于国事和家事。寒山虽然采取了决绝的态度，但仍不免有梦魂牵绕的时候：
昨夜梦还家，见妇机中织。
驻梭若有思，擎梭似无力。
呼之回面视，况复不相识。
应是别多年，鬓毛非旧色。
梦中还乡探视妻子，苦捱度日的妻子已经不认识他了。这种凄凉真是难与人言！除了国家的频年战乱而导致仕途无望，兄弟与妻子的不容，也是寒山出家的原因：
少小带经锄，本将兄共居。
缘遭他辈责，剩被自妻疏。
抛绝红尘境，常游好阅书。
谁能借斗水，活取辙中鱼。
这首诗可视作是寒山对世俗生活的抗诉。家庭是避难的港湾，亲情是归乡的小路。然而，兄弟反目，妻子不容，让寒山真正尝到了国破家亡的苦楚。哀莫大于心死，在三十而立的年龄，寒山的生命历程产生了逆转。
关于三十岁之前的生活，寒山在另一首诗中有所表述：
出生三十年，尝游千万里。
行江青草合，入塞红尘起。
炼药空求仙，读书兼咏史。
今日归寒山，枕流兼洗耳。
看得出，年轻的寒山有着强烈的游侠习气，并且像李白那样迷恋于道教。求仙炼药，壮游万里。这样的举动，必然是抛家不顾，不但不能养家，还得家中供应他的川资。这就导致他的亲情疏远，最终不得不弃家出走。
一般的人，内心往往是不坚定的，尽管社会生活一再地折磨他，他仍然不能舍弃，甚至逆来顺受。这些人，没有自己的世界，也就是说失去了自我。尊严、人格、天真与自由，对于他们来说，变成了遥远而又陌生的概念。心灵任人宰割，最终导致自欺欺人，把屈辱当作幸福，不求性灵，只求苟安。
失去自我的生活是悲哀的，但仅仅知道自我的位置仍然不够。英国著名的哲学家罗素说人与生俱来就有三大敌人：自然、他人与自我。我认为，这三大敌人中最难战胜的便是“自我”。明代王阳明说过“破山中贼易，破心中贼难”，也是同一个道理。《尚书》说“自作孽，不可活”，更是一针见血地指出了问题的根本。芸芸众生，每一个人都有一个“心贼”，它如影随形陪侍着你，偷走你的善良和天真，让你成为欲望的奴隶，而渐渐忘却自己存在的理由。一个人既成了迷途不返的浪子，那他就再也不可能在名、利之外，找到另一种超越自我的生活空间。