生长于特殊家庭环境的谢灵运，对晋宋易代的政治气候非常敏感：“鼻感改朔气，眼伤变节荣。”（《悲哉行》）刚演完受禅把戏的刘宋王朝，对他这个东晋数一数二的世胄子弟恩威并至，一方面将他的封爵由公降为侯，一方面又起用他为散骑常侍和太子左卫率。此刻，如何与这个新王朝相处这一难题摆到了谢灵运面前，明末张溥对他在这个问题上的态度很不以为然：“涕泣非徐广，隐遁非陶潜，而徘徊去就，自残形骸。”谢氏之所以在改朝换代之际“徘徊去就”，是由于这个问题涉及人生道路的价值抉择，而恰巧价值委身问题又困扰着他的一生。谢灵运的时代，汉代传统的价值规范和人生信念受到了普遍的质疑，而新的价值规范还在形成之中，他在这样的文化背景下汲取各家各派的学说思想时，自然难存信奉和践履它的虔诚感。他常常景仰提倡自然无为的老庄，在山水诗中也禁不住谈玄论道；又不时远瞻外域的释伽牟尼，乐于同佛教徒一起论佛译经，《辩宗论》至今还被认为是佛教史上的宝贵资料。综观其一生的行藏出处，他又远没有看破红尘或无为淡泊，倒更近于一个不能忘情俗务的儒家弟子。这种文化构成的驳杂而又缺乏主导信念，没有办法让他确立一种价值规范作为自己安身立命的行为准则，找不到何处是自己的精神归宿：是争取像祖辈那样在政治舞台上大出风头，还是终生享受遨游山水的乐趣？是满足现实的物质欲望，还是去过一种淡泊的悟道生涯？是迎合世俗以邀时誉，还是虔诚地去追求某种人生的永恒价值？
刘宋王朝两次命他做京官，一次是在宋武帝刘裕的时候，一次是在宋文帝刘义隆的时候，每次他都没有拒绝朝命，而且还为这两位皇帝的登基大唱赞歌，所以方虚谷尖锐地指出：“灵运之为人，非静退者。”但如果说他没有一丁点企希山林的念头，恐怕连谢灵运自己也感到冤枉，他的诗集中差不多首首有钦羡嘉遁的句子。令人费解的是，在东晋还未“禅让”时就多次表白早存退隐宿心的谢灵运，居然还会接受新王朝的朝命。事后他辩解说自己本来“偶与张邴合，久欲还东山”的，只因为“圣灵昔回眷，微尚不及宣”。言外之意是在朝做京官实属身不由己的感恩图报，徜徉山林才是自己的本心。有一次他还说自己同官场的气氛很不协调，深感自己像被囚禁起来的小鹿。谢灵运身为朝官却“意不平”，“多称疾不朝直，穿池植援，种竹树果，驱课公役，无复期度”。
他企希归隐向往山林的心情很复杂，既有不满刘宋王朝对自己的政治待遇，以此显示不愿与新政权合作的愤激，也有对隐逸本身那种逍遥生活的羡慕；既有远灾避祸以求明哲保身，也不可否认其中含有对独立不移的个体人格的追求。“人生谁云乐，贵不屈所志”，很容易使人想起“三军可夺帅也，匹夫不可夺志也”的儒家遗训。《登永嘉绿嶂山》说：“《蛊》上贵不事，《履》二美贞吉。幽人常坦步，高尚邈难匹。”四句诗中两处引用了《周易》中的典故，《周易·蛊卦》上九：“不事王侯，高尚其事”，同书《履卦》九二：“履道坦坦，幽人贞吉。”诗人用典的本意在于表白自己“不事王侯”的孤高脱俗的操守，所以诗后四句接着说：“颐阿竟何端，寂寂寄抱一，恬如既已交，缮性自此出。”他甘愿不为人知地抱朴守道（“抱一”）。也不愿“丧己于物，失性于俗”。
然而，我们看到的还只是谢灵运的一个方面。不错，他的确有过对理想人格的追求，但一旦与现实利益相抵牾时，他就会毫不可惜地放弃它。他不是说身在京朝有如野鹿被囚吗？他被外放为永嘉郡守时的那份凄惨模样，又使人怀疑他的表白是否真诚：“述职期阑暑，理棹变金素。秋岸澄夕阴，火旻团朝露。辛苦谁为情，游子值颓暮。”他在《过白岸亭》中说自己想“长疏散”：“荣悴迭去来，穷通成休戚。未若长疏散，万事恒抱朴。”才说过注重内心的适意任情而视富贵如浮云不久，他很快又在《君子有所思行》中津津乐道地品味物质享受：“总驾越钟陵，还顾望京畿。踯躅周名都，游目眷忘归。市廛无厄室，世族有高闱。密亲丽华苑，轩甍饰通逵。孰是金张乐，谅由燕赵诗。”
当在仕途被弄得疲倦不堪时，他就觉得“贞观丘壑美”的隐遁生涯或许更适合自己的本性，并把乌纱帽看成是扭曲自我的桎梏，“顾己虽自许，心迹犹未并”，痛恨隐逸之“心”与隐逸之“迹”的分离，要求心迹合一，当一个名副其实的隐士。那么，离开了官场走向山水之中，他是不是就真的找到了自我，重新获得了自己的本性呢？写于罢官后的《富春渚》一诗真实地表现了诗人进退失据的两难心境：
宵济渔浦潭，旦及富春郭。定山缅云雾，赤亭无淹薄。溯流触惊急，临圻阻参错。亮乏伯昏分，险过吕梁壑。洊至宜便习，兼山贵止托。平生协幽期，沦踬困微弱。久露干禄请，始果远游诺。宿心渐申写，万事俱零落。怀抱既昭旷，外物徒龙蠖。
该得遂了山水的乐趣吧，可又化不开远离政坛的忧郁；似乎找到了人生的归宿，却像又一次失落了自我；刚才还有“兼山贵止托”的充实，马上又浮起“沦踬困微弱”的空虚；是“宿心渐申写”和“始果远游诺”了吗？但又切切实实地感到“万事俱零落”的悲哀。
因为不知道何处是自己的真正归宿，所以无论是在政坛，还是在山林，无论是在群居，还是在独处，他时时处处都感到无所适从。羁留政坛觉得政治扭曲了自己的本性，身处山林又感到寂寞难熬。政治既不合他的胃口，山水也不是他的知音。一个本来就没有获得自我的人，一个情感结构分裂矛盾的人，在山水中也不可能发现自我，完整和谐的山水与他之间自然不存在任何契合点，因而难以将自己对象化于山水之中。这样，山水与他之间永远是对峙的，描绘山水与表现情感不可能同一，这使他的山水诗在描绘山水之外，还要另发一套与山水毫不相干的议论。于是，诗人自身情感结构的分裂，造成了诗人与山水之间的分离，并进而造成他笔下山水诗艺术形式结构的割裂。