王安石于熙宁八年（1075）二月，东山再起，复任同中书门下平章事，同年四月，进尚书左仆射兼门下侍郎，再度拜相。这时候，神宗对他虽然敬信不衰，但政治大环境，对他先已造成的“亲友尽成政敌，谤怨集于一身”的情况，并不因为中间稍稍间歇而有任何改善。另一意外，他的还朝，反而见忌于自己一手提拔起来的吕惠卿，认为安石再相，挡了他的锦绣前程，遂欲力闭其途，只要可以为害安石的，无所不用其极。甚至利用献《流民图》的郑侠狱案，害安石之弟安国。更将安石给他的私书，中有“无使齐年（指冯京）知”“无使上知”语者，密呈神宗，动摇皇上对他的信心。安石一则痛心于他的新政措施败于群小之手，事功渺不可期；再则又很悔恨于“智不足以知人，而险诐常出于交游之厚”。失望之极，屡屡上章求去，无奈神宗总是不许，甚至诏令“勘断来章”，以示挽留的坚决。
不料再相的翌年，安石最得力的长子王雱（元泽），竟以三十三岁的英年，忽患背疽而死。遭遇如此，安石悲伤不堪，万念灰灭。决心摆脱政柄，罢为镇南军节度使同平章事，判江宁府，萧然归隐金陵。
一个政治家，一旦从热烈的政治生活中冷静下来，不免回顾生平，牵扯出种种前尘往事，常为自己作下一个残酷的结论。安石自嗟这一腔救国救民的抱负，何以竟不为当代的先达和老成所接纳，血心创造的种种新政措施，又不能获得大部分正人君子的合作，孤军奋斗勉强打下的一点新政基础，而又后继无人，是不是他的一切努力，都将付诸无情的东流，将来历史上又将如何描画他呢？他不能为同时代的人所了解，怎能避免后人的曲解或歪曲？一向强硬的安石，也不禁惶惑起来，一种突然产生的孤高的寒意，侵袭着他；一种无助的失落和悲哀，淹没了他。当时所作七律一章，意境竟已非常苍凉：
自古功名亦苦辛，行藏终欲付何人？
当时黯暗犹承误，末俗纷纭更乱真。
糟粕所存非粹美，丹青难写是精神。
区区岂尽高贤意，独守千秋纸上尘。
安石原来有皇帝诏赐的一座宅邸，在金陵白下门外七里，距钟山宝公塔亦七里，故名“半山”的地方。虽是退休宰相的宅邸，周围却不筑设围墙。门下劝他，居室如此暴露，未免太不安全，他但笑而不答。每日骑匹野驴，带一两个随僮，漫游金陵各处山水名胜，南朝遗留下来的许多佛寺，逐一都有题咏，几年下来，倒已积存了很多诗稿。
后来，这位孤独的老人，不幸又害了一场大病。病后，精神体力更加大不如前，觉得自己要这空荡荡的大宅邸，实在没有用处，便把它舍作佛寺——名曰“报宁禅寺”。他则隐居钟山，闭门却扫，平常不大出门。到苏轼自黄州至金陵时，安石已经在此闲居八九年了。
当年的现实政治，曾使王、苏二人隔阂甚深，误会重重。但至罢政闲居以后，苏轼已在黄州，安石对于这位后辈的才气、学问和品格，却又非常欣赏起来。凡遇有从黄州来的人，他必定要问：“子瞻近日有何妙语？”
有一次，有人告诉他说：“子瞻宿于临皋亭，夜半醉梦而起，作《胜相院经藏记》一篇，得千余字，一气呵成，写毕，才点定一两字而已。现有抄本在船上。”
安石即请人取来。其时，月出东南，林影在地，这花甲老人，便站在屋廊檐下，就着薄暮微光，展卷细读，喜见眉宇。
“子瞻，人中龙也。不过这篇文章中，却有一字未稳。”老人读毕，慨然言道。
“愿意听听您的高见。”
“文中‘日胜日贫’那一句，不如说‘如人善博，日胜日负’。”
这话后来传到苏轼耳中，他也禁不住拊掌大笑，认为荆公确是知言。
苏轼一到金陵，即遭殇子之痛，还来不及去晋谒荆公，荆公却已野服乘驴，到江边来看他了。
苏轼不及冠带，出船迎揖道：“轼今日敢以野服见大丞相。”
“礼岂为我辈设者！”安石洒然笑答。
这两位个性不同，但是一样伟大的人物，不论从前身在政治漩涡中，曾经有过若干是非，多少摩擦，而今事过境迁，金陵重见，则两人都已退出了那个混乱而又充满喧嚣的政治舞台，彼此皆是台下的闲人了，回首前尘，恍如噩梦。现在，悠游林下的王安石，得以一代才人来看待苏轼，苏轼则以前辈敬视荆公，无拘无束地晤言一室之内，不觉都有快慰平生的喜悦。
王安石与苏轼，二人间另有一件微妙的关合，为两人的生、死、出身，都在同一年岁上。安石生于天禧五年（1021），苏轼生于景祐三年（1036），年龄相差十五岁。安石成进士于庆历二年（1042），苏轼为嘉祐二年（1057），同为二十二岁登第，前后相距也是十五年。最后一点，则在当时两人都不自知的，安石薨于元祐元年（1086），苏轼卒于建中靖国元年（1101），享年均为六十六岁，辞世先后也差十五年，可谓巧极。
苏轼约期来谒的前一晚，安石和几个门下客闲谈，他问“动”“静”二字，应该怎样解释？门客回答的话，拖拖沓沓数百言，还没解说明白，安石不能满意，便说：
“等子瞻明天来时问他。”
后来拿这题目问苏，苏轼应声答道：
“精出于动，守神为静，动静即精神。”
安石为之击节称叹。
苏轼在黄州作雪诗，有“冻合玉楼寒起粟，光摇银海眩生花”句，别人都不知典故出处，他二人谈到这诗时，安石说：“道家以两肩为玉楼，以眼目为银海，阁下使的是这个典故吗？”苏轼大笑称诺。退后，对安石门客说：“学荆公者，哪有像他这样博学的啊！”荆公叫苏轼口诵一篇得意的近作，他亲笔写了，送他做纪念，又自诵诗叫苏轼写赠自己。
他们两人，接连数日，朝夕相见，饮食游玩，都在一起。金陵太守陈睦（和叔）陪伴他们同游了蒋山诸寺，安石的门客段缝（约之）、叶涛（致远）、陈辅之等共与游宴，大家都很偷快。
老年人历经世故，大抵都会喜欢史学，安石和苏轼于纵论诗文之余，不知不觉就把话题转入治史这条路上去了。安石认为苏轼是蜀人，平生纵迹又遍历中原和荆吴诸地，是重写三国史的理想人选，便鼓励他乘现在有时间来担当这一任务。安石说：“欧阳修作《五代史》而不作《三国志》，实是可惜，现在应该由你来做。”苏轼坚辞不敢，说：“作史我不内行，愿举刘道原（恕）自代。”从覃心著作又谈到安定生活的重要，安石就举自己旧作《读蜀志》一诗为证，他说，三国的刘备曾对许汜说：“人该忧国忘家，不应求田问舍。”安石不以为然，曾作翻案文章曰：
千载纷争共一毛，可怜身世两徒劳。
无人语与刘玄德，问舍求田意最高。
因此，又劝苏轼就在金陵买点田地，寻所住宅，先把生活安顿了，然后才能读书治学。安石这番意思，非常明白，他希望苏轼留居金陵，和他作伴，苏轼也为之非常感动，作《次荆公韵四绝》中，有一首是：
骑驴渺渺入荒陂，想见先生未病时。
劝我试求三亩宅，从公已觉十年迟。
苏轼面对这伟大而又孤寂的老人，想起“逝者如斯”又不可追的过去时候，有许许多多可以后悔的地方，所以说“从公已觉十年迟”，这是苏轼真诚的忏悔之辞，是他经过御史台狱的锻炼，经过黄州五年，沉痛的反省之后，才说得出来的真心话。荆公得此诗后，也很感动，惘然道：“十年前后，我便不厮争。”
苏轼在金陵逗留期间，听从安石劝告，开始访求田宅，可惜匆匆不得遇合。后来，他的忘年老友河南王益柔（胜之）奉命来替陈睦接知江宁，就又陪他再游蒋山，赋诗中提到荆公舍宅作寺的事，有言曰：“欲款南朝寺，同登北郭船。朱门收画戟，绀宇出青莲。”安石听说苏轼有此作，急命取读。当他念到“峰多巧障日，江远欲浮天”句时，不禁拍案叫绝道：
“老夫平生作诗，无此一句。”
五言诗是安石最擅的胜场，苏轼评荆公诗，说过：“荆公暮年诗始有合处，五字最胜，二韵小诗次之，七言诗终未脱晚唐风味。”历来论诗者，公认此是确当的评论。所以，作五言长诗而要博王荆公的拍案称赏，确是不易。
王益柔就任一日，即又诏移南都。时已八月，苏家泊舟为宅，终非久计，只得辞了荆公，八月十四日与王益柔联舟同往仪真（今江苏仪征）。
苏轼别去，安石对人长叹道：“不知更几百年，方有如此人物！”
离开金陵的翌日，苏轼即在舟中作书上荆公，曰：
某游门下久矣，然未尝得如此行，朝夕闻所未闻，慰幸之极。已别经宿，怅仰不可言。……
苏轼回想熙宁年间的荆公，怀抱一腔救国的热忱，执持理想，那一份勇往直前的勇气，着实足以令人敬佩。曾几何时，如今只是个衰病而又孤独的老人，驴背行吟，蹀躞于钟山道上，不禁付与无限的同情。
在金陵，因为王夫人病须调治，住了一个月，然后到了仪真，得到真州太守袁陟（世弼）的帮忙，先把家眷安顿在仪真学舍里，继在仪真探问可买的田庄。苏轼从黄州来，手头非常拮据，只能托人卖掉京中的宅第南园，可得八百余千，等钱来买这边的田宅，以便归隐，与子由书：“稍留真，欲葺房缗，令整齐也。”即是指此。
苏轼与秦观在金山聚首后，因他新举进士，特再为他上书荆公：
轼顿首再拜特进大观文相公执事。近者经由，屡获请见，存抚教诲，恩义甚厚。某始欲买田金陵，庶几得陪杖履，老于钟山之下。既已不遂，今仪真一住，又已二十日，日以求田为事，然成否未可知也。若幸而成，扁舟往来，见公不难矣。
向屡言高邮进士秦观太虚，公亦熟知其人。……才难之叹，古今共之，如观等辈，实不易得。愿公稍借齿牙，使增重于世，其他无所望也。
荆公希望苏轼卜居金陵，可以作伴，而苏轼留在仪真二十余日，买田未成，似乎没有这个缘分，但是，即使成功，为时也已太晚，别后不到两年，荆公即病逝金陵，永别人间了。