建中靖国元年（1101）四月，苏轼过豫章（江西南昌），停舟吴城山下，祷于顺济王庙。南昌太守叶祖洽问曰：
“世传端明已归道山，今尚尔游戏人间耶！”
苏轼答曰：“途中见章子厚（惇），我就回头了。”
孔平仲传来苏辙家书，邀他全家到许昌去同居，彼此有个照顾。但是苏轼总觉得老弟的境况已经非常困乏，自己这偌大家口，不便再去增加他的负担，所以踌躇不决。安徽舒州，不尽理想，他已决定放弃，今后只在常州、许昌两地中，择一定居。
九江天庆观道士胡洞微来南昌相迎，又再度邂逅刘安世，于是三人结伴同上庐山。重游栖贤寺、三峡桥，再至开先寺漱玉亭。苏轼前次来游，时在元丰七年（1084）四月，至今建中靖国元年的四月，相距已经整整十七年了，作《与胡道师帖》，感叹不已：
再过庐阜，俯仰十九年。陵谷草木，皆失故态。栖贤、开先之胜，殆亡其半。幻景虚妄，理固当尔。独山中道友，契好如昔。道在世外，良非虚语。
道师又不远数百里负笈相从。秉烛相对，恍如梦寐。秋声宿云，了然在吾目中。
游罢下山，往访世交刘羲仲（壮舆）于是是堂。
刘氏是有宋一代的史学世家。祖父刘涣，字凝之，苏轼为撰《屯田哀辞》者。刚介不能谐俗，很早退休，结庐隐居山下者，达三十年。父刘恕，字道原，博通群史，著作等身。叔父刘格，字道纯。苏轼上次从黄州来游，是他陪同上山的，现在似乎都已不在了。
羲仲谨守家学，其父道原也是参与司马光同编《资治通鉴》的人。苏轼见到他，就想起十八年前在金陵时，王荆公建议他来重修《三国志》，他即推荐刘恕（道原）来做，现在便对刘恕的儿子羲仲重提旧事道：
“《三国志注》中，好事甚多，你父亲（道原）欲修之而不果，君不可辞。”羲仲说：“端明曷不为之？”苏轼说：“某虽工于语言，修史却不是当行家。……某老矣，今以付壮舆。”
然而刘家三世清贫，无人供养薪水，必然无法独力完成这一巨大的工作。
舟中苦热，苏轼夜间贪了凉，晨起头痛畏风，只好在舟中为羲仲写他祖父刘涣的墓表，读羲仲自编的文集。
随胡道士同至九江，看他十八年前托胡代养的慈湖菖蒲，然后就再前行。十六日过湖口，念念不忘湖口李正臣家的壶中九华石，特地往访，则已被别人捷足先得以去，非常怅惜，作诗有“尤物已随清梦断，真形犹在画图中”。
舟发皖江，途经舒州，苏轼因已不再考虑居此，所以也未停留。但闻热衷官禄，不惜变节投靠章惇的林希，已经死于舒州任上。苏轼觉得这样做人，真是何苦，后来与老弟函中，顺便提及此事道：
……林子中病伤寒，十余日便卒。所得几何？遗臭无穷。哀哉！哀哉！
到达当涂，诗友郭祥正来迎。苏轼在惠州时，祥正看到一幅轼作《雪雀图》，寄诗来说：“平生才力信瑰奇，今在穷荒岂易归。正似雪林枝上画，羽翰虽好不能飞。”后来听到苏轼北归的喜讯，又用前韵寄诗曰：“秋霜春雨不同时，万里今从海外归。已出网罗毛羽在，却寻云迹帖天飞。”苏轼答诗两首，但说海北天南，一样是“归”，而今只自后悔从前不肯“卑飞”，否则便无种种烦恼。二诗今录其一：
早知臭腐即神奇，海北天南总是归。
九万里风安税驾？云鹏今悔不卑飞。
五月初一日到金陵。苏轼南迁之初，曾来崇因禅院礼拜长老宗袭所造观世音像，当时曾许心愿：“吾北归，当复过此，必为作颂。”
所以，这次还至金陵，独在崇因院礼拜还愿，作《观音颂》。
得钱世雄来书，说已代他借到常州顾塘桥孙氏的房屋，复书称谢曰：“示谕孙君宅子，甚感其厚意，且为多谢上元令侄，行见之矣。裴家宅子果何如？”照这信上看，苏轼还在问起裴家宅，可见仍想在常买屋，作久居之计。
同时，与黄寔书，说明他之不去许昌与苏辙同住的原因如次：
行计屡改。近者，幼累舟中皆伏暑，自悯一年在道路矣，不堪复入汴出陆。又闻子由亦窘用，不忍更以三百指诿之，已决意旦夕渡江，过毗陵矣。荷忧爱至深，故及之。子由一书，正为报此事，乞早与达之。
尘埃风叶满室，随扫随有，然不可废扫，以为贤于不扫也。若知本无一物，又何加焉。有诗录呈：“帘卷窗穿户不扃，隙尘风叶任纵横。幽人睡足谁呼觉？欹枕床前有月明。”一笑，一笑！某再拜。
苏轼所录此诗，彻底透露他北归之日的心境。
人生孤露，尘埃风叶之扰，谁都不能避免。居其室时，固然不能不扫，但如一枕黑甜，目无尘叶，岂不最为清净？充分表现一个老人的衰倦。
许昌，是京畿的邻邑，尘埃蔽天，不容安睡，苏轼原不敢去。但是，苏辙不肯，一再托王原、孔平仲、李之仪等人来劝。苏轼终于不忍违拂弟弟这番情意，硬了头皮，答应下来。
于是，预定行程自淮泗上溯汴河，至陈留登岸，陆行至许。
次子苏迨的妻儿还在宜兴，所以先命迈、迨二人去那里把他们接到仪真来会合。苏轼手头甚为拮据，宜兴尚有点田产，也须去变点现钱出来使用。
其时，作书与李之仪云：“得子由书，已决归许下矣。但须至少留仪真，令儿子往宜兴刮刷变转，往还须月余，约至许下，已七月矣。”
亲戚程之元（德孺）时任浙西路漕司，苏轼托他派一只坐船在常州等迈，等到时乘来，并且托他买杭州程奕笔一百支，越州纸二千幅。
船须挽纤而行，挽工甚不易找，又函托任淮南路监司的黄寔，代雇四舟所需，每舟五人的挽纤夫役。
皖江途中，曾接门生廖正一专差来书，复曰：
远去左右，俯仰十年，相与更此百罹。所幸平安，复见天日。彼数子者何故独先朝露。吾侪皆可庆幸，宁复戚戚于既往哉。……
廖正一被吕温卿陷害，至今尚在废黯中，札尾又再殿以慰语曰：“为民除秽，以至虿尾。吴越户知之，此非特儿子能言也。”
门生李廌来书，答曰：
某自恨不以一身塞罪，坐累朋友。如方叔飘然一布衣，亦几不免；纯父（范祖禹）、少游（秦观）又安所获罪于天。遂断弃其命，言之何益，付之清议而已。
苏轼先已与程之元、钱世雄约于金山会晤，所以，趁这段时间，前往金山一行。
程、钱也都遵约到了，相与同登妙高台。
金山寺中，原先留有李公麟所绘苏轼画像，此时自题一诗于上：
心似已灰之木，身如不系之舟。
问汝平生功业，黄州惠州儋州。
苏轼原来只等人船到齐，就搬挈全家往河南许昌，去与弟辙同住，几已可以实现四十年前怀远驿“风雨对床”的旧梦了，不料汴京朝局，忽又大变，仅有一点微末的想望，顿时又被砸得粉碎。
韩忠彦为相，与曾布交恶，向太后崩，忠彦失了靠山，曾布就开始活跃起来了。
曾布为山陵使，就在陵上秘密授意御史中丞赵挺之，要他发动绍述之说，排击元祐臣僚，挺之当然大大卖力。曾布乘时引进许多帮手，安置在辅佐、侍从、台谏的地位上，羽翼将成，先除障碍，若干忠鲠之士，如言官任伯雨、江公望、陈祐等反对绍述和邪正杂进政策的人，次第皆遭罢黜。忠彦虽为首相，而实权暗自潜移，数月之后，就会变成“曾布专政”的局面。
春夏之间，正是绍述之说初兴，朝廷内外，一片纷争扰攘、动荡不宁的时候。苏轼在金山听到这个变局的消息，顿生警惕。因为曾布是个什么角色，苏轼与他相知甚久，心里非常清楚，何况又济之以赵挺之的奸诈。韩忠彦，典型的贵族子弟，做事没有魄力，也不会运用权术，绝对不是曾布这帮人的对手。在苏轼敏锐的观察力中，政局未来的走势，他洞若观火。
天下任何地方皆可去得，总不能投身到火场的邻屋去。苏轼立刻悬崖勒马，打消前往许昌的计划，托黄寔转交《与子由书》云：
子由弟：得黄师是遣人赍来二月二十二日书，喜知近日安胜。兄在真州，与一家亦健。行计南北，凡几变矣。遭值如此，可叹可笑！
兄近已决计从弟之言，同居颍昌，行有日矣。适值程德孺过金山，往会之，并一二亲故皆在坐，颇闻北方事，有决不可往颍昌近地居者。（事皆可信，人所报，大抵相忌，安排攻击者众。北行渐近，决不静耳。）
今已决计居常州，借得一孙家宅，极佳。浙人相喜，决不失所也。更留真十数日，便渡江往常。逾年行役，且此休息。
恨不得老境兄弟相聚，此天也，吾其如天乎！亦不知天果于兄弟终不相聚乎？士君子作事，但于省力处行。此行不遂相聚，非本意，为省力避害也。
候到定叠一两月，遣迈去注官，迨去搬家，过则不离左右也。
葬地，弟请一面果决。八郎妇可用，吾无不可用也。更破十缗买地，何如？留作葬事，千万莫徇俗也。
林子中病伤寒，十余日便卒。所获几何？遗臭无穷。哀哉！哀哉！
兄万一有稍起之命，便具所苦疾状，力辞之。与迨、过闭户治田，养性而已！
千万勿相念，保爱、保爱。今托师是致此书。
书中所言“大抵相忌，安排攻击者众”。传闻确非虚语，如董敦逸再为御史，复欲弹劾苏轼兄弟，幸经常安民制止，而安民自己，后被敦逸指为“主元祐党”，谪监盐酒务。
关于八郎妇葬地事。八郎乃苏远，其嫡配为黄寔之女，病殁。苏辙有田地于汝州郏城县，拟在其地辟为苏家墓园，先葬远妇于此，来信征求兄长的意见。苏轼并不重视身后葬地这类俗事，一言遂决。所以，他后来也葬于郏城。