苏轼南迁，远窜惠州，后又渡海而去“非人所居”的昌化，都由稚子苏过随侍。朝云逝世后，老人生理昼夜寒暑一切生活上的需要和杂务，都由苏过一人担承，从不嫌烦嫌难，这已非常难得。他还要常常陪着老父出游，游必有诗，则过也必有和作，意在取娱老人。所以轼作《和陶游斜川》诗中，曾经非常得意地说道：“过子诗似翁，我唱而辄酬。未知陶彭泽，颇有此乐否？”
绍圣五年（1098）戊寅岁的上元，军使张中约了苏过到他家去度节，老人独自看家，静观蜥蝎盘在月照的窗上，风吹帏幔，似能听到虫子被震动落地的声音。靠在床上，不觉睡去，梦见了故世已经五年的亡妻同安君。醒后，凄然有感，作诗曰：“……灯花结尽吾犹梦，香篆消时汝欲归。搔首凄凉十年事，传柑归遗满朝衣。”
至元符三年（1100）庚辰的上元节，记起前年此日，独自看家，梦见王夫人的事，不觉一晃又已两年。想到过子从他南迁之初，还只二十三岁，遂尔抛撇妻儿，跟到南荒来，一切家务杂事，靠他一个人操作，这且不说，年轻夫妇如此茫茫无期的隔绝，苏轼虽喜子媳笃孝，却不能没有愧歉。于是作《追和戊寅岁上元》诗，缀以自跋曰：
戊寅上元，余寓儋耳，过子夜出，余独守舍，作违字韵诗。今庚辰上元，已再期矣。家在惠州白鹤峰下，过子不眷妇子，从余来此。其妇亦笃孝。怅然感之，故和前篇，有石建、姜庞之句。又复悼怀同安君，末章故复有牛衣之句，悲君亡而喜余存也。书以示过，看余面，勿复感怀。
破家，本是政治流窜必有的副产品，而忠与孝，皆是人被陷入悲剧才能彰著的性行，俗语所谓“家贫出孝子，板荡识忠臣”者，即是此意。但是，苏过也非无所得，《宋史》说：“其叔（辙）每称过孝，以训宗族。且言：‘吾兄远居海上，惟成就此儿能文。’”只是叔党（过字）“丁年而往，二毛而归”，所付的代价，委实浩大。
苏辙家生了第四个孙子斗老，这是难得的一个喜讯。苏轼高兴得连忙写首诗去贺他。诗中有“无官一身轻，有子万事足”句，成为中国人千年来口头常说的俗谚。又说“不须富文章，端解耗楮竹”，“早谋二顷田，莫待八州督”，则深深表现出他对文学生活的空虚，政治事业的厌恶。
苏过从海船上接到大哥寄来的书信和酒，报之以诗，从弟苏远遂有和作，都粲然可观。苏辙写信来与老哥自相庆幸，轼赋诗寄诸子侄，篇首自况曰：“我似老牛鞭不动，雨滑泥深四蹄重。汝如黄犊走却来，海阔山高百程送。……”这是任何一个老人生命中最大的快慰。“六子晨耕箪瓢出，众妇夜绩灯火共。……但令文字还照世，粪土腐余安足梦。”年龄使人从绚烂归于平淡，苏轼对子弟们的期望，只是非常朴素的耕读传家的统续。
自章惇执政以来，凡是与二苏较为亲近的人，不论其为朋友、宾从或门人，几乎无一不遭祸殃。在这样血腥满地的政治风暴中，为了避嫌远祸，士大夫朋友们绝对不敢再与二苏通问讯，甚至从前日夕相从的门生故吏，也断了音息。流人的孤立和寂寞，都是无可逃避的命运。
《致侄孙元老书》，自述海外生活情况曰：
……老人住海外如昨，但近年多病瘦瘁，不复如往日，不知余年复得相见否？循、惠不得书久矣。旅况牢落，不言可知。又海南连岁不熟，饮食百物艰难；又泉、广海舶不至，药物酱酢等皆无，厄穷至此，委命而已。老人与过子相对，如两苦行僧尔。
《与程全父（天侔）书》说他生活的寂寞曰：
……流转海外，如逃空谷。既无与晤语者，又书籍举无有。惟陶渊明一集，柳子厚诗文数策（册）。常置左右，目为二友。……某与小儿亦粗遣，困穷日甚，亲友皆疏绝矣。公独收恤如旧，此古人所难也。
苏轼渡海后，亲如苏门四学士的黄庭坚、秦观、张耒、晁补之等，或其本人也在祸害播迁之中，或则惊惶于政治迫害的刀锋边缘，所以都无法与这位流亡中的老师通音问。老人非常怀念他们，《和陶拟古》诗曰：“主人枕书卧，梦我平生友。忽闻剥啄声，惊散一杯酒。”周彦质介绍一个叫郑清叟的士人从惠州渡海来见苏轼，复书云：“李公弼承许远访，何幸如之。海州穷独，见人即喜，况君佳士乎！”老人情怀孤独，“见人即喜”四字，披沥无余了。
也有风义卓荦、不避艰危的朋友，决心渡海来访。如诗僧参寥要来，被苏轼发书劝止，而他本人随亦遭难，未能成行。
眉州同乡杨济甫要叫他儿子杨明代他来看望苏轼，轼与书云：“某与尊公济甫半生阔别，彼此鬓须雪白，而相见无期，言之凄断。尊公乃令阁下万里远来海外访其生死。此乃古人难事，闻之感叹不已。”再三劝阻。
妻舅王箴（元直）认为苏轼得意时，大家都去看他，现在落入难中，如何可以不去。所以奋不顾身，从眉山浮江而下，要来儋州。行至中途，听到苏轼内迁的喜讯而止。
杜舆决心卖掉家里一切，要带妻儿到海南来与苏轼作伴，也因苏轼内迁而未实现。
而第一个跨海来访者，则是四海为家的吴复古。
这位子野先生，是苏轼的道友。上年春日，他们还在惠州同游丰湖逍遥堂，玩到日将落时，兴犹未尽，再往西山叩罗浮道院，到得那里，时已二鼓，两人便同宿西堂，对床夜话。及今追想，为时不过年余，却已遥远得似是隔世之事。盖因人经酷虐的变乱，遂觉以前种种，一时皆已死去。如今面对故人，追想去年今日的欢笑，都成了梦影：
往岁追欢地，寒窗梦不成。
笑谈惊半夜，风雨暗长檠。
鸡唱山椒晓，钟鸣霜外声。
只今那复见，仿佛似三生。
苏轼谪黄州时，曾为东坡雪堂寓客的巢谷（原名穀，后改谷），自从黄州一别，就回故乡眉山去了。二苏重入政坛，官高爵显，巢谷从不问讯。十年后，大苏流窜海南，小苏贬谪龙川，年逾七旬的巢谷，却发奋要从眉山徒步万里，分访苏氏兄弟。别人以为他不过说说疯话而已，哪知巢谷是认真的。元符二年正月，他竟徒步来到梅州。
苏轼接到巢谷从梅州寄来的信，长叹道：“此非今世之人所能，是古人才有的行谊！”
执手相见，不禁对泣。巢谷年纪那么老了，瘦瘠多病，但他还执意要过海去见苏轼。苏辙劝他道：
“你的意思是好，然而从此地到儋州，有数千里路，还要渡海，不是老年人可以做的事。”
“我自知还不会马上就死，公不必留我。”谷答。
苏辙劝阻再三，不听；看他囊中，所剩已无多钱。苏辙也正在闹穷，勉强凑了一点给他，他就动身了。
巢谷坐船行至新会，所带的行装却被一个“蛮隶”窃逃了。后来听到这个家伙已在新州被捕，巢谷赶去，想要追回失物。舟车劳顿，心里又急，不幸就在新州旅次病死。当地无一亲友，由官方草草收殓。
直至元符三年（1100）八月，苏轼自廉移永，才知道巢谷途中病亡的事故。朋友之义，死生之痛，不禁大恸。知道他有一个儿子——巢蒙在眉州，立即写信托杨济甫给他路费，叫他到新州来迎丧归葬，预备等他到了永州，再资助他扶榇回乡。
巢蒙未到前，旅殡需人照管，苏轼又致函提举广东常平的孙鼛（叔静）云：
……闻某谪海南，徒步万里，来相劳问，至新州病亡。官为藁殡，录其遗物于官库。元修有子蒙在里中，某已使人呼蒙来迎丧，颇助其路费，仍约过永而南，当更资之，但未到耳。旅殡无人照管，或毁坏暴露，愿公悯其不幸，因巡检至其所，特为一言于彼守令，得稍修治其殡，常戒主者保护之，以须其子之至，则恩及存亡耳。死罪，死罪。
苏轼居昌化，虽甚孤寂，幸在生性随和，经过相当时间后，和土著中几个读书的老者交上了朋友，如黎子云兄弟、符林、吴翁等均是。他们也常聚饮，诗言：“华夷两樽合，醉笑一欢同。”客逢佳节，也还有人来邀他出门去散散步，如元符二年的正月十五之夜，月色澄明，有几个老书生就来邀他一起出去步月，一直玩到三更天才回来。本集有“上元夜游”一则记事，比诸黄州所作《承天寺夜游》那篇小品，毫无逊色。记曰：
己卯上元，余在儋州，有老书生数人来过曰：“良月嘉夜，先生能一出乎？”予欣然从之。步西城，入僧舍，历小巷，民夷杂揉，屠沽纷然。归舍，已三鼓矣。舍中掩关熟睡，已再鼾矣。放杖而笑，孰为得失？问先生何笑，盖自笑也。然亦笑韩退之钓鱼无得，更欲远去，不知走海者未必得大鱼也。
昌化不比黄州、惠州，黄州还有江边可玩，惠州还有丰湖可去。在昌化，他只能逗逗路边玩耍的儿童；独自站在溪边三叉路口，看看路上的行人；已经半个月没有醉饱过，想到明天，人家要祭灶了，也许会有人送点祭余的剩菜来……作《纵笔》三首：
寂寂东坡一病翁，白须萧散满霜风。
小儿误喜朱颜在，一笑那知是酒红。
父老争看乌角巾，应缘曾现宰官身。
溪边古路三叉口，独立斜阳数过人。
北船不到米如珠，醉饱萧条半月无。
明日东家当祭灶，只鸡斗酒定膰吾。
后来，他又收了一两个学生，一是本地琼山人姜唐佐，每日都来问学，连续有半年光景，时复陪伴老人夜谈，喝建茶，啖菜饭。老人致书说：“夜话，甚慰孤寂。”然而为时未久，唐佐又要回琼州去了，前来辞行，苏轼写《柳宗元饮酒》《读书》二诗赠与，跋云：“……子归，吾无以自遣，独此二事，日相与往还耳。”
江阴士人葛延之，热心求师问道，从江阴担簦万里，绝海求见，苏轼留他在昌化住了一个月。延之请教作文的方法，苏轼说：
儋州虽数百家之聚，而州人之所须，取之市而足。然不可徒得也，必有一物以摄之，然后为己用。所谓一物者，钱是也。作文亦然，天下之事，散在经、子、史中，不可徒使，必得一物以摄之，然后为己用。所谓一物者，意是也。
不得钱，不可以取物；不得意，不可以用事，此作文之要也。
延之拜领其教，有豁然贯通之得，亲制龟冠以献，苏轼接受了，还作一小诗相赠。元符二年（1099）间，次子苏迨寄来家书说，京师盛传苏轼已在海外得道，乘一小舟入海，一去不返。元符三年的清明前后，有个从广州来的人传说：广州太守何述也说苏轼已在昌化失踪，只余一领道服在，盖已“上宾”。这类谣言，从前在黄州时，也曾发生过，现在同样的谣言又起，苏轼记曰：
……吾平生遭口语无数，盖生时与韩退之相似。吾命宫在斗牛间，而退之身宫亦在焉。故其诗曰：“我生之辰，月宿南斗。”且曰：“无善名以闻，无恶声以扬。”今谤吾者，或云死，或云仙。退之之言，良非虚语尔。