却说，放逐到鬼界岛的三个流人，两个已被召回京师。唯独留下俊宽僧都一人，成了此一苦难之岛的岛主，实在残酷不仁。有一个从小为僧都所喜爱的童仆，名叫有王。听人说鬼界岛的流人将于今日返抵京城，便赶到鸟羽去迎接，却始终看不到自己的主人。问是什么原因，有人答道：“因为罪孽深重，还留在岛上。”有王听了，心中悲哀至极，难过得无法形容。以后还常到六波罗附近去徘徊探询，也听不到任何再有赦免的消息。于是往访僧都女儿隐居之处，禀道：“此次特赦独漏主公，未能还京。我想设法前往该岛，寻找主公行踪。请写一信，以便带去。”小姐流着眼泪，写好信后交给了他。本来出门应该请假，但知道不可能获准，所以连父母也没通知一声。来回中国的唐船，要等到四五月间才会解缆开航，已是夏季了，未免太迟，因此在三月下旬便从京都出发。冒着多少怒潮激浪，终于抵达了萨摩海湾。
在萨摩国往海岛的渡头上，遭到戍卒见疑。剥衣搜检全身，但有王毫不以为意。只有小姐的手书绝不能让人看见，所以稳妥地藏在发髻里。不久，赶上一只商船，来到鬼界岛一看，与在京城中偶尔听到的传闻，其趣大异。无水田也无旱田；无村庄更无里巷。虽然看到一些居民，但言语不尽相同。有王走向岛上居民，开口道：“请问。”应道：“什么事？”有王道：“此地有一位从京城流放下来的人，名叫法胜寺执行御房，知道他的下落吗？”他们对什么法胜寺、什么执行御房一无所知，所以都尽自摇头说：“不知道。”
其中有一人略知其事，说道：“是啊，是有三个人，不过听说有两个已被召回京都。现在只剩一人，在岛上到处徘徊，却不知他的下落。”有王想可能在山上，便披榛斩草，攀高峰，下幽谷，深入山中。白云埋迹，已失往来之路；青岚破梦，不见主人之影。山上既然杳无踪迹，便转到海边去找。只见海鸥在滩上印下的爪痕，白色沙洲上成群的海鸟而已。不见人影。
一日清晨，从矶岸那边，有一个瘦削如蜻蜓的人，摇摇晃晃现出身来。以前大概是一位法师吧，头发冲天矗立，上面覆盖着种种藻类，仿佛戴着一顶荆冠一般。骨瘦如柴，皮肤松弛。身上所穿非绢非布。一手握着几片海带，一手抓着一条鱼。虽说是走着，但跌跌撞撞，步履维艰。有王想道：“在京城中曾看过不少乞丐，却还没碰到这般模样的。经上说：‘诸阿修罗等，居在大海边。’佛祖既然指出阿修罗所在的三恶四趣，便在深山大海边界。难道自己已不知不觉迷入恶鬼道了？”边想边向前走，两人越走越靠近。有王觉得说不定此人可能知道主人行踪。乃开口道：“请问。”应道：“有何贵干？”问道：“此地有一位从京城流放下来的法师，名叫法胜寺执行御房，知其行踪下落乎？”童仆有王一时认不出来，但僧都却永远不会忘记，只道：“我便是。”旋即抛下手上之物，昏倒在沙滩上。如此这般，有王终于找到了主人。
有王把主人扶将起来，让他靠在自己的腿上，含泪道：“有王来了。经过了多少惊涛骇浪，排除了千难万险，才终于找到此地。但一切白费了。岂能非让有王尝到这般苦果不可？”
稍顷，僧都慢慢苏醒过来，有王扶他坐直。只听僧都说道：“汝能迢迢来此寻我，心意诚然可感，甚好。遥想京城可眷可亲之人，朝朝暮暮，无时或已。有时出现梦中，偶亦变成幻影。自从身体严重衰弱以来，已分不清是梦是真矣。故汝此来，亦以为幻梦一场。万一是梦，醒后又该如何是好？”
有王道：“是真不假。看主公这般模样，居然还能活到现在，真是奇迹，不可思议。”僧都道：“确实如此。自去年被少将与判官入道遗弃之后，孤苦伶仃，心情之落寞，可想而知。当时所以未即投身海底，只因百般无奈，听信少将虚夸敷衍之词，以为返京后必能代为关说，而且以耐心等候京使相劝慰，故而苟且偷生，以至今日。但在岛上并无可食之物。气力犹在时，时时入山采硫磺，与九州商人换取食物。身体日衰，如今已力有不逮矣。勉强只能在风和日暖时，走到海滨，向撒网渔夫屈膝合十，乞讨鱼鲜。或在潮退时，捡贝类，拾海带，采矶藻以维譬如朝露之性命，苟存至今。若非如此，岂有其他方法。原想在此向汝倾吐一切，不过先回家再说。”有王稍感好奇，心想落魄到如此地步，居然还有家可以回去，便跟随其后，来到一簇松树之间。只见一个小小的草棚，以几根漂流竹子为柱，以成束的芦苇为桁为梁，上下铺满松叶。其不足以挡风避雨，一目了然。
从前荣任法胜寺执行之职时，掌管八十余所庄园事务。在官厅府邸之内，经常有四五百个仆从、眷属、下僚之类，围绕左右。如今眼看他潦倒丧气、老态龙钟，简直不可思议。业报有种种。有顺现业、顺生业、顺后业之别。僧都过去用之于身上者，无一不是大伽蓝的寺产或布施。此乃信施无惭之罪，可说是一种现世报。