不久，法胜寺执行俊宽僧都、平判官康赖及丹波少将成经三人，又被放逐到萨摩国鬼界岛。该岛远离京师，须经波涛汹涌的海路始能到达。船只往来不易。岛上人烟稀少，偶尔遇见，却不似内地人氏。色黑如牛。全身毛发茸茸，语言不通。男人不戴乌帽子，女人不垂发。不着衣裳，不似人形。没有食物，只靠渔猎维生。无人耕田种稻，故无米谷之类；无人种桑养蚕，故无绢帛之属。岛中有高山，镇日喷火。遍地硫磺，故又名硫磺岛。山中雷鸣，或上或下。山麓不时急风骤雨。人在岛上，别说一日，恐怕连片刻也保不了性命。
且说，新大纳言在谪地定居下来，正想可以稍微放松心情，却听到儿子丹波少将成经流配鬼界岛的消息，只觉得心灰意懒，感叹命运何以如此不济。于是决意出家，乃托便邮向小松殿致意；旋获法皇谕旨允许，不久便出了家。脱下了荣华的装束，换上了墨染的法衣，冷对忧患人世，显得一副落落穆穆的样子。
大纳言夫人在京都北山云林院近旁避世隐居。乍到陌生住处，即使常人也会感到为难与不便；何况又要避人耳目，不能抛头露面，因此每日都生活在愁云惨雾之中。从前虽有许多女官与侍卫，但因怕世人指认或不愿公开露面，所以敢来探访者竟无一人。其中倒有一个名叫源左卫门尉信俊的武士，情深意挚，常来探望。一日，夫人召见信俊，说道：“听说夫君原在备前国儿岛，最近又听说搬到有木别所。不知有何方法，只要一次，请人携带我文笔拙劣的书信去给他，也很想得到他的回音。”
信俊含泪说道：“从小即蒙主人垂怜关爱。长大后随侍左右，不敢稍离片刻。主公发配时，曾恳求陪伴同往，却得不到六波罗方面的允许，未能如愿。回想主公召见的声音，仍在耳际；训诫的言语，铭之心中，无时或忘。不管此身会遭到什么不测，一定把书信送到主人手上。”
夫人松了口气，高兴异常，赶紧写好了信。幼小的子女也各写一封。信俊携着信函迢迢南下，奔到备前国有木别所。首先与护卫武士难波次郎经远交涉。经远感其至诚，立刻准他进去会面。
大纳言入道正在担忧京城事态、唉声叹气之际，听见有人说道：“信俊自京城来到。”惊喜交集，“此，此非梦耶？”站起身道：“进来，到这边来。”信俊晋见。居处的简陋固不必说，一看到墨染的法衣，更觉眼昏心碎。一五一十禀报了夫人所交代的口信，然后取出一束信函奉上。打开看时，泪眼昏蒙，信上笔迹显得模糊不清，只见写道：“看着孩子念念不忘、愁锁眉间的样子，想到自己无限的相思之情，朝朝暮暮，不堪其苦。”大纳言读到此处，更加悲伤，觉得自己平日的哀叹也不值一提了。
倏而过了四五日，信俊道：“小人想留下来伺候大人，直到百年之后。”然而护卫武士经远却期期以为不可。无奈其何，大纳言道：“那就回京去吧。”随即又说道：“我怕不久便将遭处极刑。听到我已不在此世后，别忘为我祈愿来世冥福。”于是写了回信，信俊接过信函后，便告辞道：“一定再来拜望。”大纳言道：“汝果再来，恐已不在人世矣。的确令人怀念，所以多待一会再走。再待一会。”如此几次，信俊要走了，又叫他回来。
如此欲走不走也不是办法，信俊最后还是含泪返抵京城，立即呈上了携回的书信。夫人打开一看，有一束头发，始知夫君已经出家，再也不忍往下看。又怨又恨，俯伏哭泣。孩子们也随着哭泣起来。
同年八月十九日，在备前、备后两国交界庭濑乡吉备的中山地方，大纳言入道终于被杀了。关于他的死有种种传言。首先在其酒里下毒，未能成事。改在两丈深的山崖下竖了菱形刺叉，从崖上推他下去，刺穿身体而死。其手段之残酷，前所未闻。
大纳言夫人听说夫君已不在人世，说道：“以前想方设法，无非希望有朝一日能再互见一面，所以迟未落发改装。而今而后，生有何用。”便进菩提院削发为尼，循例念佛修道，专一法事，祈愿来生。此位夫人是山城守敦方之女。美色举世无双。据云原为后白河法皇无比宠爱的妃子，后来赐予无比宠信的臣子成亲。年幼的子女也各自摘花、汲水供佛，祈祷父亲来世冥福。时过境迁，世殊事异，与天人五衰并无不同。