大纳言成亲之外，遭处流刑者还真不少。据说，有近江中将入道莲净至佐渡国、山城守基兼至伯耆国、式部大辅正纲至播磨国、宗判官信房至阿波国、新平判官资行至美作国，等等。
当时入道相国住在福原别业。同月二十日，派摄津左卫门盛澄为使者，驰至门胁宰相教盛邸，传言道：“有事想询查。速将丹波少将带过来。”宰相自忖自言道：“若在当时有个了结，也就死了心。现在又要为此烦恼，可悲呀。”便转告了来自福原的传话。少将只好哭着准备告别了。女官们哀求道：“明知无能为力，不过还请宰相勉为其难，再求求看吧。”宰相道：“能求之事、可求之人皆已求过。现在除出家之外，已经无话可求。但纵使贬到天涯海角，只要我一命尚存，必定前去寻访。”
少将有一个幼子，今年三岁。因为自己也还年轻，平常对此小公子并不怎么关心。然而现在，一旦临到永别时刻，才觉得难分难舍，说道：“想再看一下小儿。”乳母抱了出来。少将将他放在腿上，抚摩他的头发，哽咽道：“原本想你到七岁时，为你办元服之礼，便可以去服侍法皇。如今多说无益。万一能保住性命，长大成人后，希望你出家当法师，为我来世祈求冥福。”小公子虽然懵懂无知，不辨事理，却见他居然点了点头。少将自不用提，母亲、乳母以及在座的人们，无论有心或无意，都沾湿了衣袖。
福原的使者说，今夜必须赶到鸟羽。少将央求道：“绝对不敢赖着不走，至少让我在京中度过最后一夜。”但使者频频催促，不得已，当夜只好离家到鸟羽住了一宿。宰相悔恨交集，此次并未同车同行。同月二十二日抵达福原，太政入道随即命令濑尾太郎兼康，押送少将流放到备中国。兼康怕有人会向宰相说长道短，所以一路上细心照顾，无微不至。少将却感觉不到任何慰藉。日日夜夜只唱佛名，关怀父亲，叹息连连。
新大纳言所住的备前国儿岛，护卫武士难波次郎经远认为离渡头太近，怕不安全，便决定移往内陆。结果在备前、备中两国交界处，看中了庭濑乡的一个山寺，名叫有木别所。丹波少将谪居备中国濑尾，与备前有木别所之间，相距不到五十町。每当遥望备前一方，迎风怀想，不免引起孺慕之情。一日，召来兼康问道：“从此至大纳言所住备前有木别所，路程如何？”
兼康觉得实话实说，恐有不妥，便答道：“单程约需十二三日。”
少将含泪道：“古昔日本有三十三国，其后分为六十六国。今之所谓备前、备中、备后，原本同属一国。又东山道之出羽、陆奥两国，前亦同为一国，辖六十六郡；后割出十二郡为出羽国。因此，实方中将贬谪奥州时，颇想一睹当地名胜阿古屋之松，但遍寻国中而无其踪影，乃败兴而归。路上遇一老翁，因问道：‘仁翁想是当地前辈。本国有名胜曰阿古屋之松，知之否？’答道：‘并不在本国，或许在出羽国。’叹道：‘仁翁似亦不知其详者。时逢末世，有名胜而无人知之矣。’失望之余，正想离去，老翁却忙抓住中将之袖口道：‘啊啊，有歌云：
阿古屋之松，矗立陆奥中，枝繁叶尤茂，不见月当空。
官大人所谓本国名胜阿古屋之松，盖以此歌之心而知之欤？但此歌作于两国仍为一国时。十二郡分出后，当在出羽国矣。’实方中将因而越境入出羽国，终能一睹阿古屋之松。鰚使自筑紫大宰府至京都，规定单程为十五日。若有十二三日，几可远至镇西矣。备前与备中之间，最远亦不过二三日，而竟以近为远，岂非不欲成经得知大纳言之所在乎？”此后，虽然思亲情深，无时或已，却始终不再提问此事。