平家正在计划定新都、造皇宫之际，听到绪方维义谋反的传闻，顿时慌成一团，不知如何应付。平大纳言时忠卿道：“维义原是小松殿家臣。可选派小松殿公子一人，前去安抚，试行说服，如何？”众口道：“主意甚佳。”于是，小松新三位中将资盛卿率五百余骑，进入丰后国，百般劝说。维义不但不为所动，反而劝道：“本来现在可将足下就地逮捕，但在办大事之前不管小事，即使捉了足下，也是小事一桩，无补于大局。快快赶回大宰府，可与平氏一门同生共死，面对天命才是。”便将资盛及所带兵马赶回去了。
维义旋即派其次男野尻二郎维村为使者，前往大宰府，宣称道：“平家是我家大恩主，原应除去甲胄弓箭，才可晋谒。但此次有后白河法皇谕旨，着从速将平氏逐出九州。所以请立刻离开此地。”平大纳言时忠卿身穿绯线系袖直垂、葛布裙裤，头戴立乌帽子，出来面对维村曰：“夫我君王乃天孙四十九世正统、人王八十一代天皇。是以天照大神、正八幡宫必加护我君。尤其故太政大臣入道殿，平定保元、平治两度逆乱，招纳九州诸国为朝廷效力。如今竟追随大鼻丰后守之后，听信东国、北国凶徒赖朝、义仲之虚言巧语，以为如果成事，即可授予国守或赐予庄园。胡说八道，岂有此理。”丰后国守刑部卿三位赖辅卿有庞大的鼻子，所以时忠卿才如此说。
维村回来，向父亲如实禀报。维义道：“莫名其妙。古是古，今是今。既然如此，最好趁早驱之出境。”乃准备出击。平家武士源大夫判官季贞、摄津判官盛澄却道：“为今后同僚设想，不能再受其辱。盍往生擒之？”便率三千余骑驰往筑后国竹野本庄，奋战了一日一夜。无奈维义军势如云，毕竟寡不敌众，只好撤回了。
平家风闻绪方三郎维义率领三万余骑，即将来攻。人人张皇失措，未及带走应带之物，便匆匆退出了大宰府。沮丧地离开了赖以护持的天满天神。一时找不到轿夫，所谓葱花辇、凤辇也因而只能闻其名、不见其物了。皇上不得不坐着腰舆上路。自国母建礼门院以下，身份高贵的各位女官，都撩起裙子下摆；大臣殿以下诸公卿、殿上人，也都卷上裤管。跣足徒步，走出了水城户，唯恐落在人后，抢先逃到了箱崎津。恰逢骤雨，滴如车轴。风卷沙尘。落泪与雨水不分，模糊了眼光。虔诚拜过住吉、筥崎、香椎、宗像等神社，但愿天皇早日回幸旧都。越过垂水山巍峨峻岭，侥幸抵达鹑滨险滩，走向渺渺平沙。平生不惯跣足赶路，只见脚底出血滴染了沙砾，红裤增浓其色，白裤下摆变红。遥想当年，玄奘三藏翻越流沙葱岭之苦，再苦也不过如此。然而，玄奘是为了求法，利他又利己。平家则为怨敌所逼，一想到后世恐怕仍然苦海无边、回头无岸，更悲不自胜，不由得感慨万千。
原田大夫种直率二千余骑正赶来随行。山鹿兵藤次秀远也以数千骑之众出迎平家。只因种直、秀远两人一向不和，彼此视如寇仇，种直觉得有所不便，便在途中折回家去了。
平家一行经过叫作芦屋津的地方时，想起过去在京城通往福原的路上，也有同名的村里，更觉可怀可念，不禁悲从中来。原来还想流亡到新罗、百济、高丽、契丹，甚而远至云边海角，却逢逆风逆浪，未能如愿，只得跟随兵藤次秀远到山鹿城中。但听说敌人也将进攻山鹿，乃彻夜分乘许多小舟，摸黑划到了丰前国的柳浦。在此又有建造皇宫之议，只因地面太窄而作罢。旋又风闻源氏将经由长门国攻来，便又分乘渔人小舟浮到海洋去了。
小松殿的三男左中将清经，本来便好沉思冥想，自忖道：“京都已被源氏占据，在九州又被维义赶走。身如网中之鱼，欲逃而不得其门。苟且以延一时之命，亦不长久矣。”乃在月光下，走出船舱，心澄如镜，吹了横笛，咏了诗歌，诵了经，念了佛，便投海自沉了。男女悲泣哀悼，又有何用。
长门国是新中纳言知盛卿的领地。当时的目代是纪伊刑部大夫道资，获悉平家分乘小舟正在海上漂浮，当即献上了大船百余艘。平家改乘大船之后，便航向四国之地。阿波民部重能下令，着召集四国人士，在赞岐屋岛建造板屋宫殿与皇居。造成之前，既不能让皇上住在简陋民房，所以决定留在船上为暂时御所。大臣殿以下诸公卿殿上人，则在渔夫的蓬屋中度日，在卑贱人家的床上过夜。龙头鹢首浮在海上，但海上行宫绝无宁静之时。心怀深愁，如浸月之浪潮；命逢危殆，似凝霜之芦叶。浅滩群鸟呼噪，徒增晓天之恨；矶岸摇橹声响，空扰终夜之悲。望远松白鹭聚集，疑源氏之军旗高举；闻辽海夜雁齐鸣，恐敌兵之舟队来袭。潮风侵肤，翠黛红颜之色渐衰；苍波穿眼，怀土望乡之泪难抑。红闺翠帐变成土房芦帘，锦炉熏香转为陋屋炊烟。女眷女官们触景伤情，血泪交流，眉黛漫漶，简直判若不同之人。