且说当时，太政大臣妙音院正在法皇御前弹着琵琶，朗咏诗歌，妙不可言。按察大纳言资贤卿打着拍子，唱风俗歌、催马乐。右马头资时与四位侍从盛定二人，操着和琴，高歌不同的今样曲子。玉帘锦帐之中，喜笑欢腾，兴高采烈，十分热闹，法皇也不禁随喜唱和起来。不意文觉进来大声一嚷，调子乱了，拍子不合了。有人呼喝道：“是何人？敲其头颅来。”话犹未了，血气方刚的年轻人便争先冲到庭院中。资行判官走在前头，斥责道：“何事嚷嚷？快滚出去。”答道：“除非捐一所庄园与高雄神护寺，贫衲文觉绝不出去。”不动如山，拒绝离开。资行判官想掐他脖子，文觉却出其不意，挥起募化簿打落了他的乌帽子，接着用拳头揍他胸口，身子仰天倒下。发髻也散了。只好披着一头乱发，尴尬地逃回大厅上去了。
其后，文觉从怀里抽出一把柄缠马尾毛、冰冷雪亮的短刀来，摆着来则砍之的架势。转而左手拿着募化簿，右手挥起短刀，绕着圈子，迅捷如游龙，刀光闪闪，仿佛左右两手都各有一把刀似的。公卿殿上人看得目瞪口呆，惊问谁人何故闹事。乐曲的弹奏被打断了。御所中沸沸扬扬，一片混乱。
有信浓国人，当时在武者所当差的安藤武者右宗，问是何事，一话不说，便拔出长刀，跑了出去。文觉乐得勇敢迎上。安藤武者觉得当真砍杀对方，恐有不妥；只好改以刀背，在文觉握刀的手臂上，又狠又准地敲了一下。趁文觉挨打发愣的刹那，安藤抛弃长刀，一声“好，成了！”空手扑了过去。两人揪在一起。文觉虽被压住，还刺了安藤右臂一刀。安藤忍痛，仍然抓住不放手。
两人都是凶猛的大力士。扭打缠斗，或上或下，翻滚转动。御所上下人等在旁围观，虽然畏缩不前，但一看到有隙可乘，便上去对文觉手打脚踢，露出得意的样子。但文觉并不在乎，反而破口大骂，终于被拉出门外，交给了检非违使厅的官员，捆绑起来。尽管遭捕押解，文觉气得直跳脚，仍不忘怒目横眼，瞪着御所，大声吼道：“拒绝捐赠，情犹可原。但竟欺侮文觉到此地步，绝不善罢甘休，不久必有报应。三界皆火宅。即如堂堂王宫，亦难逃此劫。夸称十善帝位者，终将走入黄泉路，不免牛头马面刑具伺候。”众人说道：“如此法师，实在太不像话。”文觉毕竟被投进牢中去了。
资行判官因被打落了乌帽子，无脸见人，好久未到御所供职。安藤武者因为逮捕文觉之功，不经武者所长官之职，便蒙径直擢升至右马允。不久，美福门院逝世，颁布大赦。文觉也获得释放，原可暂往某地修行，他却不以为然，又捧着募化簿，到处劝捐。而且不时发出耸人听闻的话道：“唉，当今之世，即将大乱，君臣亦将灭亡。”因此，当局下令道：“不能让此法师留在都城，应处以远流之刑。”于是被流放到伊豆国去了。
源三位入道嫡子仲纲，时任伊豆国守，向当局建议，让文觉从伊势国经东海道海路乘船押至谪地，而且加派两三个差役护送。差役们说道：“检非违使厅下属的惯例，担任此种任务时，自然会偏心，讲人情。如何，此位高僧大师？犯了如此大罪，流放远国，不知大师有没有熟人？不妨请他们送些土产、食物之类来。”应道：“文觉并无熟人可以托付此事。但在东山地方倒有一个知己能够帮忙。现在即可将书信送去。”差役随便找出了品质可疑的纸张。文觉接过又掷回去，不屑而怒道：“如此烂纸，岂能写信？”差役们设法取得了厚实的好纸送上。文觉笑道：“本法师不会写字，只得请各位代笔了。”于是口述道：“文觉发愿建造供养高雄神护寺，正行募化，却逢如此君王之世，不但拒绝助成此愿，反而被逮入狱，又判远流伊豆之刑。刻在远流路上。亟需土产食粮，请即交与来人，是所至祈。”差役忠实地笔录完毕，问道：“信将寄到何地给何人？”回道：“就写清水观音殿。”差役道：“难道在玩弄检非违使厅的差使？”文觉解释道：“岂敢岂敢。不过，文觉最崇奉观音大士，此外别无可以依赖之人。”
从伊势国安浓津乘船，向东航行。到远江国天龙滩时，忽然风起浪涌，眼看小船即将翻覆。水夫与舵手虽然拼命试加稳住，但无奈风浪越来越大，有人唱着观世音菩萨的名号，有人甚至念起临终的十念。然而，文觉却若无其事般打呼酣睡，直到最危险的刹那，突然跳了起来，走到船头，瞪大眼睛，对着海上大声吆喝道：“龙王何在？龙王何在？”又道：“明知船上坐着有发了无比宏愿的圣僧，何以还要加以打沉？记住，诸位龙神必将遭受天谴。”或许恫吓生效，不久便风平浪静，安然抵达了伊豆国。
文觉自从被逐出京之日起，便立下了宏愿：“若可返回京城，得以建造供养高雄神护寺，绝不能死。若此愿成虚，宁填沟壑。”因此离京后直到伊豆，正值逆风季节，船只好靠近海岸，沿着大岛小岛航行，前后费了三十一日。在此期间，文觉始终拒绝进食。尽管如此，气力却不见衰竭，每日功课照常不断。诚非常人之所能为。