在赖朝日常生活中，最令他难过的事应该是女人吧？他对女人的多情更胜于其他男子，可是，政子及娘家北条氏的眼睛，都好像在防小偷似的警戒这种事发生。事实上，赖朝想要做这种事情时，小心翼翼的样子也跟小偷非常接近。
“这不是笑话，可真是辛苦啊！”
人们窃窃私语着。全鎌仓的男女，没有人不同情赖朝的。他从放逐者的身分突然一跃成为关东霸主，但在这方面的自由，却不如附近的农家子弟。
赖朝很怕妻子政子。政子嫉妬心很强，而且还是个以嫉妬为核心思想的思想家——只能这么称呼她了。政子本来在关东就是有权势的女性，她想将“贞操”这新奇的思想推广出来。在当时，当然还是有一些坚守贞操的妇女，可是那毕竟是个人的想法，还不至于成为社会强制执行的一般道德。而且，不管是贵族或庶民，未婚女孩或有夫之妇，甚至寡妇，若对来搭讪的男子有情，就可以为这男子掀起裙摆。妬妇政子想将贞操观念从鎌仓推广到关八州，她也许可说是日本道德史上的杰出人物。
“要保护女人，也要保护男人。”
这是政子思想的高明之处。鎌仓所有的男人都怕她，特别是赖朝。
事情相继发生。
有一次，赖朝写了封情书。
——要是能送给对方就好了。
后来知道的人都皱起了眉头，不过，这男人的好色无止无尽，他这封情书的对象是自己的嫂子，即平治之乱第二年，在京都六条河原被斩首的长兄恶源太义平的寡妇。义平被判死刑时是二十岁，屈指算来，已经是二十二年前的事情了。他的妻子当时是十六、七岁，现在应该已经将近四十岁了吧？
可是，烙印在赖朝眼中的，还是嫂子十六、七岁的样子。赖朝看到她的姿色是在十二、三岁时，当时，嫂子的美几乎令他忘了呼吸。
（这是仙女吗？）
他甚至这样想。
他虽然只是个少年，却忍不住爱慕着嫂子，现在还暗地里以嫂子为标准，来衡量所谓的美女。赖朝现在已得到关东，了解关东各豪族的家庭情况，也知道嫂子还健在，住在上野的新田庄。她是下司职新田义重的女儿，在义平判死刑后就回到娘家，过了二十几年。
“还很美吗？”
赖朝询问身边熟知新田家内情，通称为伏见冠者的文吏。
“哎唷！”
他表现出惊讶的样子，讨好地表示：
“岂止是美丽？简直就像二十几年岁月都没在脸上留下痕迹似的！”
这位伏见冠者名叫藤原广纲，以前是京都的下级官差，因为犯罪被放逐到伊豆，后来跟判官代邦通一起成为赖朝的跟班，赖朝很多事情都会跟他商量，他现在担任佑笔。广纲负责传送情书。收到情书的新田家非常惊讶，立刻召开全族会议：
“这不是一般的男女情事，不小心处理的话，搞不好会引来杀身之祸。”
于是他们尽快帮女人找了一个叫帅六郎的丈夫。新田氏已经知道鎌仓女王政子的思考方式，以及她强烈的嫉妬心。如果答应赖朝的要求，被政子发现了，真不知道政子会使出甚么报复手段。这件事情因此无疾而终。
可是，在同时，赖朝还跟其他女人保持关系，这就必须谨慎小心了。
他的情妇叫龟前，是伊豆武士吉桥太郎入道的女儿。
——自去年春天起秘密私通。
鎌仓政权的正式纪录《吾妻镜》中，对龟前的形容是：
容貌普通，不过性情温顺柔和。
赖朝一定很渴望女人这种纤弱的感觉吧！
广纲对这件事情很活跃。靠着广纲的智慧，赖朝把龟前藏在广纲的府邸（鎌仓材木座的饭岛崎）里，而且不是直接去那里幽会，以免引人注目。
广纲府邸附近有个海滨，称为小坪，也写成小壶，可说是鎌仓府的海港。那里有家臣小中太光家的府邸。
——我要去小坪海滨搭船。
赖朝用此托词来到海边，在船只准备的时间，前往小中太光家的府邸休息，然后召龟前来此。由于不是夜宿，只有白天很短暂的时间，所以政子以及她娘家北条氏都不知情。
可是，不知道透过甚么管道，政子的年轻继母牧方却知道了这个秘密。牧方本来就不喜欢这位跟自己年龄相近又气势凌人的女儿，可是在这件事情上却对政子特别热心，令人怀疑她别有居心。
“你要小心点！”
她把一切都说了出来。
政子是个行动派。
她不当面诘问赖朝，而是命令牧宗亲带兵攻击广纲的府邸。宗亲是牧方的哥哥。
“抓住龟前，捣毁那女人居住的广纲府邸，把广纲赶出去，让他去草原流浪。”她这么说。
宗亲一接到命令，就马上率部下作战斗准备。半夜，震天价响的脚步声在鎌仓街道上沸腾，前往饭岛崎包围广纲府邸，捣毁门墙，强行闯入。由于龟前碰巧不在，所以幸免于难，可怜的是广纲。他只是个文官，毫无抵抗能力，被宗亲的部下从院子里拖到街上痛打。
“打死他！”
宗亲把广纲打得半死不活后，突然放开他，从背后射出一支恐吓的箭，擦过广纲的脸颊。广纲没命的逃跑，冲到一里远的镫摺（现在的叶山町），来到朋友大多和义久的家中寻求庇护。
“我拿到证据了。”
事后政子拿出广纲的供状、龟前的衣服、化妆用品等，当面责问赖朝。她可说是个女军略家。
赖朝无处遁逃。既然证据齐全，只有不断道歉。
“你会有今天，并不是靠自己的力量，”政子最后说道：“是因为有我和娘家北条的武力，你才会有今天。”
赖朝当然了解，所以才会越来越怕政子和北条氏。
“怎么样？”
“要怎么做你才会消气？”
“把龟前交给我。”
如果交给政子，政子会杀了她吧？赖朝怕发生这种事情，若说不知道她的去向，政子会更加生气，提出更多要求。赖朝走投无路了。
此时，龟前回娘家去也很危险，她只好沿海岸往南走，逃到庇护广纲的镫摺大多和义久家里，像只小松鼠般怕得躲起来。
（简直就像罪犯嘛！）
赖朝接到密报时，觉得龟前太可怜了，他感到一股令全身战栗的怒气。
然而，他却不是对政子生气。虽然很难令人相信，可是在这男人的心中，对政子以及其娘家，他连生气都不太敢。
赖朝的怒气无处发泄，只得集中在执行政子命令的牧宗亲身上。他明明是自己的家臣，却尽忠政子及其娘家，轻慢自己，令赖朝十分生气。
（我本来就不喜欢这个人。）
他对牧宗亲有这种感觉。宗亲只因为自家出了北条时政的继室就如此嚣张，他想一统北条家，视赖朝犹如北条家的入赘女婿，看不起赖朝。
（我是拿北条家没办法！）
可是，若连时政（北条）继室娘家的人都坐大，赖朝可就没面子了。赖朝暗中计划，要对宗亲来一场男性的复仇。
隔了两天，也就是寿永元年十一月十二日（日期这么明确，是拜《吾妻镜》的纪录之赐），赖朝把宗亲叫来，命令道：
“我要去海边，陪我来！”
他们越过逗子的名越坂，来到镫摺。这附近的领主是大多和义久，是三浦半岛的盟主三浦大介义明的儿子，从赖朝举兵时就跟随赖朝，对赖朝而言是值得信赖的家臣。广纲与龟前就躲在他家中。赖朝故意带牧宗亲来此。
房子的前方是逗子、叶山之海。赖朝把宗亲拉到可以看到海的屋边平台上，要他坐下，然后叫出广纲。
（啊！）
惊讶的是宗亲。
他发现赖朝想在这里处分自己，立刻就怕了。
“广纲，把你受到的一切狼狈遭遇全部讲出来。”赖朝命令广纲。
广纲得势，于是用京都话巨细靡遗地把宗亲对付自己的经过和盘托出。
“宗亲，他有没有讲错？”
赖朝转动他那号称鎌仓第一的大头看着被告。宗亲已经立场尽失，他悲惨地叫着：
“这全是夫人的命令，我是不得已的，不得不那样做！”
赖朝不怀好意的沉默着，宗亲忍不住讲出呕气的话：
“那你说，要怎么办？”他翻着白眼。
“你！”
赖朝不耐烦地抓住宗亲的乌帽子，连发髻都扯了起来。对武士来讲，最耻辱的事就是让人碰到头，宗亲挣扎着想反抗，可是赖朝却有外表看不出来的巨大力气，使宗亲一点办法都没有。
“宗亲，听好！”
若借用《吾妻镜》的简单记载，赖朝表示——
重视夫人的命令，当然很好。
他虽然生气，可是，为了防范政子今后的举动，他仍然称赞宗亲。
“可是，你怎么对我这个主人交代？你怎么说？”
他说着抽出小刀，噗哧一声，切断了宗亲的发髻，头发散落地面，宗亲彷佛变成一个大孩子。这下子在头发留长以前，都无法走在鎌仓的街道上了。
“哇！”面对这样的耻辱，宗亲大叫着，可是已经无法挽回。他摆动屁股爬行，跳到院子下，用袖子遮住头逃走。
宗亲上了马，奔入山中等待夜晚，趁半夜回到鎌仓，到赖朝的岳父北条时政家里投诉所受的屈辱。
牧方气得脸色发青，她说：
“这是我家门的耻辱，我要死！”
她立刻抽出短刀，往自己的胸部刺去。年老的时政冲过去抢下她的刀，可是牧方更加狂乱的喊着：
“你妻子的家人受到这样的耻辱，难道你也不说话吗？我看你怎么回答我！”
剃着和尚头的时政，面对这个跟女儿一样年轻的妻子，常常有种自卑感，被她如此责问后，感到相当狼狈。可是，在惊惶失措中，时政比牧方更恼怒赖朝的举动。对宗亲的侮辱简直就是对北条家族的侮辱。
“他本来不过是个放逐者！”
他喊叫着，被牧方的狂躁所感染，显露出平日少有的激动。
“是我的家族，使他这个蛭小岛的放逐者有今天的身分地位。这份恩情，源家九族每一个人都不应该忘记才对，可是，赖朝自己却最快忘记，还用侮辱来回报。剪掉头发跟斩首是相同的意义，也就等于是砍掉了北条家族的头。”
时政一向表情严肃，不轻易泄漏内心的想法，可是他其实很容易激动，不会三思而后行，因此他才会协助放逐者赖朝，网罗了一、二百个地方武士，揭竿起兵背叛平家。他的个性就是如此。那一晚，他召集部下，第二天拂晓就搬离鎌仓，回到伊豆的北条庄。于是，鎌仓街头巷尾都谣传着：
——北条殿下要阴谋叛变吗？
大家热烈讨论着。
赖朝知道此事，是在上了早餐餐桌之后。他的筷子差一点就掉下地，可是，这男人平常的安静举止，使他免于泄漏内心的狼狈。
（好不容易建立的鎌仓府会倒吗？）
他心怀恐惧。
即使不会，赖朝也有危机：平家军虽然在富士川溃败逃走，可是总部仍在京都；赖朝虽然用计杀了关东东北佐竹氏的首领，但佐竹氏的势力却还存在着；奥州还有藤原氏盘踞；而另一个新兴势力是赖朝的堂兄弟源义仲，他在木曾起兵，征服了信浓以北的北日本地区，很明显的就快成为赖朝的劲敌。此时，可说是鎌仓政权支柱的北条氏若翻脸，会怎么样呢？
赖朝突然抬起脸。
“义时也一起离开了吗？”
北条义时是时政入道的次男。如果连义时也离开了，就等于北条氏全族都举起了叛变的旗帜。
“你去看看！”
赖朝不知不觉咳嗽起来。梶原源太跑了出去。在源太回来之前，赖朝还是拿起筷子吃饭，可是口中干涩，吞不下饭粒。不久，源太回来了。
“江间殿下（义时）还在。”
听到这个消息，赖朝内心的喜悦及激动，简直连在黄濑川跟义经重逢的时刻都不能相比。
“马上叫义时来这里，马上！”他放下筷子吩咐。
筷子从餐盘中滚落地面。
义时来了。
“你来了吗？”
赖朝站了起来，几乎是用叫的。义时俯伏于地，让人看到他厚实的武士肩膀。
“岳父回家乡，是出于对我的误解。而你竟然还跟从我，我非常感动。”
赖朝激动的话语不断涌出。义时已经抬起半张脸，政子这个弟弟一向冷静，虽然年轻，可是表情总是很深沉，让人猜不出真正的想法，就连善于猜测人心的赖朝也摸不透。
义时越是冷静，赖朝就越激动，还说出十分轻率的话：
“你是最适合保护我子孙的人，我将会不断给你赏赐。”
只不过是留在鎌仓，就让赖朝做出这样的承诺。
义时果然高明，他一点反应也没有，连记录者都如此描写着：
江间殿下只回答“遵命”，就退了出去。