赖朝决定起兵，并不是因为有胜算或拥有具远见的军师，而是因为对军事毫无所知的妻子政子，以及部下画师邦通等人的怂恿：
“这样只会坐以待毙，还是揭竿而起吧！就算运气不佳，战败而死也无所谓，因为不举兵还是死！你必须赌赌运气。”
众人罗嗦的劝他，再加上他自己也有此意，于是决定举事。
事前，他派身边的安达藤九郎盛长为密使，去说服关东的旧家臣：
“请你们务必响应。”
几乎很少有人慷慨允诺“绝对会来”，大部份都表示“看情况再说”，采取不跟源、平任何一方为敌的态度。不过，也有很多人一口就回绝了，甚至还有人恶言相向。相模的波多野氏、山内氏等人，是赖朝（他们也一样）所期待加入的势力。波多野氏出身的女子爱慕义朝，替他生了赖朝的亡兄朝长，山内氏出身的女子则是赖朝的乳母之一。而且，两家的当家波多野义长、山内经俊是亲兄弟，这对兄弟若愿意响应，将会增加无与伦比的战力——赖朝这么期待着。密使藤九郎盛长来到波多野家时，兄弟俩正好在玩升官图。
“有甚么事情就在那里说吧！”
两人继续玩着升官图，也不跟盛长寒暄，简直就像对待讨饭者一样。藤九郎盛长不得已，只好对着京都买来的升官图盘开始说话。他一说完，哥哥经俊便说：
“弟弟，你听到了吗？”他开始笑了起来，说道：“人一贫穷，就不知道在想些甚么。”
“是啊！”
弟弟点头，彷佛受不了似的感叹着。
“这件事情可是十分严重。以佐殿现在的情况，想要夺取平家的世界，就好像小石头要跟富士山顶较量一样。世上哪有人会赞同这种鬼迷心窍的想法呢？这太可怕、太可怕、太可怕了！南无阿弥陀佛！南无阿弥陀佛！”
他们兄弟虽然没有明讲，可是也不一定听不出他们的真心话。
——佐殿是个意料之外的人。
盛长如此认为。只有少部份人知道赖朝伶俐、大胆、宽宏大量的人格，而积极跟随他。在这个时代，武士选择盟主式的人物。平治之乱时，武士们选择清盛放弃义朝，就是最好的例子。在这一点上，愿意跟赖朝共存亡且积极参与的，是在三浦半岛的三浦与和田氏，以及在房总半岛的千叶氏。不过，三浦、和田、千叶氏等人，也不是一开始就出兵相助。
“佐殿先做看看吧！”
他们原先是这种态度。
叫赖朝先用手边的兵力来举兵吧！看结果如何，让坂东武士了解赖朝其人以及他的行动，使大家开始敬仰他，然后他们再起兵。这一点，跟战国时代的主从关系完全不同。
赖朝决定进行突击，第一个目标是伊豆的平家目代山木判官兼隆的府邸。然而，眼前他最关心的却不是军事，而是读经。
他在四月接到以仁王令旨时，心中曾暗自决定：
（我的心愿是读完千部法华经，读完再说吧！）
现在，迫于情势必须提早举兵，可是他只读了八百部而已。他很在意这件事，于是偷偷前往伊豆山权现，去见塔头的密严院住持卿律师。卿律师是赖朝二十年来敬重如师父的老僧。赖朝将举兵的秘密告诉了他。
“怎么办才好呢？”赖朝问。
伊豆山权现因为社领的关系，已与平家交恶。
“这样好！”卿律师还称赞赖朝：“八百部吗？‘八’这个字很吉祥。你想想看，源氏的祖先是八幡大菩萨，您的先祖是八幡太郎义家公，跟从您的武士们是关八州的武士，而且，你们要讨伐的是八逆无道的凶徒清盛。‘八’这个字多好啊！恭喜啦！”他像唱歌似的说。
这天是治承四年七月五日。决定突击目代的山木判官的日子，是八月十七日。
突击的前一天晚上，参与行动的众人集合在一起立下重誓，其实，除了北条氏之外，也没有比较有组织的集团加入，都只是零星的个人参与者。由于人数不够，所以连画师邦通、落魄的神主住吉小大夫昌长等人都参加了，组成了一团喽罗杂兵。其中稍有武功者，只有佐佐木兄弟定纲、经高、盛纲、高纲等人。
附带一提，佐佐木庄园位于近江琵琶湖东岸，世代以之为据点。而佐佐木兄弟的父亲秀义，在平治之乱中协助义朝，败北后往东奔走投靠奥州藤原氏。途中进入相模，在涉谷（神奈川县藤泽市内）想拜托拥有大片土地的涉谷庄司重国提供住宿处时，重国说：
“干脆就住在我家吧！”
于是他接受了重国的好意，父子们二十年来就一直当重国家的食客。可是，秀义没有忘记对源家的旧情义，他要孩子们前来伊豆的流放处，照顾赖朝的生活起居。四兄弟都是弓箭名手。
——有这四个人的弓箭就够了。
赖朝以这四人的射箭技术为战力中心来思考。
可是他们却没来。
（该不会背叛我了吧？）
赖朝如此怀疑，甚至还陷入绝望的深渊。其实，他们四人是因为前几天洪水冲走了桥梁，无法过河，迟到的理由不过如此而已。
——佐佐木兄弟没有来。
赖朝着急不已。周围的人提供了许多意见，大家都说：
“延后一天起兵吧！”
也就是说，十七号延到十八号。如果延到十九号的话，时间拖得太久，恐怕会事迹败露。
“不可以！”赖朝断然说。
大家以为是基于战略或战术上的理由，纷纷询问原因。
“十八号是正观世音菩萨的缘日。”赖朝回答。
他从小就信仰观世音，每月十八日的缘日都要念诵普门品，这一天不只不杀鱼、鸟，连碍手碍脚的蚊子都放生。二十几年来他都是如此。因此，他不能在这禁忌之日突击山木府邸，斩杀那么多人。
（真是悠哉！）
大家都这么想。然而赖朝并不让步，他非常认真。这种类似清僧的道心，在伊豆乡下人眼中相当优雅。
最后，佐佐木兄弟赶来了，他们浑身是泥，一看就知道一路上历经艰辛。他们的武装十分寒酸，两个哥哥辛苦的骑着一匹瘦马，而两个弟弟则是徒步武者。然而，只有一丁点部下的赖朝牵着四兄弟的手，高兴得流下眼泪。在当时，赖朝算是很爱哭的男人。
他们决定当晚突击。本队由北条时政指挥，佐佐木兄弟中，除了盛纲，其他三人组成了机动队。山木判官的监督者中，有个叫提权守信远的人物。众人先攻击信远的府邸。定纲、高纲两人绕到后门，月亮高挂在中天，附近明亮得彷如白天。次男经高一个人负责正门，他翻过围墙，跳入院子，如同飞到草上似的，从背后抽出箭搭在弦上，论射箭技术，他是兄弟中最高明的。箭从弦上飞出，呼啸着朝正屋而去，射中窗户，穿窗入内。
这是源氏征服平家的第一箭。（《吾妻镜》）
信远的一名部下听到动静，冲出来查看，发现月光下只站着一个男子。
他只当此人是来捣乱的坏人，完全没有想到是征讨平家的前锋武者。经高以树木为掩护放箭，就在彼此对射时，经高的箭用完了，于是立刻抽出太刀，在月光下冲锋。
“疯子吗？”提权守信远想。
他拔起刀冲到院子里，想亲自解决这个人，正好着了佐佐木兄弟们的道。
信远被经高吸引了注意力，没发现定纲、高纲从后门溜了进来。二人突然出现在院子里，急促地报上姓名后就冲了过来，将信远的脸砍成两半。信远滚了三下，倒在草丛中。他可以说是源平争乱的第一个牺牲者吧！
“撤退！”
长兄定纲下令，于是三人退出了这个小战场，准备去救援本队。他们跑在田圃道上，前往主战场山木府邸。由于前几天下雨，田间小路泥泞难行，三人跑得很辛苦，跌倒了好几次。
到达山木府邸后，只见战况似乎相当不利。主力北条家武者意外的脆弱，兄弟们在战乱中砍杀进来，大大提振了众人的士气。
赖朝自己没有参加战斗，他以总帅的身分留在北条府邸，坐在屋檐下眺望天际。
屋旁有棵大树，他要北条家管马廏的下人江太新平爬上去观察战况。
“新平，还没看到火吗？”
赖朝摇晃着树干，他已问过许多次了，每次新平都回答“没有”。他命令突击队以放火为战胜的暗号，可是，已经过了预期的时间，却仍没有看到火，赖朝急了！
“真是没办法！”
他回过头来。这位总帅的随从大将只有三个人：佐佐木盛纲、加藤次景廉、堀藤次亲家。
“我一个人没关系，你们也去吧！去把山木判官的头砍来。”
赖朝将自己的武器薙刀给了加藤次景廉。三人勇猛地冲了出去。
结果，这三人冲入山木府邸内的混战中，找到了山木判官。加藤次景廉挥舞着薙刀，砍下了判官的首级，突击终于成功了。
后来，赖朝躲到石桥山，率领着关八州的军队，用自己很自豪的射箭技术作战，然而还是惨败，一个人逃往安房。在房总半岛，他受到三浦氏和千叶长胤等人的拥戴，上总介广常竟然率领了二万骑来奔。不过，带来这份幸运的广常，绝对不是衷心顺从加入，而是受到赖朝党派的友好者说服而来。
（人们对赖朝有很高的评价，会不会只是个名流之类，连个屁都不如的小才子呢？）
他有这样的怀疑。
广常带着二万骑加入军队阵容，想以大军为凭恃观察赖朝，然后再决定下一步行动。如果赖朝只是个小才子，就包围他、征讨他，把他的首级送到京都，以获得平家的赏赐。如果赖朝是个十中选一适合当武门首领的人物，就拥护他，反过来讨伐平家，让坂东像奥州一样独立于京都统治之外，创造一个与京都不合理的土地政策完全不同的世界。
赖朝率领本营前进至隅田川以东。这时，广常率领大军来到隅田川畔，派使者渡河去见赖朝，并要使者对赖朝说：
“请让我们加入您的阵容。”
（赖朝会狂喜吧！）
广常这么预料。
传话的使者自然而然面露骄傲轻慢之色，赖朝很敏感，一眼就看穿了。
（如果我现在表现得很高兴，跟随我的所有部下都会看不起我，甚至连广常也会看不起我，说不定还会对我刀兵相向，反过来攻击我。）
赖朝可说具有天赋的政治眼光，他看穿了这一点，于是斥喝来使：
“回去！”
使者及赖朝的左右都怀疑自己的耳朵。赖朝内心也暗暗对自己说的话感到战栗。
（现在是夺取天下的关键时刻。）
他鼓舞着自己，让声音更加愤怒。
“广常加入得太迟了，要罚他！”他说。
使者逃回广常的营地，将赖朝的话告诉广常。
“再说一遍！”
广常闭眼细听，为了以防万一，他要使者把相同的话再重复一次。他似乎很不愉快，可是却下定决心：
（他似乎是个值得拥戴的盟主。）
于是，广常向赖朝道歉，获得赖朝的原谅。由于广常这二万骑的参与，使赖朝在关东地区的评价整个改变。人们都听说他军势浩大，争着要献上名簿，表示愿意当他的臣子。这简直可说是奇迹，距赖朝突击山木判官府邸还不到两个月。这段期间，平家在京都平静度日，没有任何行动，终于组织了讨伐军离开福原后，还在京都浪费了好几天的时间。