在日本军事史上，有一个权倾天下的形象：武家栋梁、天下领袖、日本的无冕之皇——征夷大将军。
这里的“夷”是指当时住在本州东部和北海道的虾夷族，“大将军”在《养老律令》中的解释是：每一万士兵设“将军”一名，每三军设“大将军”一名。所以，征夷大将军原是指讨伐虾夷族的军队统帅。
关于征夷大将军的最早记载出现在《日本记略》上：“征夷大将军大伴弟麻吕获赐节刀。”大伴弟麻吕是首任征夷大将军，他的外公就是赫赫有名的藤原不比等[1]。“节刀”是一种符节，“赐节刀”象征着朝廷赐予将军在外便宜行事的权力。等将军班师回朝，节刀也就是这份权力是要立即归还的。
俗话说：“有借有还，再借不难。”不过也有人打从一开始借了东西就没想过要还，幕府的创始人源赖朝就是这样。那时他已经扫平敌对势力，成为新一代的天下霸主，但他不能否认一个事实：在名义上，天皇才是日本的君主。作为股肱之臣，源赖朝需要一个能够让自己名正言顺地号令天下的名分，“征夷大将军”就在此时进入了源氏领导班子的视线。
日本征夷大将军的行政机构叫“幕府”。这实际上是个汉语词，指的是行军打仗时将军设置在前线的营帐。因为是在前线，离朝廷必然有一定的距离，万一遇到了问题，不一定能及时得到朝廷的回复，大部分事情只能依靠将军的临场判断。也正是因为如此，朝廷才会赐予征夷大将军那把象征特权的节刀。对一个国家来说，有两种权力绝不可以轻易放手，一个是征税的权力，另一个就是征兵的权力。但是，远征在外的征夷大将军为了筹集军资、补充兵力，被允许使用这两种权力。从这一点上来说，大将军完全可以构建起一个独立于朝廷之外的权力机构。
源赖朝的求官史十分坎坷。一开始，源赖朝递交的是“征夷大将军”的申请，但得到的官职却是右近卫大将权大纳言。这个职位也是极好的，只是必须常驻京都，那就没有理由行使在外决断的特权了。源赖朝转头就辞了官，动身回镰仓去了。虽然没达成心中的执念，但没过多久，源将军又找到了一个新目标：让大女儿大姬嫁到京都去。这个提议没有被否决，未来的亲家、天皇父亲法皇也投了赞成票。可惜，这桩婚事最终还是没成。因为天皇的现任岳父、摄政九条兼实从中作梗，找了个天皇身体不适的理由，把婚事给拖下来了。对九条大人来说，保住岳父地位是值得庆幸的，但他又不敢得罪源赖朝。为了补偿源赖朝，九条大人便为源将军送上了一份惊喜：天皇册封征夷大将军的诏书。
于是从源赖朝的镰仓幕府开始，“征夷大将军”这个封号成为武家的最高职位，象征着至高无上的荣誉。也是由此时开始，日本形成了一个传统：要想开幕府，必须要先受封征夷大将军。
[1] 藤原不比等：从飞鸟时代到奈良时代初期的公卿，曾参与编纂《大宝律令》。