在“黑船来航”打开日本国门之前，日本人主要是向邻居中国学习。德川家康特别喜欢儒家，所以在幕府统治时期日本全国普及了儒学。中国在当时对于这件事情没有太多的干涉，基本上就是“随便拿去用”的态度。日本从儒学中挑取了适合自己的部分，再和本土的武士道结合在一起，这就形成了自己的独特文化。
幕府时期的武士是统治阶级，为了能更好地管理下面的人，他们会统一学习汉学和武术，一是为了有良好的修养，二是为了锻炼强健的体魄。老百姓不是完全不受教育，虽然没有幕府支持，但各行各业的人都会学一点儿跟自己职业相关的知识。比如商人和手艺人会学一点儿算术，农民也会读一点儿农业技术书。但整体来说，在幕府统治的封建社会，各个地方都相对封闭，大部分人一辈子都不会离家乡很远，所以也没多大见识。“黑船来航”之后，日本锁国状态被打破，西方的新鲜事物自然吸引了日本人的注意力。
伴随着注意力而来的是自卑和恐惧。像“黑船”这种钢铁制的大型蒸汽船代表的几乎是压倒性的优势。虽然当时的日本在某些领域并不比西方落后，但那多是跟现实生活脱节的空学问，再怎么厉害也造不出铁船大炮。于是很多日本知识分子开始把目光放到了“实学”上。正好赶上美国忙着打内战[1]，欧洲又被克里米亚战争[2]吸引了注意力，西方列强基本上都没什么工夫来侵略日本。这给了日本一定时间，去奋力追赶。
当时日本流行的是“和魂洋才”概念，有点儿像中国洋务运动时主张的“中体西用”，基本上就是号召大家赶紧去学西方的先进玩意儿实现自强，但同时又不可以忘了老本。当时去西方学习的都算是国家的公派留学生，背负的是“为国留学”的使命，所以在国外也格外吃苦。还有一些知识分子打算自己偷渡去西方。比方说吉田松阴曾在半夜摇着渔船，打算伺机溜上美国军舰，跟着美国人回国，最后还是被守卫发现了。他回到岸上之后就被投进了大牢，不过这股子执着的劲儿也让他日后成为明治维新的先驱和鼎鼎有名的大教育家，而日本第一任首相伊藤博文就是他门下的学生。
1867年，幕府把政权交还天皇。急于让日本强大的新政府逐渐认识到，国家的富强必须建立在国民的富强之上。很快，他们就开始花大手笔整顿教育。他们打算下一盘大棋，把全国分成8个大学区，每个大学区下设32个中学区，每个中学区下再设210个小学区，每个学区里面都要保证有一所学校，这样一来就能实现全民教育。这么庞大的计划实施起来困难重重。就拿8个大学区来说，在1877年东京大学成立之后，实际上20年之后日本才出现了第二所大学。如何管理这么多学校呢？政府并没有采取“一刀切”的做法。编写教科书的时候，政府把工作委托给民间人士，让他们去各地游历之后再编出符合当地情况的教科书；由于没有统一规定，各地学校的教学楼也都建得五花八门。像长野县开智学校的教学楼，阳台上刻着精美的欧式浮雕，屋顶又采用了传统八角塔的构造，整栋楼刷成雪白，是那时颇具代表性的西洋风格建筑。
当时的小学教学一共分八大科目，分别是阅读、算术、写字、抄写、作文、问答、复读[3]和体操，主要集中在读、写、算这三种能力的训练上面，而像地理、历史以及理科等的相关内容就通通算在了“问答”这一门课里。
为了迅速提升国民的教育水平，政府派遣大量的海外留学生，同时还高薪聘请外籍教师前来教学。1868到1872年间，日本光是付给外教的工资就占了当年国家预算的3.98%。一直到1882年，政府才停止了引进外教。这自然是因为，经过几十年的狂追猛赶，日本教师在那时已经能够胜任各个领域的教学工作了。
[1] 美国内战：又叫南北战争，是美国历史上规模最大的内战，发生在1861年4月12日至1865年4月9日。
[2] 克里米亚战争：为了争夺巴尔干半岛而在欧洲爆发的一场战争，发生在1853年7月至1856年2月。
[3] 复读：反复阅读，相当于精读课。