除了佛教建筑，日本的另一类宗教建筑就是神社。
日本的本土宗教是神道，信仰神道的人认为神存在于大千世界万物万象当中，山、木、水、石都各有各的神仙，而神社就是用来朝拜各路神仙的场所。
神社的大门，类似于中国的牌坊，两边各一根柱子，中间架着一块横木，叫作鸟居。穿过鸟居，有一条小径，一直通往神社的正殿，路两旁立着很多石灯笼。每个神社都有“手水舍”，供参拜者洗手或漱口。正殿门口立有一对狛犬，类似于中国的石狮子，守护着神社。佛教传入日本之后，神社建筑也受到佛教建筑的一些影响，比如把柱子涂成红色，把墙壁涂成白色。
伊势神宫是日本格位最高的神社，本来它就叫“神宫”，只是为了区别其他神宫，才把它所在的伊势市的地名加了上去。就像说到赏花，日本人就会自动想到樱花一样，说到神宫，他们首先想到的就是伊势神宫。神宫的主体建筑是供奉天照大神的“皇大神宫”和供奉掌管天照大神衣食住的丰受大神的“丰受大神宫”，分别叫“内宫”和“外宫”，两座建筑相隔约4千米。除这两座正宫外，伊势神宫还包括14座别宫等123座大小神社，全部面积达5500公顷，足足占了伊势市1/3的面积。
天照大神被视为皇室的祖先神，但是伊势神宫远离首都，而且有确切记载的第一位参拜伊势神宫的天皇已是近代的明治天皇，所以有很多人认为天照大神并非皇室的祖先神，而是皇室非常忌惮的神灵，因为担心神灵作祟，才选在远离首都的地点供奉，历代天皇也从不去参拜。
为什么这么重要的神宫要建在非京都也非东京的地方呢？谁也没有确切的答案，不过有这样一个神话传说：2000年前，垂仁天皇的公主倭姬命为天照大神选择永久居住地，看中了有山有水、气候温暖的伊势。不管怎么说，伊势神宫在日本老百姓心中的地位都是至高无上的，江户时代的一首民谣《参拜伊势》中唱道：“欲去伊势，欲见伊势路，至少此生去一次。”