少林寺在今河南登封县城西北的少室山北麓五乳峰下，始建于北魏孝文帝太和十九年(公元495年)，因建寺前少室山麓丛林满野，故取名少林寺。少林寺一直是国内外著名的佛寺之一。
当初，孝文帝建少林寺，是为了安顿印度僧人跋陀(即佛陀)居住传法。到孝明帝孝昌三年(公元527年)，另一位印度僧人菩提达摩来到寺内。达摩在少林寺传授佛教禅学，后来被佛教推为禅宗初祖，少林寺也因此名重一时，成为禅宗祖庭。
相传达摩面壁九年，在长期打坐修炼过程中，为活动筋骨，发明了心意拳，经少林寺众僧徒演练充实，发展成为极负盛名的少林拳。唐初，擅长少林拳的寺僧辅佐唐王李世民开国有功，唐王大加赏赐，少林寺不但因此得到大量庄田，而且获得了设立营盘、豢养僧兵的特权，寺院规模迅速扩大，殿宇楼阁上千，僧徒众多。后来少林寺几经兵火，几经重建，现存建筑有山门、方丈室、达摩亭、地藏殿、千佛殿和塔林等，占地面积三万平方米。山门额“少林寺”三字为清康熙帝亲书。千佛殿气势雄伟，内有明代《五百罗汉朝毗卢》大型壁画，约300平方米。殿中砖地上有许多凹坑，叫做站桩坑，据说是少林武僧练功跺脚所留下的痕迹。白衣殿内有少林拳拳谱、十三和尚救唐王李世民壁画。
寺西的塔林，是少林寺历代和尚墓塔，共有大小不同的砖塔、石塔220余座，是我国现存最大的墓塔群。建塔年代，最早的已逾千年，最晚的也有300多年。其中由元代日本僧人邵元撰文并书塔铭的菊庵塔以及天竺和尚塔，是中日、中印友好交往的历史见证。塔形多种多样，反映了不同时代的建筑风格，是研究我国历代建筑的珍贵实物资料。
少林寺西北有初祖庵、达摩洞， 西南有二祖庵。初祖庵的大殿建于北宋宣和七年(公元1125年)，是河南现存最古老、价值最高的一座木结构建筑，它的修建，为的是纪念达摩面壁九年。二祖庵则是为了纪念二祖慧可。相传禅宗二祖慧可，向达摩学佛，立雪断臂，终于得到了衣钵。徒众为纪念他，在他养伤的地方建起了此庵。
寺内现保存唐以来碑碣石刻300余品，其中以《唐王告少林寺主教碑》和米芾〔fu扶〕、赵孟頫〔fu俯〕、董其昌等历代名家碑刻， 最为珍贵，可谓塔碑密布，文物满寺。
河南是中国著名的武术之乡，嵩山少林寺更是我国武功的一大渊薮。白居易曾写诗赞少林说：“强健且宜游胜地，清凉不觉过炎天。始知鹤驾乘云外，别有逍遥地上仙。”