利用磁铁的指极性制造指南仪器，是我国古代的一项伟大发明。在先秦的典籍中，就有“先王立司南以端朝夕”(《韩非子·有度篇》)的记载，“端朝夕”也就是正四方。在王充《论衡·是应篇》中，更记有“司南之杓，投之于地，其柢指南。”“司南之杓”是用天然磁铁琢磨成杓状，“地”是一种标有24个方位的地盘，“柢”就是杓柄，也就是把杓状磁铁放在地盘上，它的柄会指向南方。但是，天然磁铁琢磨不易，且会失磁，故未能推广使用。
大约在唐末或宋初，人们发明了人工磁化方法，制造出了指南针。指南针最初是由风水先生发明的，他们用铁针摩擦磁铁，使其磁化，而成指南针。据沈括《梦溪笔谈》记载，最初的指南针有四种装置方式，即水浮法，把磁针横贯灯芯草，让它浮在水面；放在碗唇上；放在指甲上；用丝线拴在磁针中心，悬挂起来。当时，人们已经发现了地球的磁偏角。后来的指南针装置法，一般是在地盘(古时又叫罗盘或罗经盘)中心挖一圆洞，内盛水，放进横贯灯芯草的磁针，就成为水罗盘。明末之前，普遍使用的都是这种水罗盘。
指南针的最大业绩，是它大大地促进了航海事业的发展。我们的祖先很早就在海上活动，山东大黑山岛发现的母氏社会遗址，反映了先民们在六七千年前就开始了海岛生活。秦始皇时，徐福带数千童男童女东渡日本，开创了大规模远航的先河。汉唐时，我国的商船已活跃于太平洋和印度洋上，与东北亚、东南亚、南亚、西南亚以至非洲东海岸的众多国家有着频繁的海上交通关系。在指南针应用于航海之前，海上远航是靠观测日月星辰来辨别方向的。如果遇到阴雨天气，茫茫的大海之中水天一色，只好随波逐流，听天由命了，迷失方向的事故是经常发生的。指南针的出现，为航海者提供了可靠的全天候导航手段。我国大约在11世纪末开始把指南针应用于航海。
图12 司南复原图
图13 初期指南针装置方式示意图
指南针在航海中的应用，引起了航海技术的重大变革，开创了一个人类航海的新纪元。李约瑟博士说，这是“航海技术方面的巨大改革”，它把“原始的航海时代推至终点”，“预示计量航海时代的来临”。我国宋元时期航海事业的高度发达，明初的郑和下西洋，以及欧洲人大航海时代的到来，都与指南针的发明和应用密切相关。
中国的指南针大约在12世纪下半叶由海道传至阿拉伯，再传入欧洲。同时可能也由陆路传到中亚地区，再传至欧洲。欧洲人在应用过程中对指南针装置进行了改进，发明了有固定支点的旱罗盘，有如我们现在常用的一样。旱罗盘在16世纪下半叶时回传中国，从而逐步取代了水罗盘。