相传早在黄帝与蚩尤作战时，黄帝就首造指南车来辨认方向，以破蚩尤所布大雾。尔后又有周公造指南车的传说。战国时，出现了指南器具——司南。《韩非子•有度》曾记 载：“先王立司南以端朝夕。”司南用天然磁石琢磨而成，样子像勺，重心在勺底正中，将其置于刻有二十四向，中间极光滑的底盘上，用指轻拨使其转运，待停后长柄就指向南方。后经历代改进，到北宋，为适应日益发展的航海事业需要，出现了以人工磁化金属法 制造的指南鱼，即将薄铁片剪成鱼形，以磁石摩擦使之磁化，浮置水面，鱼头指南。后来 沈括在《梦溪笔谈》中记载了 “方家以磁石磨针锋”制成指南针，这是我国古籍乃至世界上第一次记述用人工磁化法制造的指南针。在19世纪现代电磁铁出现前，世界上所有指南针都是依此法制成。值得一提的是，沈括在书中还指出磁针虽能指南，“然常微偏东，不全南也”，这是世界上最早关于地磁偏角的记录，比欧洲早500多年。南宋曾三异《因话录》介绍了联磁针与刻有二十四方向位盘为一体“罗经盘”，又称盘，对测出方位更具有准确性，大约在12—13世纪，罗盘针由航海路传入阿拉伯，后传入欧洲。
指南针是的最大用途是航海。我国古籍记载指南针用于海舶始自北宋末年，朱《萍州可谈》曾记载：“舟师识地理，夜则观星，昼则观日；阴晦观指南针。”这比西方的记载早近100年。指南针在中国古代航海中的使用，打破了侠意的地理观念，创下了明初郑和七下西洋的航海壮举，它的广泛传播又为世界航海事业的发展以及经济文化的交流起了不可低估的作用。美国学者德克•卜德说过：“如果没有指南针，地理大发现的时代永远不会到来，而正是这个地理大发明的时代刺激了欧洲的物质文化生活，把知识带给了当时人们还不了解的世界，包括我们的美国”。