杠杆的使用或许可以追溯到原始阶段。当原始人拾起一根棍棒与野兽搏斗、或用它撬动一块巨石，他们实际上就是在使用杠杆。石器时代人们所用的石刃、石斧，都以天然绳索将它们和木柄捆束在一起；或者在石器上凿孔，装上木柄。这表明他们在实践中懂得了杠杆的经验法则：延长力臂可以增大力量。
杠杆在中国的典型发展是秤的发明及其广泛应用。在一根杠杆上安装吊绳作为支点，其一端挂上重物，另一端挂上砝码或秤锤，就可以秤量物体的重量。古代人称它为“权衡”或“衡器”。“权”就是砝码或秤锤，“衡”是指秤杆。《吕氏春秋·古乐》中记载：黄帝使伶伦“造权衡度量。”《史记·夏本纪》记载夏禹“身为度，称以出”。可能，中国早在4000多年前就有雏型的权衡器。不过，迄今为止，考古发掘的最早的秤是在长沙附近左家公山上楚墓中的天平。它是公元前第四到第三世纪的物品，是个等臂秤。不等臂秤可能产生于春秋时期。古代中国人还发明了有二个支点的秤，俗称铢秤(图2-1)。使用这种秤，变动支点而不需要换秤杆就可以秤量较重的物体。这是中国人在衡器上的重大发明之一，也表明中国人在实践中完全掌握了阿基米德(公元前287—前212年)杠杆原理。
1.楚墓中的天平与砝码 2.不等臂秤 3.铢秤
图2-1 古代几种秤示意图
《墨经》一书最早记述了秤的杠杆原理。《墨经》是战国时期以鲁国人墨翟为首的墨家著作。墨翟和他的弟子们以刻苦耐劳、参加生产、勇敢善战著称。因此，他们的著作中留下了许多自然科学知识。
《墨经》将秤的支点到重物一端的距离称为“本”(今称为重臂)，将支点到权一端的距离称为“标”(今称为力臂)。书中写道：
(1)当重物与权相等而衡器平衡时，如果加重物在衡器的一端，重物端必定下垂；
(2)如果因为加上重物而衡器平衡，那是本短标长的缘故；
(3)如果在本短标长的衡器两端加上重量相等的物体，那么标端必下垂(图2-2)。
墨家在这里将杠杆平衡的各种情形都讨论了。他们既考虑了“本”与“标”相等的平衡，也考虑了“本”与“标”不相等的平衡；既注意到杠杆两端的力，也注意到力与作用点之间的距离大小。虽然他们没有给我们留下定量的数字关系，但足以将杠杆的平衡条件叙述得十分全面了。这些文字记述肯定是墨家亲身实验的结果，它比阿基米德发现杠杆原理要早约200年。
图2-2 《墨经》讨论杠杆原理
桔槔也是杠杆的一种。它是古代的取水工具。作为取水工具，一般地用它改变力的方向。作其他目的使用时，也可以改变力的大小，只要将桔槔的长臂端当作人施加力的一端即可。春秋战国时期，桔槔已成为农田灌溉的普通工具。