伯牙原姓俞，名瑞，伯牙是他的字，春秋战国时期楚国郢都（今湖北荆州）人。历代文献关于伯牙的记载很多，最早见于荀况的《劝学》篇，而在《吕氏春秋》和《列子》中，记载有伯牙与钟子期的故事，一直为后世所传诵。
伯牙鼓琴，钟子期在一旁听着。伯牙志在泰山，钟子期说：“善哉乎鼓琴！巍巍乎若泰山”。一会儿，伯牙又志在流水，钟子期说：“善哉鼓琴，洋洋乎若流水”钟子期死后，伯牙摔琴绝弦，终身不再操琴，因为当世再也没有能听懂他的琴声的人了。
《琴操》等古书里也记载了有伯牙学琴的故事：着名琴家成连先生是伯牙的老师，伯牙跟成连学了三年琴却没有太大的长进。成连说自己只能教弹琴技艺，而其师万子春更为高明，便带伯牙去东海找万子春请教提高的方法。可伯牙到了东海，并未见到万子春，只看见汹涌的波涛，杳深的山林和悲啼的群鸟，伯牙心中豁然一亮，操琴的水平更上了一层楼，于是创作了名曲《水仙操》。
其实，还有一首名曲也是这个传说的作品，那就是更加广为人知的《高山流水》。
《高山流水》的乐谱最早见于明代《神奇秘谱》（朱权成书于1425年），此谱之《高山》、《流水》解题有：“《高山》、《流水》二曲，本只一曲。初志在乎高山，言仁者乐山之意。后志在乎流水，言智者乐水之意。至唐分为两曲，不分段数。后来分高山为四段，流水为八段。”两千多年来，《高山》、《流水》这两首着名的古琴曲与伯牙鼓琴遇知音的故事一起，在人民中间广泛流传。