我们的祖先很早就创造了音乐，据先秦典籍和地下出土的文物，在原始氏族社会，就已经有了简单的咏歌和舞蹈，有了简单的敲击和吹奏乐器。
音乐和其他艺术一样，也起源于生活。在生活中，大自然中的松涛竹韵、鸟语虫吟以及工具撞击发出的各种声音，都使他们感到新奇、振奋和愉悦。“伐木丁丁，鸟鸣嘤嘤”（《诗经·小雅·伐木》），“春日载阳，有鸣庚仓”（《诗经·豳风·七月》），他们就生活在这样一个有声有色的自然环境之中。渐渐地，他们对音高、音色和节奏等有了一定的认识，就试图去再现那些令他们感动的声音，于是，最原始的乐歌就产生了。
从远古的传说中，我们可以看到原始社会的乐舞都与先民们的劳动生活有关。在原始社会时期，生产力相当低下，生产工具相当简陋，劳动强度也就相当大，他们就用音乐来协调动作，借以减轻劳动强度。如《吕氏春秋·淫辞篇》所载的“举重劝力之歌”：
今举大木者，前呼“舆謣”，后亦应之。
鲁迅先生在《门外文谈》中对此有更形象的描述：“我们的祖先的原始人，原是连话也不会说的，为了共同劳作，必须发表意见，才渐渐地练出复杂的声音来，假如那时大家抬木头，都觉得吃力了，却想不到发表，其中有一个叫道‘杭育杭育’，那么，这就是创作；大家也要佩服，应用的，这就等于出版；倘若用什么记号留存了下来，这就是文学；他当然就是作家，也是文学家，是‘杭育杭育派’。”就像后代的劳动号子一样，这“杭育杭育”也一定有低昂错落的旋律、简洁明快的节奏的，它其实就是最早的乐歌。先民们用乐舞来描述和再现劳动的过程和场面。
《尚书·益稷》记载：“夔曰：‘于！予击石拊石，百兽率舞。’”“击石拊石”，是先民们在劳动之余，把劳动的工具如石刀、石斧等当作乐器来敲击；“百兽率舞”，是指人们身披鸟羽兽皮，扮作野兽，作逃奔扑击等种种情状，这实际上就是狩猎场面的再现。
在《吴越春秋》中，还记载了一首古老的《弹歌》：“断竹，续竹。飞土，逐肉。”仅用八个字，就生动形象地描述了先民们砍竹制弓去猎取鸟兽的情景：人们在狩猎的过程中发明了弓（箭）。他们砍断竹子（断竹），再把它拗弯，两端用绳拴上，就制成了一张弹弓（续竹），然后用它射出石块（飞土），去追逐猎取鸟兽（逐肉）。
这两首乐歌，描写的是旧石器时代先民们的狩猎生活，也就是传说中的“燧人氏”和“伏羲氏”的时期。
从考古发掘中，我们知道我们的祖先很早就发明了骨哨、鼓、磬、钟、埙等乐器，它们差不多都是从劳动的工具演变而来的。
鼓是最古老的乐器之一，它是由最早的“鼓腹”演变而来的。《隋书·何妥传》说：“上古之时，未有音乐，鼓腹击壤，乐在其间。”这里所说的“鼓腹”，是指用手拍击系在腹上的兽皮。这种习俗，在现代一些新发现的原始部落中仍然保留着，在神话传说中，就变成了颛顼命先为乐倡，先就“以尾鼓其腹，其声英英”（见《吕氏春秋·古乐》）。
“鼓腹”的发展，就是鼓腔的出现。最早的鼓，鼓腔是用泥胚或是陶制的，在它的上面蒙上鼓皮，敲出的声音当然就响亮得多。这就是所谓的“土鼓”。1978年，从福建闽侯县黄土仓遗址出土了一件约三千多年前的泥灰质陶鼓，证明古籍所载的“土鼓”是确有其物的。篑桴，是用竹木制的鼓棰。
土鼓的出现，是因为人们在劳动的过程中发明了烧制陶器的技术。随着生产工具的不断进步，尤其是金属工具的出现，使人们有可能把木头掏空，甚至用木板拼接成鼓框，鼓才由土鼓演变为木框蒙皮的鼓。
钟也是最古老的乐器之一。最早的钟是陶制的，在陕西省长安县客省庄龙山文化遗址就出土有一枚陶钟。陶器本来是人们的生活用具，人们在偶然的敲击中发现它们能发出优美的声音，于是，在歌舞中有时也就把它当作乐器来敲。人们还发现不同形状、不同大小、不同厚薄的陶器发出的声音也有高低清浊的区别，后来，人们就专门烧制出音高不同、能演奏旋律的大大小小的钟，它也就从实用的器皿变为专门的乐器。当人们掌握了冶炼技术以后，钟也就由陶制而变成用青铜或铁等金属铸造了。
由陶器演变而成的乐器，还有非常著名的埙。先民们也许是无意中将有孔的小型陶器放到嘴边吹，发出的那种幽远的声音让他们着迷，他们就把它当作乐器来使用。最早的埙没有音孔，只能发出一个很单调的音，后来，人们发现埙上面的小孔的开放能改变音高，于是，他们经过不断地研究和探索，制成了可以演奏旋律的二孔埙、三孔埙乃至多孔埙。
管的历史，也可以追溯到渔猎时期。在江苏吴江梅堰和浙江杭州湾河姆渡文化遗址等处出土了一些用鸟兽的胫骨制作的“骨哨”，上边有吹孔和音孔，显然是一种古老的乐器。据研究，它们最早是用来模仿鸟兽的叫声以吸引猎物的。最早的用来模仿鸟兽叫声以吸引猎物的管状吹奏物还有苇籥。先民们在狩猎时，听到风吹折断的芦苇发出呜呜的声音，他们就截下芦苇，用口来吹，用这种声音来引诱猎物，使捕获量大大增加。后来，骨哨和芦管逐渐改为竹木制作，演变成箫、管、笛、籥之类的整个吹管乐器家族。
最原始的工具是石器，由石器演变成的乐器是磬。先民在歌舞时“击石拊石”，实际上是敲击他们手中的石制工具。后来，他们用石头打制或磨制出专门供演奏用的石器，这就是磬。目前发现最早的磬，是山西夏县夏代文化遗址出土的一个石磬，它打制得非常粗糙，很像耕田用的石犁。还有一种磬大概是圆形的，叫做“球”，它大约是受到弹丸的启发而制作的。
远古时期是不是已经有弦乐器出现，现在还很难说。弦乐器的产生，是受弓箭的启发，所以，也不排除当时已经有简单的弦乐器出现，只不过因为它们很难保存，现在还没有实物出土而已。
原始社会，生产力低下，所以群体协作性很强，他们的娱乐活动，也是群体性的。简单，但是场面热烈；观赏性不一定强，但却有很强的娱乐性。
由于资料的匮乏，我们对远古时期音乐的情况知之不多，仅从后代的典籍中了解一些。
据说最早的音律，是黄帝时叫乐官伶伦制作的。伶伦砍伐厚薄均匀的竹子，用来制作律管。他取三寸九分长的竹管吹奏，把这个音高定为黄钟宫音。他又制作了长短不等的十二支竹筒，制定了十二律。
黄帝的重孙帝喾（高辛）即位，命咸黑作声歌《九招》《六列》《六英》时，有一位名叫倕的能工巧匠制作了鼙、鼓、钟、磬、苓、管、埙、篪等乐器。
据说，黄帝的乐舞叫《云门大卷》，尧的乐舞叫《咸池》，舜的乐舞叫《大濩》（即《韶》），禹的乐舞叫《大夏》，商汤的乐舞叫《大濩》，周武王的乐舞叫《大武》。这些乐舞是不是黄帝、尧、舜时真有的，但是，在周代甚至在周以后，却被整理出来，确实用作宫廷雅乐表演，在许多典籍中都还有这些乐舞表演情况的记载。