曹魏嘉平年间（公元249年～254年），匈奴左部帅刘豹的妻子呼延氏结婚多年，仍没有怀孕，十分焦躁。一天，呼延氏到了龙门，虔诚地跪在地下反复祈祷早得贵子。一个月之后，呼延氏发现自己已经怀孕。又过了12个月，呼延氏果然生了个儿子，他就是刘渊。
刘渊落地半年多就会说话，聪明慧黠。7岁那年，呼延氏不幸去世，刘渊悲痛欲绝，哭得死去活来，把左邻右舍感动得陪着他痛哭流涕。刘渊喜欢学习，幼年就拜上党崔游为师，学习《毛诗》、《京氏易》、《春秋左传》、《孙吴兵法》、《史记》和《汉书》。刘渊在书的海洋中畅游多年，长了不少知识和才干，也产生了远大志向和抱负。当时天下大乱，刘渊深知要建功立业就得有好武艺，因此他又发愤练习武功。由于他身材魁伟，有两只很长的胳膊，手臂也很有力气，自然是个拉弓射箭的能手，练了没有多久，就成了远近闻名的射箭高手。
曹魏咸熙年间（公元264年～265年），刘渊以人质的身份到了洛阳，广泛结交汉族官僚。司马氏建立西晋之后，刘渊仍留居洛阳。后其父刘豹病死，晋武帝让刘渊接替左部帅之职。太康末年（公元280年～289年），刘渊又被封为北部都尉。刘渊严肃法治，惩治奸佞，轻财好施，以诚待人，吸引了一大批有志之士。匈奴的五部、幽冀等地的名儒潮水般地涌向了刘渊。随着兵多马众，刘渊的官衔也不断升级，到晋惠帝时已经升任了五部大都督，后来又被调到邺城，提拔为宁朔将军，负责匈奴五部的军事工作。
这时“八王之乱”已经拉开了序幕，北方地区成了西晋宗室互相残杀的舞台。刘渊的堂祖父、匈奴左贤王刘宣等人见恢复匈奴故业的时机已到，便凑到一起商量说：“昔日我们祖先与汉结为兄弟，约定同甘苦共患难。自从汉朝灭亡之后，我们匈奴单于只有虚名，没有半点地盘，从王侯降低到同普通百姓一样，难道我们就这样甘心情愿地受他人奴役吗？刘渊有卓越的领导才能，我们为何不推他当单于，大干一场呢？！当今司马氏骨肉之间互相残杀，正是我们恢复邦业的大好时机。”大家一致同意刘宣的看法，秘密推举刘渊为大单于，并委托呼延攸到邺城请刘渊回到他们身边。
刘渊迫切希望马上离开邺城，但居邺城的成都王司马颖不同意，刘渊只好先让呼延攸回去联络匈奴五部和杂胡，自己则等待适当机会再回去。永兴元年（公元304年），王浚、司马腾起兵反晋，刘渊乘机对司马颖说：“王浚、司马腾有10万多名士兵，仅凭我们目前所掌握的军队恐怕很难把他们消灭。我想回去为殿下调动匈奴五部的兵马，共赴国难。”司马颖看着刘渊那副认真、自信的样子，也就答应了他的要求。
刘渊离开邺城，马不停蹄地奔向了左国城（今山西离石），自称大单于，起兵反击司马腾，不到20天，兵众就发展到5万人。
刘渊离开邺城不久，王浚的将军祁弘就率领鲜卑人包围了邺城。刘渊听到这一消息时，准备发兵攻打鲜卑、乌桓。刘宣等人见状便对刘渊说：“西晋君臣不是东西，像奴仆一样对待我们，这口气能咽得下去吗？！现在司马氏互相残杀，正是灭晋复汉的大好时机。况且，鲜卑、乌桓与我们的习性基本相同，可以结为外援，怎能去伤害他们呢！”刘渊一听如梦初醒，激动地说：“好！我现在有10万兵马，个个以一当十，消灭晋朝，就像秋风扫落叶般容易。但是，我们不要忘记，占有天下需要赢得人心；从长远利益着想，我们应当打出汉朝的旗号。我们都知道，我们的祖先冒顿单于曾经娶汉女作阏氏（相当于中原王朝的皇后），和汉高祖刘邦是结拜兄弟，我们都是汉朝的外甥。这样，我们把国号叫作汉就名正言顺了。”于是刘渊便自称汉王，改元元熙，把国都从离石迁到左国城。同年年底，刘渊派建武将军刘曜攻陷太原。这时，在赵魏起兵的汲桑，在山东起兵的王弥，在河北起兵的羯族石勒遭到晋军重创后，先后投入了刘渊的怀抱。刘渊的势力更加壮大。
元熙五年（公元308年）七月，刘渊迁都蒲子，自称皇帝。太史令宣于修之对刘渊说：“据我观察，不用3年时间我们一定能够攻克洛阳。蒲子崎岖不平，不是久留之地，而平阳是陶唐旧都，而且紫气升腾，风水不错，应当将国都迁到那里。”刘渊下一步是想向洛阳用兵，所以听了宣于修之的话以后就把国都迁到了平阳（今山西临汾西北）。接着，刘渊又派王弥、刘曜两次进攻洛阳，但都没有成功。河瑞二年（公元310年），刘渊病死，葬于永光陵，谥号“光文皇帝”，庙号“高祖”。