光熙元年（307）十一月的一天夜里，晋惠帝回都洛阳的第三年，司马越毒死了晋惠帝司马衷。司马衷死时四十八岁，在位二十六年。太弟司马炽继位，是为晋怀帝，改元永嘉。司马炽一即位就立刻亲政，不断参与政务，与什么事都不管的晋惠帝大为不同。司马越为了削弱司马炽的权力，遂带百官至许昌，留少帝司马炽在洛阳。凡朝廷之事，需司马越在许昌决定之后才能施行。
司马越虽然耍了个花招，压制少帝，重新取得对西晋的绝对统治权，可他为什么要毒死晋惠帝呢？留着这个百依百顺的傀儡皇帝不是更好控制么？其实历经贾后之乱，八王之乱，当了二十多年皇帝的晋惠帝还是很得人心的，也就是说有一批人很愿意跟着这位傻皇帝混，愿意支持他。事实上，在八王之乱中，很多人都因为打着拥立晋惠帝的旗号而得到四方的响应。总的来说，司马炽虽然聪明，但资历低，没有自己的人马，没有号令天下的威信，还是比较好控制的。而司马越一旦对司马炎亲自立下的晋惠帝有什么不敬举动的话，就很有可能被司马家族群起而攻之。而且历史告诉我们，如果一个权臣想当皇帝，他一定会先废掉一两个皇帝，以打击皇权威信，树立个人权威，然后在口服心服的众人拥戴下登基。
不过，司马越赶上的这个时代实在是太乱了。他刚刚毒死晋惠帝，刘渊便把并州都督司马腾痛打一顿，占据了晋北。司马越一时抽不出兵来，刘舆遂向司马越举荐他的弟弟刘琨为将。司马越知道刘琨打仗很行，便命他为并州刺史，他直接对付刘渊，而把司马腾调到了冀南的邺城。
司马腾早被刘渊打怕了，一接到司马越的调令，没等刘琨前来，自己就先带着兵马及大部分百姓跑到河北了，给刘琨留下一座空城。刘琨是光杆司令，一路走一路招兵。由于山西战乱频仍，又被司马越带走了一大批百姓，到处少见人烟，豺狼当道，一直走到了并州才招了五百多人。并州留下的都是一些老弱病残的百姓，个个面带菜色，羸弱不堪。战死和饿死的尸体已经变成了白骨，被野狗叼来叼去。刘琨带着人把街道清理了，房屋修好，城墙加固，又贴出告示，召流民回来耕种荒废的土地。这时刘渊已经绕过晋阳，直向南攻，很快占据了除晋阳外的整个山西省。
刘琨这边守住了晋阳，司马腾却没能守住邺城。汲桑和石勒被兖州刺史苟晞击溃以后，落草为寇，竟然很快弄了上万兵马，不久又卷土重来，再攻邺城。司马腾派大将冯嵩带三万兵出战。冯嵩打了一个大败仗逃了回来。司马腾奇怪地问道：“你带三万正规军难道打不过一万土匪么？”
冯嵩道：“战士们很久没有发饷了，过的还不如土匪呢！怎么能好好打仗？现在国库空虚，您不如把家里的钱拿出来来激励将士，这样才能取胜！”
司马腾一听就怒了：“你怎么不把你家的钱拿出来？”
冯嵩道：“我那点家产顶个屁用，谁像你有数亿家资。再说了，如果邺城被夺去，你那数亿家资还不是被人家夺了去？”
司马腾一想也有道理，于是命家人把米和布拿出一部分来给大家分，因为实在舍不得，拿出来的并不多，每名士兵不过分到几天的粮食和只够做一身衣服的布。将士们见司马腾这么抠门，谁还肯为他卖命，领了东西便一哄而散，跑个精光。司马腾这下着急了，再想携家资逃跑，连赶车的车夫都找不到了，只好捡些黄金细软骑了快马离城南逃。在城外司马腾被汲桑部将李丰追上刺死，最终落得个人财两空。汲桑、石勒本就是做土匪的，进入邺城之后，把邺城大大地抢掠一番，又杀了不少百姓，临走放一把大火，竟把邺城给烧了。所谓杀人放火抢东西，真是和强盗没有任何分别。
二人抢完烧完，又举兵向南，直袭兖州，去攻老仇家苟晞。
苟晞和他的弟苟纯、部将王赞带兵拒敌。汲桑、石勒虽拥有威力很大的精骑兵，但鲁西以山地为多，苟晞的步兵并不吃亏，所以双方打了几仗，不分胜负，形成僵局。苟晞极善用兵，知道汲桑和石勒两军中汲桑最弱，于是派苟纯连夜率三千精兵去东武阳设伏，又请冀州刺史丁绍断汲桑和石勒北逃的后路。安排停当，第二天出兵和石勒混战。汲桑本来准备整军增援，哪知道刚走了不一会儿，后营苟纯偷袭，急忙回去，又被苟纯伏击。汲桑大败，幸亏石勒发现右军出了问题，整兵回救，这才把汲桑救下。但苟晞也乘势追杀而来，石勒等人来不及整军，一路败了下去，败到河北，又遇到丁绍的伏兵，汲桑、石勒在乱军中失散。汲桑在今天冀鲁的交界处乐陵遇到了司马腾的旧将田兰和他所带的几百散兵游勇，落地的凤凰不如鸡，汲桑被手下败将田兰捉住杀死。
石勒辗转逃回上党武乡，这个地方活动着一支数千人的土匪，匪首叫做张背督。石勒找到张背督，问道：“现在刘渊占据了整个山西，你认为你能在山西一直立足下去么？”
张背督道：“当然不能了。”
石勒道：“既然不能，而且您的手下都受过刘渊的恩惠，我担心他们迟早有一天要叛离您啊。”
张背督惊问道：“石英雄，你给你出个主意，我该怎么办？”
石勒道：“我看刘渊必成大业，将来天下都可能是他的。咱们不如早一点去投他，混个荣华富贵绝不成问题。”
张背督想了一个晚上，第二天早上便带众土匪随石勒投奔了刘渊。刘渊十分高兴，封石勒为辅汉将军、平晋王，封张背督为亲汉王。在欢迎宴上，刘渊无意中提到乌桓人张伏利度是一支隐患。此人在乐平镇聚有数千兵马做土匪，仗着天险和刘渊做对。刘渊硬攻无果，招抚又不成。石勒听了笑道：“这有何难，请让我为大王招抚。”
刘渊半信半疑，不过既然石勒已经张口，不妨让他试试。石勒假装被刘渊赶出来，投奔张伏利度。张伏利度是土匪，石勒也是土匪，见面自然有话谈，谈来谈去，越谈越投机，当即便与石勒结为异姓兄弟，派他下山率众抢劫。石勒打仗很有一套，其他地方的土匪稍触即败，可谓所向无敌。渐渐地大家就都认为石勒的才能远在张伏利度之上，对石勒颇为信服。石勒见机会成熟，在宴会上一把将张伏利度摁住。张伏利度不知道怎么回事，喊道：“石兄，你这是干什么？”
石勒并不理他，转头问众土匪：“我和伏利度，你们愿意服从谁？”
众人齐声道：“愿随石将军！”
石勒遂绑了张伏利度，带了众人来投刘渊。刘渊对石勒更加信任，又加封石勒为都督山东征讨诸军事。
这时山东青州又有王弥和其堂弟王桑，还有阳平县刘灵等人，趁着苟晞和石勒交战也积聚力量，招了数万兵马分别造起反来，欲割据山东。司马越急忙升了苟晞的官，拜他为征东大将军，封东平郡公，带重兵前去征讨。司马越也亲自带兵从河南许昌移兵到山东省西南的鄄城参加征讨，与苟晞互为声援。
苟晞和弟弟苟纯去打王弥，王弥屡战屡败，一路后退，在山东沂蒙山区和苟纯捉迷藏。王弥很是辛苦，非常泄气，却又想不出好办法，手下谋士曹嶷道：“苟晞这个人很厉害，兵力也比咱们多。要想打开局面，不如避开他，去偷袭洛阳。”
王弥大惑不解：“你不是和我开玩笑吧？我要是从山里钻出来，苟晞一定会追在我的屁股后面打。从这里到洛阳有上千里，沿途又要攻城夺地，前后受击，不是自取死路么？”
曹嶷道：“司马越把所有的兵力分成两路，一路交给苟晞，另一路由他带到了鄄城。因此从鲁西到许昌再到洛阳，一路空虚，只有些老弱残兵把守城池，只要咱们骗过苟晞，跑得够快，不怕洛阳拿不下来。”
曹嶷出的这个主意相当精妙，王弥连称佩服，立刻整军带五万人马穿上官军的衣服向许昌而去，留下曹嶷带一千人马继续跟苟晞捉迷藏。曹嶷命多做草人，穿上军服，插在山上，竟把苟晞给骗过去了。
王弥诈称官军回都，夺了许昌重地，而其余小城基本无兵把守，所以王弥一路畅通，很快杀到洛阳城下。洛阳城还有一万禁军，勉强将城池守住。王弥攻了许多日，眼看就要攻下洛阳了，真是赶的早不如赶的巧，恰好凉州刺史张轨派督护北宫纯带一千多人来京城办事。见王弥围城，遂带千名骑兵直杀过去。
这一千人虽然人数少，但十分勇猛，王弥的军队被这么一冲，顿时大乱，没了队形。城里的军队以为是大队援兵到了，也打开城门杀出来，两面一攻，王弥溃败，只带了几千兵马北逃。王弥在黄河边上看见刘灵也带着几百号准备渡河，过去一问，原来刘灵被司马越杀败，也是一路逃过来的。两个难兄难弟一商量，还是投奔刘渊吧。
刘渊听说两个人来投，摆宴相迎。宴席上王弥说：“您已经称王多年，一直割据一方，太可惜了。我看您不如称帝，然后先西攻长安，再东取洛阳，最后南下统一全国。当年刘邦就是这么干的，您何不效仿呢？”
刘渊遂于汉元熙五年（308），即晋永嘉二年十月甲戌日，称帝于蒲子城。命刘聪、王弥率众三万人守太行；石勒和刘灵率三万人守山西。再于第二年正月迁都平阳（今山西临汾西南）。西晋历史在这个阶段，基本上分为三个政权，西南为李雄，刘汉占据除太原、上党以外的山西全境，还有今天的内蒙中部和河北的一部分。其余为西晋政权。而这一时期的主要事件，是刘汉和西晋争夺天下。