再说刘蜀来到建康，宣读晋愍帝诏命，催促司马睿起军北伐，以解关中之围。司马睿一开始推说杜弢为患，等杜弢被灭后，司马睿又敷衍说杜曾还在。
刘蜀听了大哭道：“杜曾对于我晋朝来说不过癣疥之疾，匈奴却是心腹之患。现在晋朝就要被汉国灭了，长安危如累卵，收复中原的大任都担在您的身上。您怎么可以这样推脱呢？”
司马睿没办法，便问谁愿意领军北伐。这时候从东晋逃来的旧将亡故的亡故，年迈的年迈，剩下的新兴将领都不愿意北伐，只有一个人站起来朗声道：“我不忍看到留在中原的晋朝遗民被胡羯残害，我愿意带兵北复中原。”
这个人是军咨祭酒范阳祖逖。成语“闻鸡起舞”说的就是此人。祖逖曾经和刘琨一同为司州的主簿，二人感情深厚，不仅常常同床而卧，同被而眠，而且还有着共同的远大理想：建功立业，复兴晋国，成为国家的栋梁之才。
一次，半夜里祖逖在睡梦中听到公鸡的鸣叫声，他一脚把刘琨踢醒，对他说：“别人都认为半夜听见鸡叫不吉利，我偏不这样想，咱们干脆以后听见鸡叫就起床练剑如何？”刘琨欣然同意。于是他们每天鸡叫后就起床练剑，剑光飞舞，声响铿锵。春去冬来，寒来暑往，从不间断。功夫不负有心人，后来两个人都成为能文能武的全才。刘琨成为晋朝留在北方的唯一一支重要军事力量，大大地牵制了汉国；而祖逖则一度收复了黄河以南的大片失地。
司马睿本来没有北伐之意，召集众将无非是做做样子。但见祖逖慷慨陈词，涕泪直下，说得十分悲壮，刘蜀也在一旁连连点头。他只好任命祖逖为奋威将军、豫州刺史，令其北伐。但并不给一兵一卒，只拨给祖逖一千人三日的口粮，还有三千匹布。让祖逖自己去造兵械，铸盔甲，招募士兵。祖逖也不和司马睿讨价还价，回到扬州故地，带了一百多名旧将和他们的家属渡过长江。
大船行到江心，祖逖回过头去再望江南，心情不由激昂起来，手拍船楫发誓道：“我祖逖此行如果不能光复中原，则如大江，一去不返！”众人听了无不感到振奋，个个斗志昂扬。当日来到淮阴，便建起冶铁炉，开始打造兵器，就地招募战士。江北的晋民听说晋朝派人来北伐了，争先前来当兵，仅仅十日，便募得两千多人。祖逖北伐的时候，西晋的首都长安却遭到灭顶之灾。
司马邺的地盘并不大，刘聪几次来攻长安，弄得长安的农民种不成粮食，经济大受影响。结果长安朝廷的财政出现了严重的赤字，人民的生活水平也不断降低。为了解决财政问题，司马邺只好派人盗汉墓。
刘聪听说司马邺靠盗墓度日，大喜道：“晋朝就快要完了，他们现在要靠挖人家祖坟才能勉强度日，足见其国力已经十分虚弱，必可灭之！”当即挑出最精壮的士兵十万，准备再攻长安，仍然以刘曜为帅。又命石勒牵制晋阳刘琨、代北猗卢，使其不能南援。
刘曜这位常败将军又当了元帅，不由百感交集，他对刘聪道：“我这些年来尽给您打败仗了，虽然您从来没有怪罪我，我却没脸活在这世上。我之所以苟且至今，是因为我一直在训练士卒，操演军队，准备一雪前耻，平复关中。这次再去关中，如果战败，必当战死沙场，不再回来。”这一年为建兴四年（316）。
刘曜带兵渡过黄河，先攻下冯翊（大约在今陕西韩城），再进兵北地（今宁夏吴忠西南）。北地是个易守难攻的坚城，太守麹昌拼命守住城池，并向长安求救。长安方面急忙以麹允为大都督，率军三万去救。
刘曜一方面派人在城外点起大堆的柴草，令其冒起冲天的黑烟，另一方面派了一些会说陕西话的士兵装成老百姓，又抓来城外的老弱妇孺混在其间，冒充逃难百姓向南逃去。路上遇了麹允的军队都说北地城被攻下了，麹昌战死了。麹允不明真相，又见远处黑烟滚滚，因为只带三万士兵，不敢与刘曜的十万军队野战，只好回守磻石谷。
刘曜骗走麹允的援军，便从容地进攻北地城。麹昌孤军无援，苦守十余日后，终于城破战死，全军覆灭。刘曜接着进军磻石谷（今陕西铜川市北），与麹允决战。麹允不敌，被杀得大败，丢了磻石谷，逃到长安。刘曜直抵泾阳（今西安市北偏西一百零八里，咸阳市北偏东五十六里），到这个时候整个渭河北岸已经全部被汉军所占。刘曜率大军进逼长安。
这时江东的司马睿肯定是不会来救援了；就连上邽（今甘肃天水）的南阳王司马保也手握重兵却按兵不动，而且还断了向长安供应的粮草，此人后来静等着司马邺死后称帝，但天不遂人愿，却让司马睿抢了先；凉州刺史张轧已经于上一年，即建兴二年病逝。其子张蹇子承父位，到这个时候，凉州张氏虽名为晋臣，实为割据政权，史称前凉。张蹇倒是发了五千精骑兵去救，并且供应粮食。不过从凉州（今甘肃武威）到长安有一千多公里，即使不带辎重粮草，全部用轻骑兵也要走十多天，远水难解近渴。
刘琨兵微将寡，自顾不暇，又有石勒在一旁虎视眈眈，不能来救。按说势力强大的猗卢被晋朝封为代王，应该来救宗主国。不过这时候代国正闹内乱。拓跋猗卢废长立幼，并把长子拓跋六修的生母废掉，这引起了拓跋六修的愤恨。这一年三月，六修从自己的封地新平城（今山西山阴北）来平城（今山西大同东北）拜见父王猗卢。猗卢让六修向皇太子比延下拜。面对这个夺去自己太子位的小弟弟，六修的心中只有委屈和愤怒，他毫不犹豫地拒绝了。猗卢并不勉强他，而是在不久之后让小儿子比延坐自己步辇出来。六修还以为是父王在步辇内，因而下拜，哪知道从里边走出来的却是自己的小弟弟。六修大怒，不和父王打招呼就离开京城回到自己的封地。猗卢知道六修必为后患，便率军征讨。但拓跋六修随父征战多年，在军中颇有威信，自领兵与父亲决战，将父亲的军队打败，并俘虏父亲。拓跋六修然后做了一件愚蠢的事情，他把父亲给杀了。这引起军心不稳，不久，拓跋六修的叔伯兄弟拓跋普根带兵打败拓跋六修并将他杀死，拓跋普根遂成为代国的国王。经此一役，代国的几股势力开始分裂，一大批人出奔代国。其中，左将军卫雄、信义将军箕澹等趁势率晋人及乌桓三万家、马牛羊十万头归于晋将刘琨。一直没有缓过劲来的刘琨，这一次兵势复振。
眼下来救长安的除了西凉五千精骑兵外，还有安定太守焦嵩、新平太守竺恢各带了两万兵马来救；弘农郡（今河南灵宝东北）郡长宋哲也带一万兵马来援；散骑常侍华辑则召京兆、冯翊、弘农、上洛四郡之三万大军驻扎在长安附近。但除了西凉五千精兵进入长安外，其他各路人马都守在长安之外，不敢迎击刘聪的大军，基本上充当了看客的角色。
刘曜猛攻长安，不久攻陷外城。索、麹允等人退守内城。
这时刘琨刚得了代国投来的人马，正准备南攻平阳，以解长安之围，但石勒亲率大军来攻刘琨。刘琨率倾城之军去与石勒交战。他也只有率倾城之军了，因为刘琨尽管接收了代国部分人马，其实举城之兵也不过三万。
卫雄建议刘琨不要主动进击，守住太行天险即可。但刘琨急着击败石勒，然后转攻平阳，缓解长安被围的压力，决定与石勒决战。结果反而是石勒以逸待劳，据险而守。刘琨前锋箕澹轻敌被打败，石勒立刻进军刘琨腹地，占了阳曲。刘琨被困在晋中腹地，进不能攻，退不能守，正在危急时刻，幽州蓟城传来消息，幽州刺史刘翰反了石勒，投降了段氏鲜卑。又有乐陵太守邵续反了。
原来辽西段氏鲜卑首领段疾陆眷的弟弟段匹先后到幽州和乐陵，以依附晋室为条件策反了这两位晋室旧臣。石勒急忙派兵去攻乐陵。段匹派弟弟段文鸯带兵增援，打退了石勒军。段匹和邵续遣使去江东，表示愿受司马睿的节度，称臣于司马睿。司马睿凭白得了东北之地，当然很高兴，便任命段匹为幽州刺史、左贤王、渤海公，邵续为冀州刺史。段匹知道刘琨正在困难时期，遂派人请刘琨来幽州共事。刘琨带着人马向幽州方向逃去。石勒念及刘琨与他有送母之恩，并没有追击。段匹十分敬重刘琨，刘琨到蓟城之后，段匹亲自出城迎接，并与刘琨结为兄弟。
代国闹内乱，刘琨这边人马被石勒所灭，司马睿和司马保一东一西也不出兵，长安朝廷基本上只能靠自己了。要说来援长安的这几路兵马也还算是精兵强将，为什么他们坐视不救呢？先说安定太守焦嵩。当时司马邺十二岁成皇太子，十四岁登基，此时也只有十七岁。朝廷一直被索、麹允把持着。麹允性情宽厚仁慈，没有威严，不够果断，喜爱用官爵讨好别人。而且他只知笼络高阶层人士，对下面的部属却不理会。这就使将领骄傲任性，士卒怨恨离心。焦嵩一向瞧不起麹允，他陈兵在长安之外，放出话说：“等麹允走投无路的时候，我再去救他。”还有新平太守竺恢、始平太守杨像、扶风太守竺爽都认为麹允是无能之辈，要看麹允和索的笑话。
宋哲这个人很神秘，此人不仅是刺史，爵位也很高，被封为公爵，他后来毫发无伤地来到建康，并拿出愍帝的诏书，命令琅琊王接替皇位，统摄万机。这是使司马睿获得合法继承地位的一个重要人物。但这个人竟然在《晋书》中无传。他到底带了一万兵从河南跑到长安搞什么鬼，天知道。
散骑常侍华辑是个胆小鬼，长安被攻破后，他第一个逃跑，跑到南山（秦岭山脉）藏起来。
这样一群将领来救，长安岂有不陷之理？长安被刘曜大军围困数月之后，城中粮尽，饿急了的人开始吃老鼠、尸体。甚至杀死老弱来吃。许多士兵逃亡，只有张蹇派来的大将王该和手下的几千凉州义兵，没有一人逃跑，皆在长安死战。司马邺对麹允和索道：“现在长安内无粮草，外无援兵，我看只有投降了，这样起码能让长安剩下的百姓和将士活下来。”说完泪如雨下。麹允和索当然也想不出什么好办法，只能是陪着流泪。
几个人商量了半天，最终还是决定投降。司马邺写了降书，派侍中宗敞为使者，去刘曜军营送降书。宗敞刚走出宫，索突然带着几名士兵闪了出来。不由分说，将宗敞软禁起来，搜出降书，改派自己的儿子出城。
索的儿子出去按照索的意思和刘曜讲条件道：“现在城中之粮还足够维持一年，您要攻克长安并不容易。如果您能够答应封我父为车骑将军、开府仪同三司、万户郡公，我父将立刻献城投降。”
刘曜二话没说，直接抽刀就把索的儿子当场给斩了，派人将尸首抬回去，并向索传话道：“我们是真命天子的部队，所以打仗从不用阴险的诡计。如城中有粮，你们就尽管坚守；如果没有军粮，就早点顺应天命出来投降！像索这样的人，我没什么说的，见一个杀一个。”索见了儿子的尸体，又悔又恨，只好让宗敞出城向刘曜献了降表。
建兴四年（316）十一月乙未，正是天寒地冻的时候。天空飘着鹅毛大雪，寒风呜呜地刮着。晋愍帝按照投降的礼仪，口含玉璧光着上身袒坐在羊车之上，羊车上还拉着棺材，从东门出来。群臣跟在后边大声哭泣。走到城门的时候，那城门徐徐打开了。突然有一人跳出，大哭道：“吾智不能谋，勇不能死，何忍君臣相随，北面事贼虏乎！”司马邺见是御史中丞冯翊吉朗，刚要说些什么。却见吉朗一头撞在城墙之上，当场自尽。
司马邺出城来到刘曜营前，刘曜接受了玉璧，把棺材烧掉，又搞了一堆受降仪式，司马邺已经冻得是上下牙直打架，瑟瑟发抖，上半身都冻紫了。连刘曜都看得有些过不去，命人取来棉衣，亲自为他披上。长安边上的诸将见皇帝已经投降了，竟然没有一个人带兵去夺。皆不声不响地各奔前程去了。有的遣散军队隐居于山中，有的转投司马睿，有的回到驻地，成为割据势力。当然这些割据势力并不长久，很快便被汉国或其他国家所灭。
司马邺和文武百官都被押到平阳。刘聪在光极殿受降，晋愍帝以臣子拜皇帝的礼仪向刘聪跪下叩头。麹允见了放声大哭，几名侍卫呵斥他，他仍然痛哭不已。刘聪大怒，命人把麹允关起来，麹允当日在狱中自杀身亡。刘聪对司马邺还不错，封他为光禄大夫、怀安侯。又认为麹允是个大忠臣，追封他为车骑将军、节愍侯。其他晋臣百官都有封赏，只有索，刘聪大骂他是个奸臣，推出去拣人多的地方当众砍了脑袋。刘曜则被封为大都督、都督陕西诸军事，又晋封为秦王，镇守长安。
西晋至此被匈奴汉国所灭。从晋武帝篡魏称帝开始，到晋愍帝被掳平阳为止，一共经历了晋武帝司马炎、晋惠帝司马衷、晋怀帝司马炽和晋愍帝司马邺四个皇帝，历时五十二年而亡。
到此时，全国大的割据政权有江东司马睿的东晋（占有辽西冀北幽州的段疾陆眷此时仍向晋朝称臣，其手下有不少汉将，如乐陵太守邵续、征北城的刘琨；占据甘肃青海部分的张寔的前凉，也向晋朝称臣；占据辽北慕容鲜卑部落的慕容廆在司马邺在位的时候，接受晋朝的任命为镇军将军，昌黎辽东二国公，也算是晋臣；辽东的平州刺史崔毖是晋朝能直接掌控的最后一块北方领土），川蜀李雄的成国，基本上统一了北方的刘聪汉国（包括表面上仍归属成汉的石勒部；同样占据了山东半岛，表面上归顺成汉的曹嶷）。这个格局和当年三国鼎立非常相似。
另外还有一些比较小但也十分重要的割据政权。
甘肃东部的司马保，他虽然没敢称晋帝，但用的是自己的年号，也不臣服于司马睿，为独立政权。
占有辽北的宇文鲜卑族，首领为宇文逊昵延。
占有今内蒙古到晋北和陕北之地的代国拓跋鲜卑族，首领为拓跋郁律。前面说过代国内乱拓跋普根最后夺得代国的王位，但拓跋普根夺王位的当年病死，他的儿子尚在襁褓，连名字都没取就承袭代王，这个代王第二年也夭折了，拓跋普根的堂兄拓跋郁律继位。拓跋郁律虽然只称代王没有称帝，但他拒绝东晋等国的封爵，也用自己的年号。
为了能充分了解当时的形势，这里再把当时一些零散的小政权和起义队伍介绍一下。由于这些政权在当时微不足道，势力微弱，有的是地盘很小，有的是流动作战根本没有地盘，对当时军阀割据形势基本没有影响，所以在前文很少提到。不过这些政权中的相当一部分后来都发展壮大，参与到十六国后期的争霸中。
第一个是仇池。西晋征西将军、氐人杨飞龙的养子杨茂搜于晋惠帝元康六年（296）自号辅国将军、右贤王，称王，始建仇池国，称仇池公，其辖地有武都、阴平二郡。武都郡治在今天的甘肃省成县，包括下辨、河池、沮、武都、故道五个县；阴平郡治在今天的甘肃省文县，包括阴平、平广两个县。公元317年，恰好是东晋建国这一年，杨茂搜病逝，前仇池分裂。长子杨难敌继位，号左贤王，屯军下辨。杨难敌弟杨坚头号右贤王，屯河池（今徽县），今陇南地区大部分都在其控制范围之内。史称前仇池。后来苻坚女婿杨定在此地又建仇池国，称后仇池。
第二个是汉人的乞活军。自从永嘉元年（307），八王之乱时并州刺史司马腾被汲桑攻杀后，从并州逃出大量的难民。这些难民后来成立一支武装军队，以“乞活”为名，就是于乱世中乞求活着的意思。这支队伍以骁勇善战、组织严密、持续时间长久著称。即使在西晋政府覆亡之后，仍长期活跃在河北、山西、辽南等地，主要与石勒长期进行攻守战，但根据地不定，首领也不固定。后来辽东一部分人被慕容皝收留，协助慕容皝建立前燕。绝大部分人则由冉闵率领建立魏国。
第三个是慕容鲜卑迁到枹罕（今甘肃省临夏）的一支。西晋灭亡时，这支部落的首领是慕容吐谷浑。该部落于公元313年左右在枹罕建国，一直到唐龙朔三年（664）才被吐蕃所灭，立国时间长达三百五十一年。
第四个是荆州杜曾。此人纵横荆州七年之久，后来在公元319年被东晋灭掉。