北边暂且放下，再说南边。司马睿称晋王后，继续全力剿灭占据荆州的杜曾。这时候，由于陶侃被王敦排挤，陶侃的一部分旧将郑攀、马俊等人已投奔了杜曾，杜曾的实力变得很强，把荆州刺史王廙打得屁滚尿流。陶侃原来的副手，勇将朱伺在与杜曾的交锋中受重伤，不治身亡。赵诱、朱轧等晋将战死，杜曾的势力遍及长江中游一带，成为东晋的心腹之患。
王敦见自己连连挫败，向谋士钱凤讨办法。钱凤道：“要除杜曾，非梁州周士达不可。”周士达，就是当年和陶侃一起定荆湘的浔阳太守周访，士达是周访的字。周访和陶侃是儿女亲家。王敦也正因为周访的关系，当时才没有杀掉陶侃。
这回王敦急忙亲自去请周访，并向他许诺，如果灭了杜曾，一定让他来当荆州刺史。周访遂以李桓、许朝为前锋，率一万梁州兵去战杜曾，路上又招了几千人马。到了沔阳（今湖北仙桃），与杜曾在城下一场恶战。直杀了整整一天，周访左右两军都开始败退，只有中军勉强应付。周访早已暗藏了八百精骑，人强马壮，等到杜曾来攻中军时突然杀出，以一当十登时把杜曾的军队冲乱。周访的梁州兵趁势反攻过来，杜曾大败。
周访和杜曾打了半年仗，杜曾败多胜少，最后逃入武当，据险而守。周访屡次强攻，损兵折将。只好把军队扎在山下，不再强攻。周访在山下重金找到当地采药人，寻了一条密道，派一支军队从武当山后杀入杜曾的营中。然后，又继之以正面强攻。杜曾大营被踹，前面攻势又猛，支持不住，军溃败。手下大将马俊和苏温把杜曾生擒，献给周访，周访命斩了杜曾，遂平了荆州。
按王敦的承诺周访应当为荆州刺史，司马睿也觉得凭周访的功劳，这个肥缺也应当给人家。偏偏又是钱凤作梗，劝王敦自兼荆州重地，不可把这个地方给了外人。王敦于是上奏让晋王司马睿改派周访为安南将军，仍为梁州刺史。司马睿对王敦当然是言听计从，当即答应，按照王敦的意见下了任命令。
周访见王敦再一次食言，把任命诏书撕得粉碎，又把王敦送来的玉环、玉碗等厚礼当着使者掷碎于地，骂道：“你给几个臭钱以为就能打发了我么？”自此把王敦当做仇人。王敦知道自己惹下了这位名将，也把周访当做心头之患，打算寻机会将此人除去。
东晋灭了杜曾，国家算是暂且安定，但东晋还有一件大事，那就是祖逖北伐。这时祖逖已经占据了安徽中南部，正打算攻取安徽西北部的谯郡。谯城守将是张平、樊雅，这两个人本是中原流民，就是上一章最末讲到的乞活军的一部分。两人拥兵上万，在这一带势力很强。
祖逖本打算攻城，参军桓宣说，大家其实都是自己人，都是汉民，也曾是东晋子民，有话好商量。我正好又和张平、樊雅有过一面之交，不如我进去劝降。
能用嘴皮子说下来这个城池当然更好啦。祖逖于是派桓宣入城。张平、樊雅也是讲道理的人，说现在天下大乱，自己在这里割据无非是据兵以自保，混口饭吃。桓宣说，混能混到什么时候呢？不如干点儿正事吧。你看，我们是东晋派来的正规军，打算北伐恢复晋室，你们不如加入我们。大家一块儿立功建业不好么？
张平、樊雅说好啊，两下里很快谈妥。祖逖又派参军殷义进城收编。殷义是个自命不凡、十分欠揍的家伙。他进城后故意侮辱张平，指着他的军府说：“此屋也就能当马厩。”又指着府中一个大铁锅说，“此玩意儿放这儿也是个废物，不如化了铸为铁器。”
张平不高兴道：“这是帝王镬，以后咱们北伐成功天下清平后还要用的，怎么能毁去？”
殷义斜着眼看了张平一眼道：“你的脑袋还不定能不能保住呢，你还想保一个破铁锅？”
张平本来就是个粗人，此时再也忍不住了，先把殷义的脑袋砍下。他认为祖逖有意派这个东西来侮辱自己，遂关上城门死守，又把殷义的首级悬在城头示众。祖逖见殷义被杀，也没闹明白，不过翻脸是肯定的了，当即率兵攻城。张平率众死守。一连数天祖逖攻不下来。后来还是桓宣劝降了张平手下大将谢浮，杀死张平才得以攻下城池。樊雅率兵前来报仇，被祖逖打得大败，战死军中，剩下的人一看主将死了，便一齐都投降了。
这时又有占据蓬陂、陈留（今河南开封）的乞活军首领陈川派大将魏硕在祖逖所占的各县抢掠，祖逖派韩潜设伏杀败魏硕，一直追到蓬陂。陈川猝不及防连丢几城，知道不是祖逖的对手，干脆投降了石勒。石勒派桃豹领兵去与祖逖交战。两军相持了将近两个月，韩潜的军粮渐渐紧缺。因为当时河南和安徽等地连年战乱，许多地都撂荒了，很少有人种田。祖逖的军粮绝大部分需要从江东运来，因为道远，所以难以为继。
祖逖判断对方深处河南，粮草需从黄河以北接济，必定也有粮荒，遂派人绕道桃豹背后，劫了桃豹的军粮。桃豹一看军粮无继，只好撤军，祖逖因此得了蓬陂，大军进入河南。
这时河南有荥阳太守李矩驻兵在新郑，河内太守郭默驻兵在怀县，河东太守魏该驻兵在宜阳，这些人都是流民，也算是乞活军的一部分，平时各自为政，遇有敌人来袭时便联手互保。他们听说祖逖进兵河南，便一齐归顺了祖逖。接着，驻守洛阳的汉国大将赵固献城给李矩，也加入到祖逖的军队来。刘聪听说祖逖尽占河南、安徽之地，便命太子刘粲率军十万来攻洛阳。赵固守不住洛阳，败走阳城山（今河南焦作）。这时李矩、郭默等援兵才刚刚赶到，与刘粲对峙于洛阳城外。
李矩、郭默、赵固、魏该等军半夜袭击刘粲，刘粲没有防备被杀得大败，率败军退到黄河以北。因为晋军偷营时都喊“生缚刘粲，以赎天子！”刘粲逃回平阳后奏请刘聪杀司马邺，说只有杀了司马邺才能动摇东晋北伐的决心。
刘聪犹豫道：“我以前杀了司马炽，民心还不是这个样子？照样有新的皇帝被晋朝拥立！还是不要杀司马邺了。”
刘粲道：“当年周武王难道想杀纣王么？不过是怕他成为日后的祸患。现在祖逖所过之处，投奔者甚众，都以迎还司马邺为号召，我看应当早除此人！”
刘聪被说动了，遂杀司马邺，此时为公元317年12月。
消息传到江东，已经是公元318年3月，建康百官遂请司马睿称帝，刘琨、段匹、段疾陆眷、邵续、慕容廆、崔毖等冀北和东北的割据势力也得到了司马邺被害的消息，派使臣前来劝进。司马睿假装推托了几日，然后在王导等人的极力劝说下，终于同意登帝位。
建武二年（318）三月丙辰日，司马睿正式登基，是为晋元帝。司马睿登基时还有一个小插曲，礼毕还朝时，司马睿请王导和他共坐御床，一齐受百官的朝贺。王导吓了一大跳，再三拒绝，司马睿才没有坚持。但“王与马共坐天下”的话，从此为天下人所用。
司马睿追谥幼帝司马邺为“晋愍帝”，立司马绍为皇太子，加封王导为骠骑大将军，开府仪同三司，王敦为江州牧，授李矩为司州刺史。所有文武都有封赏。
同在这一年，辽西公段疾陆眷病卒，段氏鲜卑发生内乱，祖逖的好友，晋末英雄刘琨被害！
段疾陆眷病卒后，因为他的几个儿子都还年幼，遂由段疾陆眷的叔父段涉复辰继大单于位。段匹和刘琨的儿子刘群领着几千人马前往辽西为哥哥奔丧。
段疾陆眷的堂兄弟段末柸对段涉复辰道：“我看段匹并非是为奔丧而来，而是来篡位的。”
段涉复辰一想也是，段匹是段疾陆眷的亲弟弟，也有资格继大单于位，自己继了侄儿的位置，段匹不满是有可能的。而且奔丧就奔丧吧，你带几千人马干吗。必是篡位无疑。于是问段末柸怎么办。
段末柸道：“这很简单。兵来将挡，水来土掩。叔叔已经是大单于了，难道还要把这个位置让给他不成？您派大军去击败段匹即可。”段涉复辰于是派十万精兵去阻截段匹。这十万兵刚走出去一天，段末柸就在京城发动了兵变，杀死段涉复辰，并杀尽段涉复辰的兄弟子侄及其党羽，自命大单于。派人将十万精兵收回，重新整兵之后，再来战段匹。
段匹数千人马自然寡不敌众，大败逃回蓟城。刘琨的儿子刘群被俘。段末柸对刘群很不错，不但用贵宾的礼节相待，而且说要任命刘琨为幽州刺史，逼着刘群写下劝降父亲的书信，派密使潜到蓟城，请刘琨为内应，一齐对付段匹。
使者被段匹的巡兵捉住，搜出书信。刘琨本来带兵据守在征北城（今北京市大兴县境内），听说段匹败回，便来探望。一来就被段匹扣住，并拿出刘群的书信给他看。
段匹道：“刘兄如果想把小弟献给段末，小弟愿伏首就擒。”
刘琨大惊道：“我与你是同盟兄弟，其志在于恢复晋朝，一雪国耻。我怎么会因为一个儿子的缘故就背叛国家，辜负朋友呢？”
段匹笑道：“我知道刘兄是光明磊落的人，其实并没有怀疑你。”
段匹本要放刘琨回去，段匹的弟弟段叔军道：“我们这片地方是汉夷混杂之处。晋人之所以不敢轻视我们，是因为我们段氏鲜卑团结而强大。现在我们骨肉不和，正是晋人起义的好时机。凭借刘琨的威信，振臂一呼，万人响应。如果放他回去，有人趁机拥刘琨起兵，那段氏之地当为晋人所有，我们将无存身之地。”
段匹是个软耳根子，听了这话便把刘琨软禁起来，并派人去征北城招降刘遵。刘遵守城不出，段匹率军攻破征北城，把刘遵擒回。
幽州别驾卢谌，是当年司马颖手下重要谋士卢志的儿子。他原本是刘琨旧将，听说刘琨被拘，便带人潜入刘琨的院内，要救刘琨出城。
刘琨叹道：“人谁能不死？我只恨下不能为国争一方领土，上不得带军归附晋土，国仇国耻不得洗雪！”说罢推辞不行，卢谌劝了几回也劝不动。只见刘琨挥毫泼墨，写下一首诗：
幄中有悬璧，本自荆山球。
维彼太公望，昔是渭滨叟。
邓生何感激？千里来相求。
白登幸曲逆，鸿门赖留侯。
重耳凭五贤，小白相射钩。
能通二霸主，安问党与仇？
中夜抚枕叹，想与数子游。
吾衰久矣夫！何其不梦周？
谁云圣达节？知命故无忧。
宣尼悲获麟，西狩泣孔丘。
功业未及建，夕阳忽西流。
时哉不我与，去矣如云浮。
朱实陨劲风，繁英落数秋。
狭路倾华盖，骇驷摧双。
何意百炼刚，化为绕指柔？
这首《重赠卢谌》后来成为千古传唱的名篇。此诗前面铺叙历史上贤人辅助圣君故事，暗比自己和卢谌、段匹共扶晋室，并说明自己一心为国，不计私怨。诗的后面写功业未建而身被拘絷的痛苦，倾吐自己壮志未酬、时不我待的怅恨和悲哀。悲凉慷慨，千载之下，尚动人心魄。
卢谌怀揣此诗，大哭而去。数日后，段匹诈称奉东晋天子密诏，杀刘琨及其子侄四人。刘琨死时，年仅四十八岁。
卢谌率刘琨余部投奔辽西段末柸，奉刘群为主。幽州晋人有些南去投奔石勒，有些北去投奔刘群，段匹势力大减。北边有段末柸不断进攻骚扰，西南两方又有石勒大军进逼，幽州的各个城池渐被段末柸和石勒蚕食。段末柸很快打到蓟城，城下一战，段匹大败。刘群乘虚占了蓟城。段匹只好率段文鸯等亲信部下领着残兵，一直向南来到山东厌次（今山东惠民县东），投靠了乐陵太守邵续。