江东是司马睿镇守的地盘。前文说司马越灭了司马颙，把持了朝政。司马睿因为地位低，被封到最不起眼的下邳。这个地方虽然小，可是有个好处，中原打来打去，却打不到这里，而背靠广阔的江东之地，可以任意向南发展。司马睿遂在王导、顾荣、周圯等人辅佐下在江东扎下根来。
毕竟江东之地很辽阔，也不是没有人打这块地盘的主意。永嘉四年（310）二月，司马越手下大将钱璯叛晋造反，在广陵起兵，欲占江东。还是那位周处的儿子周圯，自己招兵买马，聚齐乡里，击败钱璯。加上以前攻灭石冰，剿灭陈敏，被人称为“三定江南”之功。司马睿拜周圯为吴兴太守。到了永嘉五年，洛阳城破，中原的许多士族都离开故乡投奔西晋剩下的割据势力，即西边的凉州，北边幽州和江南。司马睿按照王导所献计策，一方面从这些士人中广纳贤俊，作为自己的政治力量，另一方面建立威信，使这些士族不敢小看自己。
为什么说要建立威信呢？前面说过，司马睿在诸王中的地位很低，又不是司马家的正统，很多望族都看不起他。比如桓彝就曾经和周颉说：“像琅琊王这样的人，怎么能够倚仗他恢复晋朝的大业呢？”
而王导则在江东很有势力，而且此人很具有演讲才能，那些望族士人与王导谈论天下大势，无不被王导说服。桓彝与王导谈过几次话后也对人说：“这是我们晋朝的管仲啊，我以后不必为晋朝的命运担心了。”还有一次众人在长江的江亭聚会，周颉叹气道：“风景一样好，可是抬眼只见长江，不见黄河。”在座的听了都哭了起来。王导又出来演讲道：“所以大家正应该出力辅助王室，恢复中原。为什么要像‘楚囚’一样相对哭泣呢？”名士们听了都振奋起来。可见王导在引导舆论方面很有一套。
司马睿初到建康，南方士族都不理他，过了很长时间也没有人来求见。王导意识到这个问题的严重性，将来重建晋朝，还是要依靠这批士族的。正好王敦来朝，王导对他说：“琅琊王仁德虽厚，名威尚轻，你的威风已振，应该有所匡助。”两人商量之后，安排在三月初三上巳那天，让司马睿肩舆出巡，王敦、王导以及北方名士骑马随从。隆重的仪仗，威严的行列，使南方士族体会到司马睿就是北方士族拥戴出来的江东之主。于是“江南之望”的顾荣、纪瞻等都很惊惧，相率拜于道左。
王导趁此对司马睿说：“古来想要成王霸之业的，莫不礼敬故老，虚心求教，以招揽贤俊，何况当前天下变乱，大业草创，更加急需人才！顾荣、贺循是南方士族的首领，如果招来这两人，其余的人自然没有不来的。”
司马睿使王导亲自去招顾、贺，二人应命来见，分别任命为军司马和吴国内史。司马睿有一次对顾荣说：“寄人国土，时常怀惭。”荣跪对说：“王者以天下为家，殷商从耿迁毫，东周由镐及洛，古来如此，愿陛下勿以迁都为念。”从两人的问答语中可以窥知，双方已有某些合作的默契。从此，南方士族归附，成为未来东晋政权的一个构成部分。
司马睿得到情况说石勒准备南攻，急忙整兵，以纪瞻为都督，带重兵镇守寿春。
到了永嘉六年春季，江淮发了水灾，大雨下个不停。石勒的军营全部被水淹，粮食都长了毛，后勤运输也极为不便。石勒军中断了粮，并且瘟疫流行，有一大半士卒都得了病，很多人病死。这时晋军趁势来袭，右长史刁膺劝石勒向晋朝请降，请晋军退兵。石勒手下大将都是久经战阵的人，一齐斥责刁膺，向石勒请战。大将孔苌道：“我们没有粮可以抢晋军的粮，我们的地方被淹可以占晋军的城。只要将军下令，不出半年，必破晋军。”
石勒问张宾该怎么办，张宾道：“您攻陷了洛阳，把晋朝的天子捉到平阳去，把晋朝王公都杀死，把晋朝皇帝的后宫妃子全部掠走。您对晋朝来说，就是拔光头发，也不足以数清您的罪过啊。您怎么能够去投降晋朝呢？其实您本就不该来此，而现在的气候更不能让咱们在此久留，我看还是回河北吧。河北的邺城本就不错，何必要来江东争地呢？将军依据河北，一统北方之后，不但江东，天下迟早都是您的。”
石勒道：“我何尝不想北退呢？可是我若撤军，晋军必会追击，我该怎么办？”
张宾道：“将军可先派人押着辎重向北，再派一大将率军向寿春佯攻。等辎重北撤之后，再带轻兵北还。寿春晋军必不敢追击。”
石勒听后连称佩服，反过来责备刁膺道：“你作为我的谋士，应当助我共成大业，怎么可以动不动就劝我投降？本来我当将你斩首立威，但我知道你本来就是个胆小之徒，这回饶过你。”遂尊张宾为“右侯”，由张宾率辎重先行北退。又以孔苌为前锋，率两千精骑兵杀向寿春，扬言进攻寿春。
纪瞻先令城外居民全部搬到城内，又命人将五十船粮草停在港口，每船只派两名士兵守着，告诉他们，如果对方来抢，你们只管逃就是了，不要和他们争。又命令祖逖和桓彝埋伏一千人守在港口，准备伏击对方。
孔苌来到港口，见了许多粮船便上前去抢。晋兵跳水逃走，孔苌派兵上船，准备把粮船运回。哪里知道船上既没有竹篙也没有船桨。孔苌到这个时候仍然没有明白过来，竟然命令所有的将士一齐下马，将粮草搬运上岸，放在马背上，欲从陆路运回去。正在忙乱着搬运东西时，祖逖、桓彝各率晋兵两路杀来。孔苌的军队，有的马上驮着粮草，有的正在搬运粮草，兵器扔了一地，根本没有防备，一下子便被冲乱。接着纪瞻率大队军马赶到，孔苌几乎全军覆没。幸而石勒及时赶到，才救下孔苌。纪瞻不知虚实，退回寿春。石勒也无心恋战，也退兵结营。
这时张宾已经走远，石勒于是带兵北行。晋军见石勒不带辎重，也不敢追赶，石勒得以从容北去。然而石勒所到之处，所有的粮食都被收割光了，村庄里的人则全部跑到城里去了。石勒的军队来到河南后，这里又是历年征战之地，更是没有人烟。石勒的军队实在是饿得没有办法，先是杀马而食，最后竟然杀掉伤兵弱兵作为食物。一直挨到黄河南岸。有汲郡人向冰聚众数千为匪，将黄河南岸的所有船只收走。石勒的大军无法渡河。石勒先派鲜于丰去攻打向冰。向冰虽是地方土匪，却十分勇猛，竟然把鲜于丰给打败了。石勒亲自带兵上阵，才把向冰的营垒攻破。这一仗收获颇丰，不仅夺得了渡河的船只，还从向冰的老巢中搜出大批的粮食。石勒军心大振，挥师渡过黄河，直奔自己原来的根据地邺城。
石勒出倾国之兵先取河南，再下江东，在河北留下来的守城士兵很少。石勒本以为北方除了汉主刘聪，再没人敢招惹他，也没人有这个能力和他较量，所以才敢以倾国之兵南下。可偏偏就有一个人不信邪，这个人不是别人，正是当年带了五百兵丁来晋阳，竟然在刘聪的地盘内扎下根来，固守晋阳多年的刘琨。
刘聪之所以不去打眼皮底下的刘琨，是因为他知道刘琨并不好惹，要拔去晋阳这根钉子得费点工夫，但刘琨兵力不强，守有余，攻不足，所以刘聪也不着急先灭他，而是一直致力于去攻取洛阳、长安等晋地。当然，其中他也有一次派兵去试攻过晋阳，结果手下大将刘虎，被打得大败，全军覆没，刘虎一路西逃，直逃过黄河到了陕西才敢停步。
刘琨又与北方新兴起的拓跋鲜卑族结为联盟，与该族的首领拓跋猗卢结为兄弟。两者联兵扫掠晋北。结果猗卢占领相当于今天大同、朔州的地盘，刘琨占领相当于今天忻州、太原、吕梁、晋中、阳泉等地，基本上瓜分了山西的中部和北部地区。猗卢即由云中进入雁门，部落越发兴盛。刘琨也趁这个机会发展起来，势力渐强。他见石勒南下，便派刘舆的儿子刘演夺了河北邺城，刘舆也是刘琨的哥哥，当年接手了范阳王司马虓的邺城，缢死司马颖。现在刘演重占邺城，也算是物归原主了。除了邺城，刘琨的势力一直达到山东西部，一时成为北方的诸强之一。
石勒见邺城已失，便要猛攻。张宾说，邺城易守难攻，刘演也有上万兵马，硬攻既消耗兵力也浪费时间。河北这么大，您再找个地方先把兵马歇下再说。自古得地者昌，失地者亡。等您安定军心，休养生息，筹集粮草，发展生产之后，然后再攻天下，立霸业也不迟。
于是石勒在襄国（今河北邢台）立住脚，又攻下被刘琨占去的冀州，在河北算是安定下来。这时刘琨把石勒的母亲给送来了。
石勒早年被卖为奴隶，从那个时候就与他的母亲王氏离散，已经有很多年不见了。刘琨是个有心人，一到了并州，便派人到处查访，终于将王氏找到，然后带到自己的府中，像对待亲生母亲一样侍奉。等石勒回到河北时，刘琨便派人把石勒的母亲送去，并附劝降信一封，希望石勒能“共扶晋室”。
恩情是恩情，事业归事业，一码是一码，石勒当然不会答应，派人给刘琨回送了珍珠宝马，拒绝了刘琨的劝降。刘琨见了石勒的回信，长叹一声道：“这是上天不保佑晋朝啊！”
这时晋朝大约分为四个割据地方。其一为晋阳的刘琨，其二为东北幽州的王浚，其三为长安的皇太子司马邺，其四为江东的琅琊王司马睿，正所谓四分五裂。
其中王浚是个很有野心的人，他得到少帝被刘聪的汉国俘虏的消息，又有许多中原人士投奔到他这里，便自称有人把少帝的密诏也带到了幽州，说是请王浚为尚书令，节制百官，号令天下，说白了就是让他代行皇帝的一切权力。王浚虽无皇帝之名，但有皇帝之权。天下任何人都看得出来，王浚是想代晋自立。
王浚设坛告天，然后任命百官，其制度俨然就是一个小朝廷。经过一番养精蓄锐之后，王浚派段务勿尘的儿子段疾陆眷、段匹、段文鸯及侄子段末柸，挥兵南下，打算先占河北。虽然祁宏当年被张宾射死和段务勿尘病逝，王浚连失两员名将，但段家四兄弟有勇有谋，打仗一点儿也不比父辈差。
石勒令张宾与孔苌守城，亲率诸将迎战，因为见对方将领都是些没经过战阵的年轻娃娃，有些轻敌，第一仗便被段家军杀得大败，段末柸带兵将石勒围住，眼看就要擒获石勒。忽有一员小将冲进来，将石勒救出。这个小将正是石勒大哥的儿子石虎。
真是江山代有才人出，一代新人胜旧人。这场大战，竟成为双方小将表演的战场。
这里多说一句，小将石虎这年一十七岁，因为从小性情暴躁，动不动就伤人杀人，石勒差一点儿就把这个侄儿杀掉。幸而石勒的母亲劝说石勒说这娃子虽然经常搞破坏，但大了一定是一员骁将，石勒才放下杀石虎的心。
石勒在石虎的护送下回到襄国，一回到襄国第一件事情就是封石虎为征虏将军，从此对这个侄儿刮目相看。段家军紧跟其后，兵临城下，猛攻北城门。石勒紧守不出，双方一攻一守打了数日，不分胜负。石勒按照张宾的计策，在北城下偷偷凿了二十多个暗道，每个暗道中藏精骑五百，共藏一万精骑。段军再来攻城时，万余精骑突然冲出，直杀入段家军的军阵。段家军猝不及防，被杀得大败。段末柸被生擒，段疾陆眷领兵败逃，退回渚阳。
段家兄弟情深，段疾陆眷派人带着重礼去和石勒谈判，如果石勒能放还段末柸，他愿意退兵。段文鸯担心私自退兵会被王浚怪罪。段疾陆眷道：“为了兄弟，我也顾不了那么多了。”最终和石勒谈成了条件。石勒多了个心眼，不但不收段疾陆眷送来的重礼，反赠段末柸大笔金银，并和段末柸结为义父和义子的关系。双方握手言欢，各自带兵回去。
这时王浚已经派枣嵩再率数万兵马去增援段疾陆眷，使段疾陆眷回兵再攻石勒。段疾陆眷说：“我已经和石勒签了退兵和约了，下回吧。”王浚屡次催兵，段疾陆眷就是不从。因为段疾陆眷自己也有一批人，占着河北大片地盘，只是名义上受王浚节制，所以王浚也拿他没办法，但二人从此生隙。
石勒认为王浚没了段氏的帮助，势力必然削弱，便打算去攻王浚。张宾道：“王浚和刘演比起来，很明显刘演更弱一些。当年不打刘演，是因为您刚从南方带着疲惫的士兵回来，而且没有扎根的地方。现在时机已经成熟了，您不如攻下邺城，壮大实力之后，然后再北攻不迟。”
张宾说得很有道理，岂有嘴边的肥肉放着不吃，却去和猛兽辛苦争食的道理。石勒便以石虎为先锋，亲率精兵三万，带着张宾去攻邺城。虽然刘演据险而守，但他和石勒的实力差着好几个档次。前锋石虎一到，便攻下邺城，刘演大败而逃。石虎进城后命令把俘虏全部活埋。正在挖坑的时候，石勒也带着兵来到邺城了，见石虎在城外组织士兵挖坑，几千名俘虏则在坑边哭声一片。石勒问石虎：“你这是做什么？”
石虎道：“挖个坑把这些人都活埋了。”可知这位石虎是个杀几千人都不带眨一下眼的狠角色。
石勒大怒：“既然他们都已经投降了，为什么要坑杀？你都给我放了。”遂下令：降卒一律免死，今后凡有降者，不可擅杀。