汲桑、石勒的在邺城的胜利令当时刚刚在朝中掌握了大权的东海王司马越感到非常震惊，他立即派出大将苟晞和王赞兴兵讨伐。
石勒率领的骑兵与苟晞的军队相持于平原、阳平一带，连续交锋数十次，打了几个月的时间，双方互有胜负。司马越生怕苟晞的军队有个闪失，亲自带兵屯于官渡，声援苟晞。
苟晞在西晋末年也算排得上号的名将，他执法严酷，军纪整肃，在平乱的战事中屡有斩获，威望很高。但他与石勒交手也是难以取胜，经过一番拉锯战，他找到了对手的软肋——直接进攻汲桑的军队，汲桑的统率水平显然与石勒不在一个档次，东武阳一战晋军大破汲桑军，并一路追击，汲桑成溃败之势。
汲桑与石勒收拾残兵败将，两人商量了一下，觉得当前汉王刘渊声势正盛，意欲投奔，在经过赤桥一带时遭到冀州刺史丁绍袭击，又打得大败，汲桑与石勒在乱军中失散，汲桑逃到平原，被晋军所杀。
石勒的残兵逃至上党，当时据于此地的也是胡人张背督、冯莫突。石勒便投靠了这支胡人的部队，他很快看出这支部队难成大器，就对张背督等人说：“现在天下的形势是刘单于（指刘渊）举兵反晋，而我们的力量却一直没有追随他们，难道我们有实力独立作战么？”
张背督等人想了想，说：“恐怕没这个实力吧。”
石勒乘机应道：“既然如此，何不早寻出路。如今我们的部落已经有人收受单于的赏赐，准备叛逃投奔单于了！”
张背督等人深以为然，承认刘渊乃是可以与晋军抗衡的最强的势力，于是跟随石勒一起投往汉营。汉王刘渊大喜，封张背督为亲汉王，冯莫突为都督部大，任命石勒为辅汉将军、平晋王，统率这支部队。
（从一些细节上也可以看出刘渊对石勒相当器重，将“平晋”二字作为他的封号，我们大致能够猜想到两位英雄人物见面时的相惜之情，比之晋朝皇室的什么“兄弟之情”，可知是谁得天下，谁失天下了。）
令刘渊头疼的乌桓部（就是曹操平定北方时的那个乌桓，或者叫乌丸部的后裔）张伏利度有两千兵马屯于乐平，刘渊认为乌桓与匈奴同为入塞的游牧民族，很想将其招至部下，但乌桓部并不领情。石勒向刘渊献计，他假装在刘渊处获罪，前往投奔伏利度。伏利度很高兴，与石勒结为兄弟，石勒出兵时每每所向无前，深得伏利度部下之心。
石勒通过一段时间的细心观察，认识到众心已经归附于他，便突然在军中聚会时挟持伏利度，并对其部下说：“如今若起大事，我和伏利度谁可为主。”
众人振臂高呼“石勒”的名号，石勒当即放了伏利度，率众归顺汉国。
刘渊得了乌桓部的精兵，如虎添翼，大为欣喜，当即加封石勒督管山东征讨诸军事，并把伏利度部也交给石勒指挥。
刘渊得到石勒相助，同时部队又得到了休整。晋怀帝永嘉二年（公元308年），刘渊以四子抚军将军刘聪等十将为南路军，以辅汉将军石勒为东路军，分别向太行和冀州一带进军。
东路军在进军途中遇到了晋军的抵抗，而南路军则比较顺利，刘聪接连攻下河东、平阳两郡。刘渊迁都蒲子（今山西隰县），以壮声威，而这一招还真有效果，附近的鲜卑、氐的一些部落纷纷来降。晋军处于退守之中。
八月，东路军的石勒终于攻下邺城，晋军分王堪、曹武两路抵挡刘渊的两路大军。两军相持于洛阳附近。晋朝的都城可谓是坐卧不安了。
汉军一路势如破竹，连取魏郡、汲郡、顿丘等地，各地望风而降，少有抵抗的力量。刘渊认为汉军手握并、冀两州的大部，兵临洛阳，已对晋军形成了绝对优势，灭晋当在弹指之间，此时竟迫不及待地在蒲子称帝，改元永凤，大赦境内，封长子刘和为大将军，四子刘聪为车骑大将军，族子刘曜为龙骧大将军，其他宗室尽皆封王。异姓按勋谋区别，也封为郡县公侯。
（刘渊与石勒相比，对长远的考虑上似乎稍有不及，细节之处可见差别，石勒早年的穷苦经历也铸就了他的隐忍负重，不在乎一时得失的性格，并且对于时势的判断也常常准确地让人惊讶，而刘渊就显得过于贪恋权势了。不过刘渊的年龄应该是远大于石勒的，所以也不可同一而论。）
这样，汉、晋两国已成为真正意义上对等的两国，它们在洛阳附近的决战，将成为决定双方今后命运的一场生与死的较量。