组建淮军，是为了弥补湘军数量之不足。
李鸿章第一个想到的，就是他父亲李文安的学生潘鼎新。除潘鼎新外，合肥团练之首张树声，此前也是李鸿章父亲的部属，后李文安死，张树声失其依凭，东投西靠，听说李鸿章组建淮军之事后，立即召集各圩团首领，秘密商议投奔李鸿章。
李鸿章把张树声的密信拿给曾国藩看。曾国藩惊讶地说：独立江北，今祖生也。从此知道了淮上英雄对李鸿章的投效之意。
张树声还说服了大潜山的刘铭传归顺。刘铭传此人，乃淮上第一条好汉，少年时为父报仇杀人，官府不敢问。传说淮上树捻，其人第一。但这件事情很诡异，刘铭传秘密结集乡人于大潜山，歃血盟誓，聚众起事。等到升旗的时候，却不料突然刮起了一道怪风，就听呼啦啦巨响之外，一团黑气自西南窜出，摇头摆尾，如一条黑气凝聚的巨蟒，猛地绞住旗杆，咔嚓一声把旗杆绞断，连同刘铭传的那面战旗，都卷得不知去向。
此事过后，刘铭传心知有异，就歇了心，不再琢磨着起事。一直等到李鸿章组建淮军，他这才率师前来投靠。
除此之外，前来投靠的还有合肥西乡团练吴长庆。这也是一支四六不靠的武装力量，长期以来苦于各团练相互争斗。如今得到机会，立即带领人马前来投靠李鸿章。
这些人来到之后，李鸿章带领他们参见曾国藩。曾国藩面见诸人，说：诸君均人杰也，今日之会，天其有意致中兴乎？已饬麾下列几筵，请与诸君聚饮，尽今日欢。
得到曾国藩的品评，刘铭传、张树声、吴长庆并潘鼎新，身价陡增。
除此四营之外，还有李鸿章原在皖北办理团练时的嫡系部将张遇春。此前他被编入湘军的战斗编制，四处征战，这时候终于归队。
1862年2月22日，李鸿章率五营淮军，移驻安庆北门大营。曾国藩亲往祝贺。李鸿章相迎，趁机说道：老师，现在这支淮军，除张遇春部有过实战经验之外，其余四部，全都是没上过战场的新兵。进攻没有能力，防守没有经验，如果没有精兵宿将，只怕征战沪上，不容乐观啊。
曾国藩问：少荃，你究竟是何意啊？
李鸿章笑道：我请老师拨给我几营能征惯战的老湘军。老师啊，学生带着队伍去沪上，倘有胜绩，这也是老师栽培得力啊。
曾国藩摇头：少荃啊，之所以让你组建淮军，就是因为湘军的数量不够用。可是你这边还没说怎么帮老师的忙，就急着抄老师的窝……咦，有了，少荃，你身边连支像样的卫队都没有，你看我拨你两营亲兵，连我的亲兵统领韩正国一块儿给你，你看如何？
听到韩正国这个名字，李鸿章就闭上了眼睛。