最早回籍办团练的吕贤基、李鸿章父子都来自于皖中的士族家庭。李鸿章自随吕贤基回籍，一直到他后来投奔曾国藩，皖中民团与太平军的对抗始终没有终止。通过实战锻炼，团练头目们提高了军事才能，增长了胆识，其中，庐州人张树声筑数十寨自卫，连太平军都不敢接近，是皖中势力最大的民团之一。曾国藩通过李鸿章得知张树声的事迹后，大加赞许：“独立江北，今之祖生（祖生即东晋名将祖逖）！”
虽然如此，这些民团却都难成气候，原因是他们喜欢互争雄长，快意恩仇，通常情况下都是太平军来攻了还能互为声援，太平军一走，彼此之间便打成一团。比如，庐州有一个以解先亮为首的团练，解先亮的部下叶志超身材魁梧，膂力过人，每次打仗都勇冠全军，很受解先亮的重用。叶志超有一天在路上看到一个长得很漂亮的姑娘，眼珠子顿时就不会转了。解先亮看在眼里，便对他说：“你下次作战要是能够再次取胜，我就把她送给你。”
叶志超依言打了胜仗，解先亮果然说到做到，把叶志超心仪的那位姑娘抢来送给了他。后来才知道，这位姑娘竟然是张树声的表妹。即便这样，解先亮、叶志超也没把张树声当回事，更没去向其赔礼道歉，只是相互之间从此不来往而已，反正一句话，大家都凭实力在江湖上生存，你能吃得了我就吃，吃不了就相互提防着。
由于团练头目们互不服气，无法自行团结成整体，因此就需要一个地位高、声望隆，各方非但对他没有私怨，还有好感的人来一体统摄。李氏为皖北望族，李家与团练头目们有着较深的渊源，有的论交情甚至可以追溯到上一代，李鸿章本人既是高官，又被大名鼎鼎的湘军统帅曾国藩所倚重，他自然而然就成为了团结众人的合适人选。事实上，在湘军攻下安庆后，头目们就不断与李鸿章联系，希冀着能够通过他与湘军挂上钩。
李鸿章从前曾随父亲在庐州办过团练，但追随他的那些人早已星散。眼看援沪事宜箭在弦上，重起炉灶已不可能，他便决定走捷径，对皖中的旧有团练进行罗致和改编。
想好办法之后，李鸿章没有返回故里，而是坐镇安庆，通过派人传达或通信的方式，与团练头目们进行联络。皖中一带早就已经形成了以李鸿章为群体中心的趋势，李鸿章奉命募勇的消息一出，张树声、潘鼎新、刘铭传、吴长庆四位头目马上闻风而动，率所部团勇前来安庆。当然也有例外，解先亮原先是个不识字的农民，不愿意离乡外出作战，正好吴长庆的手下兵勇不多，解先亮就把包括叶志超在内的部属交给了吴长庆。
经过两个多月的筹备，淮勇陆续抵达安庆北门城外并在城外进行驻扎。这批淮勇共有三千五百人，根据淮勇实力单薄的实际情况和李鸿章本人的请求，曾国藩从湘军中陆续拨出三千人归其统一节制。这三千人里面，有一千人是曾国藩的亲兵，一千人是曾国荃的旧部，均为湘军中最精锐的部队。
1862年3月4日，在李鸿章的陪同下，曾国藩对各营进行检阅，这标志着淮军的正式建成。
初建时的淮军，共计十三个营，其中只有张、潘、刘、吴四营是纯粹的淮勇，另外三个营虽然营官和弁勇也都是安徽人，但原先都是湘军旧部。除此之外，各营官兵皆为清一色的湖南人，且他们中的大多数人已跟随曾国藩多年。在军制上，淮军的营制、营规、饷章也都沿袭于湘军，没有变化。也就是说，这时候的淮军仍然只是湘军的一个分支，与过去胡林翼手下的鄂军相比，并无多大差异。
3月19日，上海会防局提供的八万军饷解至安庆。对于湘军而言，这是多年来少见的一笔巨款，既足证了上海的财力，又进一步显示出官绅们求援的诚意及其急迫心情。看到军饷，压在曾国藩心头的一块石头也落了地，他在日记中直言：“少荃（李鸿章）启行的军费有着落了，真是快慰之至。”
此时江苏范围内能作为据点的，仅上海、镇江两个城市。镇江守将是江南大营时期的绿营将领冯子材，冯部一直处于孤城被困的境地。指挥江北清军的都兴阿曾派兵救援，但没有能够取得成功。朝廷认为镇江乃南北枢纽，务必确保，所以谕令曾国藩速催李鸿章率水陆军前往应援。
以前胡林翼也觉得镇江比上海更重要，他和曾国藩商量，准备一旦进兵江苏，即留驻镇江，并保举李鸿章、李瀚章兄弟中的一人为两淮盐运使，以便用征收的盐税为湘军提供军饷。
根据朝廷的谕令及与胡林翼商量的结果，曾国藩初步计划以黄翼升指挥的淮扬水师搭配淮军，组成水陆万余人的东援大军，其中淮军由陆路进兵，经巢湖、含山一带前往镇江。
陆路行军路线长达千里，首先遇到的困难是粮饷难以接济，李鸿章就叫苦说：“江北遍地疮痍，人烟寥落，办米、办夫、饷运维艰。”其次，从安庆到上海，沿途多半是太平天国控制区，淮军要穿越其防线，艰难程度可想而知，很有可能部队还没到镇江，就遭到太平军的截击甚至被其消灭。
退一步说，即便淮军能够顺利到达镇江，由于上海正处于太平军的包围之中，由镇江开往上海也不容易。上海会防局正是看到了这一点，所以连忙筹措十八万两运费，雇佣英商的七艘轮船，用来将淮军分三批运往上海。
李鸿章与曾国藩经过商议，决定顺应上海绅民之请，“由水路东下，直赴上海”。