此次李鸿章受命出征，最大的困难还是没有兵，湘军的规矩是兵为将有，于是曾国藩便派他招募淮勇，用以组建援沪之师。
曾国藩最初创建湘军的思路，很多都取法于戚继光。戚继光练兵用兵有“澄定浑水，再汲新水”一说，浑水指的是旧军，新水指的是新军。按照一般经验，士兵从征的时间一久，都会渐渐染上暮气，秉性善良者思乡心切，凶暴狡诈者甚至会为敌方所诱而另有图谋。戚继光的对策是以新代旧，用重新招募的新军来替代暮气沉沉的旧军。
曾国藩对戚继光的这一策略非常服膺。湘军军制，凡一个军营染上暮气，就必须立即全部遣散，另行招募新军。曾国藩引用北京旧鞋铺里的一句谚语，称之为“抽帮换底，整旧如新”，意思是就好像鞋铺把旧鞋的底子换上新底子，便能够使之焕然一新。
由于需要不断地遣撤旧勇，另建新营，对兵员的需求量就相当之大，据曾国荃统计，仅湖南湘乡一县，前后从军的人便有二十余万之多。
除湖南外，从就近原则出发，胡林翼、曾国藩、骆秉章也都曾分别筹划在湖北、四川、江西招募勇丁，并按湘军成法，组建由该省勇丁组成的新营。可惜的是成效都不显著，有的刚刚成立不久就被裁汰了。比如胡林翼抚鄂时，就想招鄂人为兵，选鄂人为将，结果所建的部队根本就不能用，最后他的所谓鄂军其实仍是湘军，从兵到将大部分都是从湖南招募过去的。
为什么湖南人能当兵打仗，几个邻省的人就不行呢？细究起来，这与当地风气大有关联。湖南民风之强悍，在历史上是有名的。当初太平军进入湖南而湘军尚未建立时，境内民众便立刻自发分化为壁垒分明的两派，一派投入太平军，一派成为结堡自守的民团，这两派立场完全不同，但都毫不迟疑地与对方誓死争斗。这种民风，在当时的湖南各地少有例外。
反观同时期的湖北、江西，太平军一来，民众就赶紧蓄起头发，清军一来，又马上剃头，民风差异，显而易见。四川素为天府之国，有渔盐之富和商贾之利，老百姓生活安逸，民间肯冒兵戈之险从军的人自然更不会多。
安徽的情形则与湖南、湖北、四川、江西都不大相同。安徽除通常以长江划界，分成皖南皖北外，还可以按经济文化水准，大体分出三区，即最南面的皖南地区、最北面的两淮地区以及夹在两区之间的皖中地区。
皖南是三区中最富的，这主要是由于徽商的缘故。太平军攻入皖南时，绅商们曾集巨资献给太平军，试图换取对方不攻夺他们所在的城池。可是太平军作战本有其既定的战略目的，往往都是钱财收了，城池也照攻不误，于是有人就讽刺说：“徽人必有抱金而死者！”显然，皖南民风不过是湖北、江西、四川的翻版，在这里很难招募到敢战能战的武士。
三区中最穷的是两淮地区，包括明太祖朱元璋的老家凤阳在内，都是“十年倒有九年荒”的所在。两淮在嘉庆时就出现动荡，至道光年间日趋严重，在凤阳、颖州两郡，抢劫和杀人放火的事件层出不穷，犯案者甚至敢和官府对抗，公然拒捕。
发现两淮风气刚劲，还在李鸿章初入湘军幕府时，曾国藩就决定由他主持招募淮南勇五百人，组成淮南骑兵，为创建湘军骑兵探路。李鸿章受命后，派人到两淮募勇，但当地士绅却借口团练仅保卫乡里，对前往招募的人员百般阻拦，结果这次试验没能成功。
失败的原因主要是淮河两岸地区的士族力量薄弱，士绅集团受理学忠君的思想影响较浅，见清廷和太平天国对峙日久，相持不下，便对形势大多采取了观望和两面应付的态度。
等到曾国藩出任两江总督，又再度提出了创建淮军的计划。他认为，两淮地区应该不愁招不到合适的勇丁，只是缺乏训练人才而已，倘若能用湘军的制度来训练两淮勇丁，同时严格纪律，并多训练一段时间，不但能练出好兵，还有望从中选拔出一两个日后的名将之才。他乐观地估计，这样一支淮军将成为声望不减于湘军的劲旅。
按照自己的设想，曾国藩上疏朝廷，请求由两淮兵勇组成淮扬水师，以作为创建淮军的前奏和铺垫。曾国藩安排李鸿章帮助湘军水师将领黄翼升经办此事，不料两淮当时已成为太平天国的势力范围，李鸿章暂时无法前往。后来因为替李元度向曾国藩求情，李鸿章一怒之下离开了祁门大营，以淮勇办水师的事也就只能泡汤了。
经历两次失败后，再议创建淮军，曾国藩和李鸿章都把目光从两淮移向了皖中。皖中在经济文化程度上居于皖南和两淮之间，同时因其北面与两淮接壤，东面的巢湖又是盐枭出没之区，因而民风也较强悍。
相比两淮，皖中的士族力量较大，理学思想影响深。再者，皖中地区有的为太平军巩固的根据地（安庆），有的为拉锯战区（庐州一带），战斗激烈频繁，持续时间长，各县团练头目或有父兄被太平军所杀，或财产被毁，房屋被占，客观上也使他们丧失了妥协观望的余地。