带兵将帅必须同时为地方大吏，否则在领兵筹饷时将步履维艰，这是曾国藩从自己的军事生涯中所总结出一个极其重要的经验教训。他在向朝廷推荐李鸿章领兵东援时，就请求朝廷“等该员（指李鸿章）到镇江后，请明降谕旨，令其署理江苏巡抚”。
朝廷当时就应允了，因此李鸿章到上海不久，便由道员破格超升为署理江苏巡抚（七个月后，实授江苏巡抚），取代了原先薛焕的位置。李鸿章虽已贵为一省之长，可是他的政令也只在上海这座孤岛才管用，出了上海，就全是太平天国的天下，这使他更深刻地领会到曾国藩要他沉住气，积极“练兵练器”的重要性和必要性。
李鸿章最初的扩军方式是效法湘军，让湘籍营官们返湘募勇，但淮勇毕竟是淮军的基础部分，所以他很快就改变方式，令张树声、吴长庆等人前往两淮等地，收编两淮团练及其太平军降众，同时大力整编原驻于上海的勇军。
近代史家将恭亲王奕訢、文祥、曾国藩、左宗棠、李鸿章称为洋务派五大领袖。作为地方洋务派的代表，曾、左、李在很多具体观点上其实并不一致，比如对待西式武器的态度就有很大差异。曾国藩主张“用兵之道，在人而不在器”，且向来“不深信洋枪，（洋）火药为利器”，即便在皖南指挥所部进攻徽州，被太平军用洋枪击退后，亦不改初衷。左宗棠同样不是很相信洋枪的功效，他认为洋枪仅仅是重量轻一些而已，要论射程，还不如抬枪。
事实上，洋枪虽然没有抬枪射得远，可是射击速度却要高出后者数倍之多，再加上可以随装随射，不避风雨，火力方面绝非抬枪所能及。至于曾国藩对洋枪的观点，则只能说明当时的多数士大夫都还无法完全摆脱传统文化的片面说教。
李鸿章与曾李的想法都不一样，而这与他的上海之行又有着很大关联。他刚刚抵达上海时，就受何伯之邀，前往英国海军驻地进行参观。一进英军军营，英军大炮的精纯，弹药的细巧，枪支的鲜亮，队伍的整齐，顿时把他弄得眼花缭乱，目眩神迷。
英国海军本身并不以陆战见长，但也拥有用于攻城劫寨的各种武器。令李鸿章备感惊异的是，这些武器他在国内大多闻所未闻，见所未见。即如浮桥、云梯等，虽然中国军队中亦有装备，可其精良的制作和巧妙的设计，仍是中方设备所做不到的。
李鸿章虽奉曾国藩为师，但他是一个极重实效的人，做事往往随实际需要而定，不像曾国藩受传统束缚那么深。再者，他的淮军新建，人数既不多，战斗力也不强，又远离湘军母体，在孤军作战的情况下，若不另辟蹊径，势难自立自强。在发现洋枪确实比他的刀矛加旧式火器更为精利后，李鸿章马上决定予以采用。曾国藩将鸟枪称为小枪，湘军营制中原有刀矛队、小枪队、抬枪队、劈山炮队，李鸿章便在战斗力最强的程学启部率先添设了洋枪小队。
扩充军队和购置西式武器，都需要大笔资金的投入，而此时李鸿章署理江苏巡抚，曾国藩是两江总督，上海的财赋收入完全为李鸿章和湘军所掌握。上海的海关厘税数额巨大，但由于开支同样惊人，所以仍然入不敷出。为了解决这个问题，李鸿章决定采取海关厘税分收分用的政策，即以关税支付会防局、常胜军和镇江绿营的费用，以厘金承担湘淮军的军费。
厘金是商业税，李鸿章认为，从商人手中多收点钱，胜过从农民身上收税，在他出任江苏巡抚期间，上海厘金被规定为值百抽一，收取标准是全国最高的。这些厘金除基本解决淮军所需外，还资助了湘军在西线的作战。
那个时期，因江西巡抚沈葆桢截留江西税收和厘金，湘军粮饷出现很大困难。就在曾国藩坐困愁城之际，李鸿章雪中送炭一般地从上海送来七万两银子，令其大喜过望。在给李鸿章的复信中，曾国藩戏言李鸿章如同嫁出去的女儿，自己日子好过了，还没有忘记要时时贴补娘家。
当然，曾国藩为“出嫁女儿”提供的嫁妆也同样极其丰厚，淮军的相当大一部分力量都来自于湘军不说，直接继承于湘军的军制，更令它在初建时就已站在了很高的起点之上。