华尔被太平军击毙后，华尔的副手白齐文接管了常胜军的指挥权。白齐文在许多方面与华尔相似，两人都是来自美国的冒险家，刚到中国时同为大副。白齐文作战也很勇猛，曾经几次负伤，后来他又和华尔一同加入中国籍，甚至都娶了一名中国妻子，当了“洋姑爷”。
两人不同的是，华尔深知自己的飞黄腾达全都仰仗于中国人，因此很自觉地接近中国人，白齐文却无此自知之明。除此之外，他缺乏华尔的管理和军事指挥才能，性情也很专横，常常因酗酒、伤口疼痛等原因乱发脾气，弄得与其意见相左者都不免提心吊胆。
这时拖欠常胜军的军费和赏金的情况依旧存在，白齐文和几名部下便跑到上海，当面向杨坊索要饷银。几句话不对付，杨坊就遭到一顿暴打，之后白齐文一行闯进上海官方专为军队所设的“大吉行”，从中抢走了四万余两库银，史称“大吉事件”。
大吉事件一出，各方均为之震惊。士迪佛立急忙派兵前往松江，对白齐文和常胜军进行弹压，同时另派英国军官奥伦接管常胜军。
这一期间，在天京、浙江战线日趋紧张，太平军也无力再进攻上海的前提下，淮军发动了对苏福省太平军根据地的大举反攻。皖籍的常熟守将骆国忠见势不妙，连忙献城投降。
常熟北临长江，南邻苏州，东接太仓，骆国忠的叛降，不仅使太仓处于被东西夹击的地位，而且对苏福省首府苏州的安全也构成了严重威胁。太平军急忙调集大军围攻常熟，李鸿章闻报双管齐下，一面增援常熟，一面会攻太仓，双方在两地展开大战。
常熟方面，太平军夺回了常熟的福山镇，但这还比较好交代，因为太平军在那一面略占优势，何况常熟也没有被攻破。太仓方面却是令人大跌眼镜，李鸿章派去的是程学启部及其常胜军主力，结果仍被人打得丢盔卸甲。
常胜军大失水淮，被认为是太仓惨败的主因，这也是常胜军自重新组建以来打的最糟糕的一仗，情报失误、侦察不准、战术不当、撤退无当等各种毛病都一股脑儿堆到了一起。
鉴于奥伦难以胜任他的新职务，另一名英国军官戈登得以走马上任。当戈登到达松江时，士兵正陷入低迷士气之中，军官们则要求被赶走的白齐文重返部队，整个常胜军已处于哗变边缘。戈登当即向官兵们表示，他不会再因大吉事件和太仓惨败而解雇任何人，只要他们表现良好，他就将“精心维护他们的权益”。在戈登做出这一保证后，官兵们才勉强接纳了他。
戈登是个和华尔一样具有冒险精神的人，但军人世家、英国皇家军官学校毕业生、正规军官的履历，又使他在很多观点上有别于华尔。比如在军队管理上，华尔较注重权术，戈登却更坚持原则，华尔追求名望和财富，戈登更在意他所谓的荣誉和建树。
接手常胜军之初，戈登即按照西方做法，对原先混乱的财政管理制度加以整顿，其中包括：削减军饷，并用成色统一的墨西哥元作为军饷，以阻止军官们盘剥士兵以及滥用资金；取消每半个月发饷一次的惯例，改为每个月发饷一次；取消夺城后的特别赏金。
相应地，戈登也要求中方必须按时发放军饷，不得拖欠。常胜军的士兵和中方对这些措施都能接受，李鸿章向戈登保证，只要是正当要求，他就一定会予以满足。
华尔治军，靠的完全是经验、直觉甚至随心所欲，这是华尔一死，部队便立刻涣散失去战斗力的一个重要原因。戈登将英国陆军的纪律及其规章制度引入常胜军，下令开除吸鸦片者和其他不良分子，禁止抢劫、酗酒，他自己也以身作则，宣布吃住自理，除统领的固定薪金外，不再从军队里获取额外奖金。
在贯彻其革新政策后，戈登赢得了各方认可。常胜军士兵对他的态度由勉强接纳转为表示尊重和支持，戈登在家信中写道：“我的军队……士气高涨，可以胜任一切任务。”李鸿章也对戈登大加赞扬，认为他不仅恢复了常胜军的秩序，而且使得军队开销井井有条，有效缓解了政府在这方面的财政压力。
华尔在世时，虽然与李鸿章尚保持着良好的合作关系，但却从未主动前去拜谒这位上司，轮到白齐文上台，那就更是专横高傲得没谱了。戈登不一样，在李鸿章面前，他能够按照英国军队里下级对上级的礼仪行事，身上完全没有华尔、白齐文那种令中方官员不能容忍的高傲姿态，这让李鸿章感到特别舒服和受用。
令李鸿章满意的还不止于此。戈登拥有英国军方背景，他的到任，使得常胜军可以源源不断地从英军手中直接购买武器，相比于华尔时期来说，渠道更稳定，价格更便宜。这样一来，淮军在西式武器的采购方面也因而变得更加便利。
淮军对于洋枪的使用，最初只是停留在闭门效仿的层面上，雇聘的洋人教习极少。经由戈登介绍，淮军各营陆续从常胜军中增雇洋教习，淮军洋教习前后达到了二十余人之多，其中除两名来自法军，一名雇聘较早外，其余全部出自于戈登的介绍。
李鸿章一直发愁的教练问题终于得到解决。在洋教习们的指导和带领下，淮军士兵不仅学会了如何使用洋枪洋炮，而且全部改用洋式操练法，比如开步走、向右转等，都按照外国军号以及音译的外国军令行动。
原先由于不易买到真正的西洋开花炮，又无人教授，淮军所拥有的火炮既小且少，形不成战斗力（劈山炮的威力只堪与火力较强的洋枪相当，而不能与洋炮相比较）。从1863年春季起，在洋教习的牵引和鉴定下，淮军所购买的洋枪洋炮陡然大增。戈登又将常胜军停用、闲置乃至从太平军手里夺过来的洋炮，转赠给淮军使用，于是淮军各主力大营便都先后建立起了自己的炮队。