1863年4月，淮军和常胜军组成联合部队，开始重新对苏福省发起攻击。他们一口气夺回了一度失守的福山，又击破太平军对常熟的包围，显示出与日俱增的战斗力和攻坚能力。
淮军虽然通过引进西洋炮加强了自身火力，但炮位都还很小，所以攻城仍需依赖于常胜军，更确切一点说，是依赖于常胜军的开花炮队。经华尔、戈登等人的先后经营，常胜军建有六百人的整营炮队，拥有三十余门以上的大炮，这些大炮都是当时中国所没有的，其中“开花巨炮”（实际为加农炮和榴弹炮）等重炮就有一二十门。
5月，联合部队再攻太仓，在攻城战中起主要作用的，就是常胜军的开花炮队。戈登采取的战术是首先向城墙猛轰四个多小时，然后才组织步兵向被炸塌的城墙缺口冲锋，如此反复三次，终于攻破了太仓。自此以后，每当淮军遇到坚城难克的情况，都要调常胜军开花炮队强轰硬炸。
华尔也很重视火力组织，从这个角度来说，戈登并没有完全脱离前任的路数，但确实已更上一层楼，所以有人称戈登是个出色的战术家，在用兵上比华尔更精。
当然，戈登本人也许更愿意别人把他看成是第二个华尔，他甚至还模仿华尔的风格，作战时手里不握枪（在衬衣里藏一把左轮，但从来没用过），只拿一根小手杖，士兵们戏称为“胜利魔杖”。
1863年6月1日，联合部队围攻昆山。在北面的常熟、太仓均已失陷的情况下，昆山守军仅有一条退路和粮道可通往苏州。戈登经过侦察发现，可在昆山城西的正仪镇对此退路予以切断。
昆山周围河道纵横，湖泊甚多，和华尔一样，戈登认为汽船在江南三角洲地带是不可或缺的，“在这个国家里，我们的汽船具有绝对优势”。他率领常胜军和部分淮军，乘着汽船，在太平军占领区内迂回行进三十多公里，对正仪镇发动了突袭。
多数太平军对汽船都很陌生，也异常害怕，听到汽船尖厉的鸣叫声，士兵们甚至都惊呆了。联合部队以突袭的方式成功占领了正仪，戈登事后颇为得意地总结道：“熟悉地形起了决定性作用，我花了很大精力研究地形……”
后路被切断令昆山城内的太平军不攻自乱，继太仓之后，通往昆山的第二座城市也落入淮军手中。
到这个时候为止，淮军和常胜军的配合已经相当默契：淮军有野战优势，主要负责占领阵地，保护常胜军的开花炮队以及掩护其侧翼；常胜军有技术优势，重点通过对大炮和汽船的有效运用，来击破敌方的坚固防线。
过去国内战争的经验表明，湘军长于野战，而拙于攻城，太平军相反，长于守城，拙于野战。长江上游重镇，武汉、九江、安庆，没有哪一个不是湘军经年累月，付出巨大代价才攻下来的。淮军改变了人们的这一习惯看法，由于其本身装备了大量的洋枪洋炮，又有常胜军协助，从而弥补了不善攻坚的缺点，迅速成长为一支野战攻坚兼长的军队。
如果说太仓是苏州的北大门，昆山就是东大门，太仓、昆山既下，苏州的北、东两面完全暴露在联合部队面前。程学启、戈登继续加强进攻，他们在攻占苏州南面的吴江，隔断苏州与浙江太平军的联络之后，开始着手进攻苏州。苏州主将、慕王谭绍光屡屡出师反击，但均未能得胜，不得不派人前往天京，向李秀成频频告急。
自南渡回到天京后，由于天京、苏州的局势同时恶化，李秀成一直在两地的前线奔忙，往往是早上在苏州，晚上就得回天京，两边都需要兼顾，两边又都难以集中精力，其有限的突击部队也无法集结于一处使用。为此，李秀成再三奏请天王洪秀全，要求准许他先出京解苏杭之困，但洪秀全只顾天京一头的安危，始终不肯放行。
1863年9月中旬，刘铭传攻克江阴。此后李鹤章等部向无锡推进，致使无锡、常州的太平军都不敢也无法进援苏州。眼看苏州危在旦夕，李秀成又一次向天王恳切奏请，说：“苏州、杭州一旦失去，天国的粮库就将毁于一旦，天国将永远得不到安宁。我恳求天王让我出京，解救苏州、杭州，这样我死也瞑目。”
见硬留李秀成不住，洪秀全及群臣向他提出两个条件，一是要资助天京饷银十万，二是只给四十天期限，四十天后必须立刻回京，如果银两不够或逾期不归，将依法予以处理。
李秀成急于解苏杭之困，只好把全家的金银首饰等值钱物品都拿出来，凑够十万两交给洪秀全，并将母亲和儿子留下作为人质，这才得以出京。