如同宝带桥之战的情形一样，李秀成所带来的白齐文部继续发挥着重要作用，他们的大炮汽船给湘淮军带来了不小压力，仅湘军淮扬水师就被炸毁了二十一只舢板船。不过湘淮军随即发起反击，用火箭焚烧和击沉了“高桥”号，加上淮军援兵大批赶到，李秀成军支撑不住，只得暂时退往苏州外围要地黄埭。
白齐文加盟太平军，曾让李鸿章担心从此会出现一个太平军版的洋枪队，由此大大加强太平军的力量并在心理上给其以激励，白齐文在几次作战中的表现，似乎就是对这种担心的一种验证。英国驻华公使卜鲁斯闻讯更是惊恐万状，以至于向英国国内报告说，如果白齐文率领“众多军队”在冬季进军北京，就将获得攻占北京的良机并最终推翻清廷。
事实是，这样的情况并没有发生。白齐文如果还在常胜军，其枪炮和弹药都有充足和稳定的来源，但自投入太平军阵营后，随着联合部队对军火走私的查缉越来越严，这些都成了问题。白齐文为了补充弹药，曾亲自潜入上海，结果不仅没能买到军火，还差点被捕，之后他再不敢如此冒险。因为军火不足等原因，白部对淮军的几次攻袭都未成功，渐渐地，慕王谭绍光便失去了对他的信任。
见失意于慕王，白齐文又向忠王李秀成献计，劝其“弃江浙，北据山东、山西、河南、陕西，使清水师无所用，外人亦不能相助”。可这种时候李秀成哪里需要如此迂阔和不切实际的“计谋”，自然没法采纳。白齐文深感受到冷遇，转而与戈登联络，劝他脱离清军，两个人联合起来独立作战，“组织两万人，进取北京”。戈登听后啼笑皆非，也没当一回事。
白齐文大失所望，于是向谭绍光提出辞行。谭绍光倒也豁达大度，抬抬手就放他和部下走了。白齐文被戈登用船送回上海后，因他正生着病，美国领事便将他遣送到日本横滨治病，并禁止其再来中国。
1863年10月24日，程学启、戈登会同太湖水师，一举攻克苏州外围要地五龙桥。李秀成合谭绍光之军前来救急，但被击退，苏州守军的处境日益窘迫。
为了实施防守反击，李秀成继续把战火引向无锡，他从无锡、溧阳、宜兴等地约集了八九万机动兵力，这些部队出运河口作战，以连营并进的方式对李鹤章等军进行挤压，李秀成自己则率数千精锐扎营于无锡后宅，居中调度。
李鸿章不为所动，一面让李鹤章等军坚守营垒，巩固后路，一面派程学启由苏州横出敌后，对太平军发动攻击。这时的程学启部已扩充至水陆十八个营，成为淮军中唯一也是最大的大枝营头，攻击能力很强。在常胜军的协助下，程学启连下苏州外围的蠡口、黄埭，从太平军身后对其造成了威胁。
李鹤章和曾国葆一样，是由分统提拔成的统领，军事指挥能力丝毫不亚于其他由团练头目出道的淮军将领。看到有机可乘，他立即约集原先固守的诸军主动出击，滚营前进，除李秀成所据营垒无法攻克外，太平军驻于前线的十余座营垒都被他们端了个干净。
在这一轮外围战中，常胜军不仅自己乘汽船作战，也用汽船为湘淮军运兵，从而成功地将苏州外围河流多的劣势转化为了自身的优势。鉴于白齐文带来的“高桥”号已经被毁，李秀成交给呤俐一项重要使命，让他寻机捕获常胜军的汽船，以为己用。
呤俐奉命潜入上海，他侦察到一艘名叫“飞而复来”的汽船从苏州开往上海，当天即开回苏州。于是便在一个星光黯淡的深夜展开行动，与同伴一起夺取了这艘汽船。
对于呤俐这次行动取得成功，李秀成很是高兴，亲自到船上对参与行动的人员进行慰问和奖励，“飞而复来”也被重新命名为“太平”号，悬挂忠王军旗，由呤俐统领。
“太平”号的船头架有一门旋转炮，船尾架有一门榴弹炮，船中装置精良，弹药充足，虽然它无法在湖中与数量众多的敌船抗衡，但在相对狭窄的小河中却占有机动灵活的优势，也因而部分打乱了联合部队进攻苏州的部署。
联合部队的对策是断绝运河，使太平军不得使用“太平”号，同时阻止外地的太平军进援苏州。他们一路由蠡口、黄埭进发，攻克浒墅关及虎邱，进逼苏州阊门街口，一路由五龙桥进发，在接连摧毁太平军营垒后，进逼苏州盘门。