稍有良知的中国人都不愿意干背叛祖国的勾当，联军所招募到的所谓中国苦力全都是香港底层的小偷、流浪汉或其他社会渣滓。据说自从这些卖国求荣的家伙离开香港来到北方之后，香港的犯罪活动都因此大大减少。
一路北来，苦力对待自己的同胞竟然比锡克教徒还要残忍，连联军都认为他们“绝大部分都是残暴的恶棍”。联军也并不信任他们，平时视之为“负重动物”，给苦力配备的武器不是枪支，而是一些竹棒。
按照柯利诺的指令，苦力们肩顶梯子，站在齐颈的水里一动不动，以便法军可以顺着梯子手脚并用地爬过去。对联军而言，让“负重动物”来从事这样“令人恐怖的劳动”，乃是再合理不过的一件事。倒是格兰特认为苦力们仍有利用价值，事后假惺惺地表示内疚，并给他们额外发了一个月的薪水作为奖赏。
在两道壕沟之间还有一条十米宽的垒道，上面不仅撒满铁蒺藜，而且遍插栅栏。这些栅栏有很长一截插进土里，露在地面的部分很像铁矛，而且本身也确如铁矛一样坚硬。它们不能被连根拔除，只能一根根折断，但即便折断后，联军士兵有时仍会被依旧竖立的栅栏残部绊倒，因而“撕出触目惊心的伤口”。
当联军前锋到达第二道壕沟正面时，部队已经大量减员，一个步兵团的几乎所有军官全都丧失了战斗力，带队军官派人向柯利诺汇报战况，请求调派援兵。
援兵到达后，实力增强的联军继续冲锋，他们在接连翻越两道壕沟后，到达炮台的墙根底下，并在那里找到了一个可以躲避枪弹的藏身处。这一情况很快就被守军发现，既然枪炮射不着，大家就干脆举起炮弹向敌人砸去，炮台上下有着五至六米的落差，这一砸下去也够洋鬼子们受的。
在随后联军发起的爬城战中，这些徒手掷出的炮弹同样令联军大吃苦头。一名上尉刚刚登上射击口，人还没进入炮台，一枚炮弹就砸中了他的太阳穴，上尉立即被砸翻在地，血流如注。另一名少校刚想要翻越护墙，中国士兵的长矛就刺了过来，要不是一名联军士兵用刺刀竭力格挡，少校身上还不知道要被捅上几个窟窿！
由于架梯攀爬的打法毫无成效，联军只好把注意力转向炮台正中的栅栏门。中国军队在备战时曾把大堆的泥土吊进炮台内，堆在栅栏门的后面，本来进攻者要想从炮台外推开或是弄倒它都是不可能的事，但是在先前炮击时，联军的一枚空心弹曾击中栅栏门右侧的门框，在上面炸出了一个大洞。
利用这个被炸开的大洞，联军钻入了炮台内部，守军立即上前封堵，双方展开了更加激烈而又残酷的白刃战。中国士兵手持的长矛在防御敌人爬城时很有效，但当用于近战格斗时，由于炮台内部的空间相对狭窄，就不如刺刀那么好使了，官兵成片地被敌人刺倒在地。
即使处于如此绝境之下，乐善仍一步不退，亲自在炮台上与敌人厮杀。他头上的孔雀翎官帽非常显眼，联军一看就知道是“负责这个炮台的北京官员”，他们一开始曾打算活捉乐善，但是由于乐善拒绝投降，一名英军上尉便恶狠狠地拔出手枪打死了他。
上午10点半，北岸炮台完全失守，包括乐善在内，坚守炮台的千余官兵全部壮烈殉国，英法联军在打扫战场时，在炮台内外找到了成千具“鞑靼人（清军）”的尸体。联军在此役中也伤亡惨重，英法两军都各损失了两百人，连前敌指挥官柯利诺本人都中弹受了轻伤，他们不得不承认“敌人的防御很顽强”。
北岸炮台失守的消息给中方造成了极大震动。几个小时后，直隶总督桓福派两名使节到联军营中与其谈判，在联军中担任翻译主任的巴夏礼接待了他们。按照桓福的指示，使节答应巴夏礼，表示将挪去横在白河中的竹子，让联军安全通过，同时表示双方可以在天津继续进行和平谈判。
巴夏礼认为中方所说的挪竹子的话不过是在借机拖延，于是当场就勃然大怒，把桓福让使节带来的信件揉成一团，扔在了其中一名使节的脸上。接着，他咆哮着对使节下达最后通牒，称如果大沽的其余三座炮台不在两个小时内投降，就将落得和北岸炮台一样的下场。
使节回去向桓福复命，桓福急忙找僧格林沁商量。僧格林沁仍想在南炮台指挥防御，但桓福却认为南岸炮台“万难守御”，他还从袖子中抽出咸丰的上谕，说你已经违旨，还能一误再误吗？
僧格林沁万般无奈，不由得顿足长叹：“两年辛苦，费尽心血，一旦弃之，可惜也！”遵照咸丰的旨意，他命令炮台剩余守军及其蒙古骑兵全部撤往天津。随后，桓福在南岸的三座炮台上挂起免战白旗，此时巴夏礼所限定的两个小时最后期限还远远没到。
桓福要将天津作为与英法的谈判地点，所以他认为僧部在天津也“断不能抵御”，于是在1860年8月22日，僧格林沁又只好由天津撤防，率全军退至通州。
次日，英法联军以五艘蒸汽动力炮艇和八十余名海军陆战队员组成先遣队，由格兰特亲自率领，沿白河长驱直入。8月24日，先遣队驶抵天津城郊，后续大部队也紧接着赶来。由于城里已没有守军，他们不费一枪一炮就控制了全城。当天，城墙上被遍插英法两国旗帜，格兰特贴出告示，宣布对天津实行军事管制。