晚上8点，赵烈文听到龙膊子至钟山孝陵卫一带传来炮声，知道太平军正在组织突围。鉴于城池虽破，但“逆首”李秀成等人仍不知下落，他于是再度入帐去找曾国荃。
曾国荃已经睡着了，赵烈文把他从床上摇醒，告知详情并请求派骑兵进行堵截。曾国荃却不以为然，在床上躺了好长时间后，才爬起来，掌上灯，但并不是要派兵堵截，而是与赵烈文商量如何修改那份奏折。商量完了，他让人重新缮写新稿，然后又重新睡下了。
曾国荃及其部下的大意懈怠，给突围者带来了机会。赵烈文所听的炮声正是城中的突围信号，趁湘军正热衷于抢掠，太平军一部分缒城外逃，另一部分一千多名步骑兵，在李秀成的率领下，换穿官军服饰，保护小天王洪天贵福伺机冲出。
因为人数较多，李秀成这一部分人马突围起来要困难得多，几次要冲出去都没能找到机会，众人手足无措，唯知惊恐流泪。这样一直拖到凌晨1点过后，李秀成一马当先，率部向太平门城墙被炸塌的缺口处猛冲。湘军有四个营负责守卫缺口，但这四个营的精锐大半在城中未返，留在缺口处的皆为疲惫士卒，根本挡不住对方，太平军仅损失了数十人便得以出城。
冲出城之后，突围部队还要越过层层叠叠的湘军营寨及其所挖的深壕高垒。好在这一方向的萧孚泗等营与缺口守军的情况类似，看到了也不敢上前阻击，只能咋咋唬唬地胡乱放炮。
眼看太平军已经绝尘而去，各营忙派人向大帐进行报告。因为曾国荃还在睡梦之中，报信的人不敢随意惊动，便先行向赵烈文汇报。赵烈文稍加分析，马上断定李秀成等“逆首”就在这支突围部队之中。
赵烈文深知，曾国荃花两年时间才攻破天京，如果再让“逆首”逃脱，不但不能得到大功，反而还将招致朝廷的严厉谴责。他再回头一看，按照曾国荃要求重新缮写奏折的人还没有完工哩，此情此景令他长叹一声，颇有“竖子不足与谋”之感。
赵烈文一溜小跑，赶到大帐，在将曾国荃叫醒后，将太平军突围成功一事以及自己的估计告诉了他。曾国荃这才明白事情的严重性，顿时也是又急又怕。赵烈文赶紧对他说，可以在奏折内增加几句话，以便留下退身步。曾国荃连连称好，并急调骑兵进行追击。
李秀成将部队一分为二，前队保护洪天贵福先逃，后队由他率领，阻挡湘军的追击。洪天贵福随前队逃出，年底在南昌被俘。因为突围时，洪天贵福没有马骑，李秀成便将自己的好马让给他，改骑了一匹普通的马。在方山一带，李秀成与其他人失散，坐骑也失去了行走和奔跑的能力，他被迫步行避入附近的方山。
几天后，方山山民王小二上山砍柴，在庵内发现了饥肠辘辘的李秀成。他一下山就将这一情况向村董陶大兰进行报告。两人合谋将李秀成哄骗下山，捆绑送入萧孚泗军营。
萧孚泗看到李秀成眼睛发亮，立即贪天之功为己有，向曾国荃诳称是自己抓获了李秀成。他还怀疑李秀成尚有财物藏在陶大兰家（实际李秀成随身所带财物吊在一棵树下，且已被另一群山民拾去），于是便派人将陶大兰全家连同邻居都抓到营中进行拷问，逼他们供出财物藏匿之所。陶大兰所在村庄的村民知道后，都吓得跑掉了，以致整座村庄变得空空荡荡。
赵烈文知道这件事后十分愤慨，责骂萧孚泗丧尽天良，说他“以后死都不知道要死在哪里”。
萧孚泗干的缺德事远不止这一件。本来李秀成虽下令焚烧天王府和各王府，但可能大家都急于突围和出逃，天王府并没有被烧毁，即便赵烈文看到天王府燃起大火，亦未伤及根本。可是萧孚泗在抢劫天王府后，为了掩盖罪证，却纵火烧掉了天王府。
其他湘军各营在抢劫的时候，也四处放火。江宁城（城破后，自然无人再以天京相称）的大火烧了八天八夜，数十道紫绛色的烟尘如同大山一样，长久地屯结于空中，经久不散。赵烈文估计，城内所烧掉的王府及房屋，只有十分之三是太平军所为，其余都是湘军干的。
至攻破城池，曾国荃军的欠饷已达十七个月之久，官兵甚至一度不得不靠食粥度日，一旦大功告成，曾国荃既无心也无力对其部属进行约束。赵烈文指出萧孚泗在抓获李秀成一事上系欺诳冒功，但曾国荃不肯深究，赵烈文请求他对入城后的湘军下达“止杀令”，他也不同意。
曾国荃的放纵态度直接导致许多无辜居民被害。赵烈文在江宁的大街上行走，看到沿街死尸九成都为老者，即便侥幸未死的人也无不负伤，有的甚至中了十几刀、数十刀，哀号之声不绝于耳。倒是精壮者因为被兵勇抓去抬运抢劫物品，反而死的不多。
左宗棠说过，他虽然戎马一生，但始终谨守“不重伤，不禽二毛”的古训，决不伤害年长的人。曾国荃军如此滥杀无辜，令赵烈文都看不下去，直斥：“其乱如此，可为发指。”