1854年，琦善病死，托明阿继任江北大营的统帅。
江南江北大营宛如天京门口的两颗獠牙，既随时威慑着天京，又能扼住太平军南侵的态势。向荣有事没事经常骚扰天京城，让杨秀清很头疼。
1855年，江苏巡抚吉尔杭阿进攻镇江。镇江和瓜州都是战略要地，向荣已经扼住了长江水路，如果镇江和瓜州失去，两路清军就会汇合，直逼天京。杨秀清下令从南京调兵增援镇江，但全被向荣和张国梁等人击回。不得已，只好从长江上游调兵，命秦日纲为主帅，率领陈玉成、李秀成等人驰援镇江。这几个人都是会打仗的人，秦日纲可能稍微差点，但陈玉成和李秀成挺能打的。
陈玉成很猛，他突破清军重重封锁，进入镇江，和城内太平军会师。3月18日，太平军与清军、湘军激战了一天，大败敌人。但形势仍然不容乐观，陈玉成自告奋勇，要攻打江北大营，拿下扬州，解决粮饷问题。
陈玉成和李秀成不愧是猛将，轻松拿下了江北大营，攻克扬州。此时，石达开率领三万大军直逼江南大营。石达开先是引诱向荣分兵，然后秦日纲趁机包围吉尔杭阿，吉尔杭阿是条汉子，战斗到最后。咸丰愤怒之余，大大赞扬了吉尔杭阿勇于牺牲的精神，谥号“勇烈”，追赠其总督头衔。事后，连吉尔杭阿的尸体都没找到。
向荣反应过来时，匆匆赶过来支援，没想到迟了一步，镇江周围的清军营垒先后被攻破。向荣又被秦日纲打了回去，前有秦日纲，后有石达开，向荣这次估计是凶多吉少了。
这时，杨秀清又从天京城里调出精兵，三路大军合围向荣，终于攻破孝陵卫大营。向荣毕竟是一个老将，败也败得比较从容，沿途还不停地阻挡，最终被秦日纲击退。向荣到了丹阳后，终于安静下来，一安静下来，悲从中来，心想我勇猛了这么一辈子，最后像狗一样被人追着打，没脸再活了。一个大男人，没有用刀给脖子来一刀，反而像女人一样拿着白绫上吊，说明在最后的日子里向荣的心情是抑郁的、悲哀的。
听说他自杀，咸丰也很悲哀，给他上谥号“忠武”，对外说他是病死的。
本来太平军形势一片大好，也就是在这个时候，天京城内正酝酿着血雨腥风。