1860年5月2日，太平军前锋约两万骑兵突破清军防线，对江南大营的中心阵地发起突袭并获胜。天京城内守军也按照预先约定的信号由各门杀出，与城外援军胜利会师。
清军的左右两翼跟被袭的中心阵地较远，加上天色朦胧，雨雾弥漫，无法辨识太平军的行动。听到城内守军冲出，他们便自恃人多势众，以为可以一举击溃软弱疲惫的守军，从而趁机杀入城内。
见清军向城内守军发起攻击，太平军骑兵除分出一队协助城内守军外，主力重新冲回敌中心阵地，再次横扫正在混乱中整队的清军。扫完之后，骑兵分成两路，猛攻清军左右两翼。
左右两翼的清军未想到对方骑兵从旁边杀出，想退回原阵地已来不及了，顿时阵形大乱，纷纷仓皇败逃。
太平军开始发起全面反攻。5月3日，陈玉成部突破清军在西南所筑的长壕。城内守军向清军营内抛掷火罐，火罐正好落入火药库，当即引起剧烈爆炸，又进一步加剧了清军的混乱状态。不到半天工夫，从得胜门至江边的五十余座清军营垒就全部被攻陷了。
两天后，李秀成部击破清军孝陵卫大营，摧毁了东南面的清军防线，清军被紧紧压缩于仅存的大小水关大营。
5月6日，天寒刺骨，雷雨交加，清军大营内一片愁云惨雾。一些兵勇认定必败无疑，便吵闹着到王浚帐下向他索要军饷，要不到钱就干脆拦路抢劫，和春见状竟不敢过问，更不用说责罚了。
这帮人真是怎么挨揍都活该。当晚太平军便攻入了大营，各营火起，王浚部先跑，和春部继之，张国梁见状也只得殿后奔逃。
此战过后，天京城外遍布清军所遗弃的军械、旗帜、火药、粮秣，清军遗尸将他们自己所挖掘的壕沟都填满了，可谓是败得十分彻底。当然更重要的是江南大营垮了！
江南大营始建于1853年，也即咸丰三年，其间经历重建，至再度被攻破，已历八年之久，耗费的人力、物力和财力难以计数，然而转眼之间便灰飞烟灭。张国梁不由得顿足长叹：“八年心力，不料败于李秀成之手！”
天京之围既解，文臣武将一齐入朝庆贺，同时商议下一步进取目标。朝议时，众人意见不一，英王陈玉成自然主张全力援救安庆，李世贤建议尽快拿下闽浙，而干王洪仁玕则认为应该首先经略长江下游。
长江下游素为富庶区域，但在天京事变前并未被太平天国定为战略控制的目标，太平军发动过西征、北伐，却从未有过东征。这倒不完全是顾忌江南大营的存在，事实上，只要从西征、北伐所用兵力中调一部分过去，是不难完成目标的。
更大的原因是由于要彻底扫荡下游，就不可能不触碰上海。上海既是五口通商所允许的条约港，又是各国使节的驻节地，在太平天国定都南京后，英法美公使都曾先后前往南京进行试探，并声明将在清帝国和太平天国之间保持中立。
列强与清帝国有着正式的外交、条约关系，并派驻有外交官，它们说要保持中立，本身就带有倾向性，这对太平天国是很有利的，加上当时天国的给养也很充足，因此以杨秀清为代表的决策层就选择了把长江下游置于次要的战略位置之上。
时过境迁，环境和条件都发生了很大变化。如今湘军围住安庆，从上游威胁着太平天国，天京的交通和物资供应仍然时时面临着被切断的危险，但要是能率先控制长江下游，并将之作为保护性后方基地，起码暂时不用为缺乏财力物力发愁了。洪仁玕走南闯北，去过香港，看过洋文，其文化水平、见识比一般人要广博得多，而且他自入京执政以来，日日处理要务，军政知识也增加了不少，自然不会看不到这一点。
再往大了说，太平天国的西征也好，北伐也罢，最终都是想要统一全国。比如，往西面打，至少要打到川陕，才能把这一面全都解决了。以此类推，北面要一直打到长城，南面要一直打到云贵两广，可是川陕、长城、云贵两广距天京都有五六千里之遥。这么一比较，唯有东面的沪苏杭距离最近，不及千里，一打便能打到底。
洪仁玕认为，以太平天国和太平军的现有条件而言，乘胜攻取长江下游最容易获得成功。他进一步设想，一旦控制住包括上海在内的下游地区，仅仅从上海库房中就可以拿到一百万两库银。用这一百万两银子，足以买到一支有二十艘现代轮船的舰队，这支舰队可载运太平军沿江作战，届时不仅能够成功解除清军水师对天京的水上封锁，还有望重开西战场，夺回被清军占领的沿江重镇，从而使得“长江两岸俱为我有”。
进攻上海会不会遭到列强的抗议和干涉？洪仁玕的态度相当乐观，他相信洋人终究会接受现实。理由是当初英法美公使来天京试探时，天国早已公开申明，除鸦片、酒精、烟叶外，准许与各国通商，各国也声明保持中立，在太平军与清军相争的过程中两不相帮。既然如此，若是太平军将清军逐出上海，洋人为什么要反对呢？不但不会反对，没准大加欢迎还说不定呢！
李秀成与洪仁玕的私下关系并不好，但犹如陈玉成始终将安徽作为根据地一样，他向来更重视江南，所以立即对洪仁玕的提议表示赞成。
天王洪秀全在听取众臣意见后，决定采纳洪仁玕的方案，并命李秀成具体负责实施。