曾国藩的观察和判断都没错，湘军胜利在望。不过正所谓瘦死的骆驼比马大，天国仍拥有一定的实力，而湘军要想扳倒它，也还需要经过一个时期。
据湘军方面统计，曾国荃军在天京会战中伤亡了五千人，如果算上病死者，折损情况就更为严重。在添加援兵后，虽然总兵力增至三万余人，但由于要不断分兵北援，力量就又不够用了，不得不在天京城下停止进攻。
笼罩于重重危机之下，太平天国把所有的解围希望都放在了“进北攻南”之上。1863年2月底至3月中旬，李秀成陆续抽调精兵，由其亲自率领渡江北上。如此一来，太平军同样无法在天京城下进行反攻，这种双方都无力进行大战的状态由此保持了约半年之久。
李秀成军在经过含山、和州、巢县后，先攻下江浦，进而又对有“无为北大门”之称的石涧埠展开围攻。石涧守军以逸待劳，坚守不出，太平军连续攻击数日都无法得手。那几天大雨瓢泼，曾经困扰湘军的疫情也在太平军军营中传播开来，很多官兵一病不起，与此同时，曾国藩调鲍超等部北上增援。眼看形势不妙，李秀成只得从江浦撤军，并将攻击目标转向无为、庐江，但这些城池的防守也很严密，太平军一无所获。
1863年5月10日，李秀成率部围攻六安。他原计划在六安与张乐行和陈得才会合，到了六安才知道，张乐行已经被捕，陈得才则西入陕南，无法与之取得联系。此时鲍超等赶来增援的湘军各部已抵达庐江、无为一带，六安一带又粮食紧缺，在自身所携军粮告急，且前进无望，久留不能的情况下，李秀成只得停止西进，全军东返。
北上时浩浩荡荡，东返时却两手空空，李秀成实在不甘心。“进北攻南”方案的最初灵感来自李世贤之计，他便打算按照此计，在东返过程中，“倒击扬州、六合，然后袭通、泰（南通、泰州）以连苏、杭（苏州、杭州）”。
从扬州到南通、泰州，乃俗称的里下河地区，该地区盛产海盐，漕运发达。李秀成预计，在占领里下河之后，一者有条件征集粮饷，二者慑于太平军的声势，镇江清军将不击自退。镇江既下，就可以通过天京郊外的燕子矶，将外界粮饷源源不断地运入天京城内，而只要粮饷有保障，曾国荃便不足为虑。
5月19日，李秀成下令撤六安之围，准备先往寿州、天长补充军粮，然后再进围六合、扬州。孰料寿州原为皖北割据势力苗沛霖的地盘，苗沛霖多年在此强征谷粮，胡作非为，导致这一带人烟稀疏，一片荒凉。当李秀成军到达寿州时，军粮已经所剩无几，官兵们只能以草根充饥，因此饿死了许多人。之后他们花费了将近半个月时间，才得以通过寿州，到达天长。
太平军进兵皖北，一度分散了曾国荃的兵力。发现李秀成即将挥师东下，进军里下河，曾国荃也决定采用围魏救赵之计，在天京城下发起新的进攻，以迫使李秀成放弃东向，回救天京。
自古守城必守山，攻城必攻山。天京城外的雨花台地势高，且紧邻城墙，太平军在其上修筑石垒，作为对天京城进行协防的一大要塞。江南大营曾围攻雨花台要塞多年，但都没能打下来。这次曾国荃授命李臣典，对要塞采取了乘夜偷袭的方式。
自天京会战结束后，攻守双方已休战数月，要塞守军明显懈怠下来。直到李臣典率部在三更天时架梯登垒，惊醒过来的守军才急忙对外开炮轰击，然而已经来不及了，李臣典一马当先地攀上城头，拔下太平军军旗，紧随其后的兵勇将火箭射入石垒，彻底打乱了守军的阵脚。
天亮时，雨花台要塞被湘军完全攻克。曾国藩在奏报中为了给弟弟请功，极力渲染战况之激烈，不过据他的幕僚赵烈文透露，实际上整个战斗过程并没有那么惊心动魄，湘军仅死伤了几个人，这一方面归功于偷袭战术的实施，另一方面也得说，太平军的战斗力和作战意志确实早已今不如昔。
除雨花台外，湘军还攻克了聚宝门（即今中华门）外的九座石垒。消息传到江北，李秀成自然无心再进攻里下河，匆匆率军南下以回救天京，成了他的唯一选择。
李军南下时正逢长江水涨，道路被洪水冲毁，无法行走，滞缓了其前进速度。等全军到达江岸，鲍超等部已攻下江浦，他们在长江北岸的后路被截断了。太平军人心慌乱，都希望自己能早一点登船，由于船少兵多，过于拥挤，许多前面的人都被后面的人挤落江中，让江水给卷走了……
造成李军损失惨重的另一个因素，是杨岳斌部湘军水师的攻击。这时天京附近的江面几乎完全掌握在湘军水师之手，太平军只能通过九洑洲要塞炮台等几座江边炮台，对江面进行有限的控制。在李军渡江的过程中，湘军炮船不断朝岸边等待登船及其正在抢渡的太平军施以轰击。英国人呤俐其时正在九洑洲炮台协助李军渡江，他目睹“炮弹不断在这些骨瘦如柴的人们中间隆隆爆炸”“炸死了一排排的人”，感到痛苦莫名，可是又爱莫能助，无能为力。
李军花了整整二十天才完成南渡，就这样，老弱病残人员及其不肯上船的马匹也都被抛于北岸，等于大部分损失掉了。南渡前，李军尚有可作战士兵五万人，最终回到天京城的只有一万五千人。“进北攻南”战略彻底失败，天京不但没能解围，还因雨花台要塞的陷落以及前后数万精兵的损失，陷入更大的困境之中。面对此情此景，连李秀成本人都意识到，天国确实已经岌岌可危。