太平军攻占南京后，立即派出丞相林凤祥、李开芳等部向东夺取了镇江、扬州，切断了清王朝的经济命脉运河漕运。这支太平军以扬州为基地，准备北进中原。
然而天京城中的太平天国高级首脑们，却展开了一场向何处去的争论。
早在永安突围，围攻长沙之际，具有相当军事头脑的罗大纲就提出了两套计划。第一策建议直接向北京进军。以洪秀全亲率大军北上进驻河南，然后再遣有力之一部渡黄河北伐，问鼎京城。若嫌第一策过于激进，还可采取相对稳当的第二策：先平定南方九省，待后顾无忧后，分三路出师。一路出湘、楚，逐鹿皖、豫；一路出汉中，直趋咸阳，略取西北；第三路出徐、扬，席卷山东之地。待咸阳已定，自西北遣军出山西，与山东之军会猎燕京，大事可成。这一计划与元末刘福通和朱元璋的北伐计划大体相似，可见英雄所见略同。
然而攻占天京城后，洪、杨诸人贪恋天京城的富庶繁华，已不愿再亲率大军北上争天下，一时颇显犹豫。而太平军中大多数人的呼声，也只是割据江南，偏安天下。据李秀成回忆，当时有驾杨秀清座船的一名湖南老水手，到处宣言，反对进军河南，称：“河南河水小而无粮，敌困不能救解。尔今得江南，有长江之险，又有舟只万千，又何必往河南。南京乃帝王之家，城高池深，民富足余，尚不立都，尔而往河南，何也？”他又说：“河南虽系中州之地，只称稳险，其实不及江南，请东王思之。”在这些虽占多数，但并不高明的意见干扰下，洪、杨等人遂决定定都天京，但作为折中方案，同时也派出一支部队北伐。
原本计划以杨秀清为北伐军主帅，但他患眼疾不能出征，拟改由罗大纲代行，但罗大纲鉴于仅是偏师出征，兵力薄弱，后援难继，也拒绝了。最后，太平天国只得派出天官副丞相林凤祥、地官正丞相李开芳率两万偏师北伐。
这是太平天国最致命的战略性失策。
罗大纲计不得用，扼腕不已，偷偷对身边人道：“天下未定，而欲安居此都，其能久乎？吾属无类矣！”前途未定就忙着安居乐业，目光短浅至此，我们这帮人都得完蛋了！
一八五三年五月，林、李率军出师。北伐军入安徽，取凤阳，随即攻入河南，占领重镇归德。北伐军本准备自归德府城西北四十余里的刘家口渡过黄河，就近取道山东进攻北京，但因清军阻挠，没有找到渡船，只得绕道至河南巩县附近的汜水口偷渡黄河。
七月，北伐军攻怀庆府不克，转入山西，但遭清军阻击，只得又折回河南，从武安突入直隶，九月，前锋已逼近保定。清王朝大为震惊，动员了僧格林沁和胜保所部兵力，还自南战场抽调兵力北援，为阻击和消灭这支英勇善战的军队，清朝前后共动员了二十五万兵力。北伐军北进受阻，遂向东穿越河北平原，一八五三年九月下旬，由于在攻打河北沧州时遭到清军顽强抵抗，北伐军伤亡近四千人，他们则以屠杀满、汉、回男女万余人作为报复。
十月下旬，北伐军进抵天津郊区的静海，北京城中王公大臣“皆涕泣丧胆，眼眶肿若樱桃”，各自准备作鸟兽散了，连正阳门大市也如同荒郊。但这支以广西老兵为主力的勇敢的部队，一路转战数千里，也到了强弩之末。因天气寒冷，缺乏给养，而且寡不敌众，他们在此战败，被迫退往阜平据守待援。然而他们望眼欲穿，援军却迟迟不到——胡以晃干脆就抗命不援。曾立昌等四将虽勉强带了七千人马进抵临清，但又因为意见不和闹起矛盾来。沿途扩充的盐枭、溃勇等新兵则挟制老兄弟屯兵不进，破城后不服从指挥，大肆抢劫后逃散。这支军队随后遭到清军反击，曾立昌战败身亡。太平天国再派秦日纲赴援，秦日纲半道上折回，称北道上官军甚多，“兵单难往”。林凤祥、李开芳见援军无望，只得分头突围，至河北连镇，山东冯官屯两地后都被包围。
熬到咸丰五年春，北伐军在清军重兵围攻之下，终于全军覆没于连镇、冯官屯两地，给这次功亏一篑的北伐画上了悲壮的句号。
北伐军中有个湖南湘潭人彭某，奉主帅命冒死突围前往天京求援。可当他日夜兼程赶到天京时，发现这里已是一片靡靡升平，压根没人理睬他和在北道上苦斗的兄弟们。他求援不得，只得怀着满腔悲愤，含泪返回军中复命。可等他回到阵地时，战场上硝烟已尽……这个勇敢的老兵，就这样带着一身的风霜和失望，回到了湘潭老家。几十年眨眼就过去了，当彭老太爷摸着侄孙儿德华的小脑袋，给他讲这些英雄故事的时候，恐怕还是忍不住要仰天叹息吧？这场夭亡的革命，不但影响了那个时代，更在不动声色地影响着未来。
彭大将军横刀立马的英雄形象背后，隐隐有前人的眼泪与碧血。
在北伐的同时，太平天国又发动了西征。以豫王胡以晃等出安徽，再克安庆；以丞相赖汉英、石祥贞攻九江、湖口，进围南昌。太平军的老对手江忠源此时已升任湖北按察使，正拟率军前往助攻天京，途中听说南昌危急，急往赴援，双方僵持不下。七月，湘军罗泽南部抵达南昌，太平军乃撤围。清朝破格提拔江忠源为安徽巡抚，命他自南昌驰援庐州。太平军胡以晃部十万众包围庐州，双方苦战月余，庐州被攻破，江忠源在战斗中受重伤，投水自尽。
太平军乘胜沿江攻入湖南，再克岳州，攻抵湘阴，在这里碰上了曾国藩。曾国藩于一八五二年底以在籍侍郎的身份开始督办团练，以同乡、师生、亲友等关系组织军中骨干，建立起一支新式军队“湘军”。
此战中，曾国藩率军在靖港阻击太平军，战败，准备投水自尽，被幕僚捞起，生了好几天闷气。好在老曾有屡败屡战的勇气，不久湘军水师杨载福、彭玉麟在湘潭附近连战皆胜，焚毁太平军船只六七百艘，陆军塔齐布也攻克湘潭城，太平军损失万余人。这是湘军与太平军作战中取得的第一次大胜。
湘军乘胜进军，相继攻克岳阳、武昌、汉口，并反攻江西，气焰相当嚣张，不过好景不长，因为他们遇上了石达开。
一八五四年底，鉴于战事不利，太平天国以翼王石达开亲统大军西进增援，在湖口、九江大败湘军。曾国藩这次败得厉害，连座舰都丢掉了，自觉羞愧难当，又一次企图投水自尽，还是未遂。
湖口、九江之战后，太平军第三次攻占武昌。西征军占领了安徽、江西、和湖北大片地区，并控制住了武昌、九江、安庆三大上游重镇，取得了有利的战略势态。一八五六年上半年，天京太平军也主动出击，击破了围困天京已久的清军江北、江南两大营，这是太平天国在军事上的鼎盛期。