集贤关外有一座赤冈岭（据考证实际应为雉冈岭，但因湘军奏报中都写为赤冈岭，故得以沿用）。陈玉成在赤冈岭筑成了四座坚垒，他前往桐城后，赤冈岭由所部主力刘玱琳等率四千人据守，与关内十三垒互为掎角。
陈玉成前脚刚走，鲍超、成大吉及水师杨岳斌部即对赤冈岭发起攻击。这三支人马加起来超过万人，为太平军的三倍，鲍超的霆军更是湘军第一劲旅，可是结果不但没能攻下赤冈岭，还承受了极大损失，伤亡者竟至三千余人之多，为湘军建军以来所未见。
被打得这么惨其实也不冤，除了攻守态势不同外，还因为他们遭遇到的是当时太平军中首屈一指的精锐武装，按曾国藩的说法是“最悍之党”“第一悍党”。
陈玉成把他的基干力量都留在了赤冈岭，四千士兵个个都是参军多年的老兵，贾仁富、李四福、朱孔堂等诸将也都是自金田从军的老将，可以说兵是强兵，将是强将。统领留守部队的刘玱琳既是参加金田起义的元老，也是陈玉成麾下最为骁勇善战的将领，此人顽强敢拼，能打硬仗，每每在大战中充任先锋。作为对手，曾国藩对刘玱琳极为赞赏，私下甚至避开将太平军官兵称为“贼”的习惯，称其为“玱林先生”或“玱翁”。
刘玱琳部坚守四垒，血战到底，杀得湘军尸横遍野，赤冈岭之战也由此成为安庆战役中太平军打得最顽强的一次小战役。这一战役令湘军内部大受震动，其中最为失望的人莫过于曾国藩，他原以为派鲍超北渡即可解决问题，可没想到鲍超上去了，攻击兵力在数量上也前所未有地占有极大优势，最后竟然打成这个样子。
失望沮丧之余，曾国藩连一直坚守的心理防线都守不住了。他敦劝曾国荃考虑“退兵驰围”（即撤安庆之围），说：“若不弛围，而全军又没有后顾之忧，此为上策……若不弛围，但全军又不能免除后顾之忧，则不如弛围，尚可偷安旦夕。”
曾国藩突然退缩，当然有为胞弟安全着想的因素，然而曾国荃对此却并不领情。他不但不撤围，还把“长围久困”扩大开来，再掘长壕，用以围困关内十三垒。
以胡林翼为首的其他将帅也反对撤围，胡林翼在给李续宜的信中透露：“涤帅（曾国藩）欲撤安庆之围……沅浦（曾国荃）不应，厚庵（杨岳斌）恐亦不应。……今湖北江西已吃大亏，忽又撤围，实在是太不值得了。”
曾胡在指挥作战时虽不时产生意见分歧，然而这并不影响他们之间的团结无间，尤其是两人各有所长，常能发现对方所没有注意到的地方。这回胡林翼就显得比曾国藩要高明，他认为，赤冈岭挫败后应及时改变战术，“断不可太急，急则狗贼（此处泛指陈玉成所部）必遁矣”，应该如同曾国荃压制关内十三垒那样，也用以静制动的战法来对付关外四垒。
胡林翼向鲍超等前敌将领下达明确指示：“官军应四面包裹，不放此狗外窜，只凭垒固守，持重不战，贼必自来求战。待其精疲力竭后可方起而破之，狗可屠也。”
遵照胡林翼的指示，鲍超等人不再对赤冈岭实施强攻，而是予以四面围困，同时还围绕关外四垒修筑了数十座炮台，连日对炮台进行轰击。