临汾战役原定于3月10日打响。3月4日，临汾阎锡山部的66师2000余人出扰汾河西之襄陵、汾城地区。3月5日，我13纵队奉命西渡汾河作战，6日进占襄陵县城。就在这时，我“前指”从破译的敌电报中得知，胡宗南部在陕西宜川被我西北野战军歼灭5个整旅，3万多人。
为了挽救自己在西北战场的失败，胡宗南不顾临汾之危，急忙将其第30旅空运西安，增兵洛川。为了配合西北战场作战，拖住敌人，断绝空运之敌逃路，徐总决定提前3天，即于3月7日发起临汾外围作战。遂令第8纵队7日晨夺取尧庙宫机场，而后由城南攻城；第13纵队西渡汾河，奔袭出扰襄陵之敌，而后移至城东夺取东关；吕梁部队控制河西之敌，太岳部队于城北。以向心合围态势，首先扫清外围，拔除护城据点，攻克东关，力争将敌主力消灭于外围，而后进攻主城。若晋中敌人南援，即先歼援敌，而后攻城，如果敌人不来增援，则一举攻克临汾。
受领任务后，我8纵24旅经一昼夜急行军，7日晨抵尧庙宫机场，该旅72团当即以迫击炮袭击飞机场，9发炮弹击毁敌机2架，其余8架仓皇飞逃。等待空运之敌第30旅亦逃回城内，除30旅旅长尹瀛洲和4个连兵力在此之前被运走外，该旅大部分兵力被拖在临汾。与此同时，我8纵、13纵及太岳军区部队，从城南、城东、城北三面合围临汾。
我8纵主力在城南攻占了柴村、张关、乔家庄、尧庙宫、菜市村等外围据点后，又打垮了敌人的多次反冲击，巩固了占领的阵地。太岳军区部队在城北和城东攻占了高河店、南北焦堡、南北孝村等据点。13纵歼灭汾河西之敌后，于9日冒雨返回，接管临汾城东之防地，开始了拔除外围据点的作战。至16日扫清了敌外围警戒，逼近城垣。在外围战斗中共歼敌1500余人，破坏了胡宗南的空运计划，取得了初战的胜利。
眼看外围据点失守后，梁培璜急忙调兵遣将，集中主要兵力死守城垣周围的护城据点和东关。而我军则从实地侦察和俘虏口中得到情报，守敌之主城以北地势略高，城墙较薄，兵力也较弱，对我军既利于登城作战，又便于兵力、兵器的展开。于是“前指”于3月10日调整作战部署，决定由城东和城北两面实施主要攻击，城南为助攻方向。遂以13纵从城东攻击东关和电灯公司，8纵（欠第22旅）攻击城北兴隆殿（8号）护城据点，以太岳军区4个团攻击北门以东敌护城据点，22旅和太岳军区2个团在城南助攻，吕梁军区部队在河西准备打援或堵歼逃敌。
18日至22日，我13纵38旅为爆破东关城墙挖了三道坑道，但均被敌破坏。23日，我军全线发起攻击，但由于破关坑道被毁，不得已用炮火开辟突破口，然而，在我军在炮数量少、口径小的情况下直到天黑，才打开一个宽约20米，坡度很陡的缺口，外壕内沿又未彻底破坏，当2个突击团冲至城下时，突遭敌火力拦阻，难以登城，不得不撤下来。
3月26日，38旅二次打东关，三条坑道两条又遭敌破坏，一条虽挖到东关城下，但攻击开始前，运送炸药的暗道被敌炮弹炸塌，延误了装药时间，直至27日4时，才装药完毕，爆破时，又因药室装填不紧，未能发挥应有威力，只把城墙炸开一条裂缝，突击队只好在炮火支援下，从原先炮兵轰开的缺口强行登城。
但是由于步炮协同不力，当先头排登上城头时，却意外地遭我支援炮火的杀伤，反而增加了登城部队和后续部队的顾虑，致使守敌趁我军犹豫之际，向我军猛烈反扑，我军伤亡很大，未能巩固突破口，二次攻城又告失利。
在攻打电灯公司之39旅方面，经过4天的苦战，和守敌、反扑之敌反复争夺拼杀，把敌第189团和补训第2团1个营消耗殆尽，又经2天坑道作业，30日爆破成功，一举攻占了敌核心阵地，全部占领电灯公司这个坚固据点。
然而，在城北，我8纵23旅和24旅分别攻打兴隆殿和北门附近之6号据点，都因轻敌，三次攻击失团三次攻打五号护城据点，都均遭失利。利，伤亡很大。最后虽攻占了兴隆殿，但因受敌城上火力压制，不能立足，又被迫撤出。太岳军区第41团23日晚攻占了城东北角之4号护城据点，并打退敌多次反扑，26日又失而复得，以后敌每天组织数次反扑，均被击退。而太岳军区第47在近10天的作战中，我攻城部队打得英勇顽强，得到了很大锻炼，但也暴露出不少问题，为了总结经验，以利再战，3月31日，“前指”召开团以上干部会进行研究，号召各部队认真总结经验教训，开动脑筋，多想办法，普遍开展战场总结和战场练兵。徐总强调指出，要继续解决步炮协同，战斗队形，小群动作，火力、爆破、突击相结合，坑道作业等战术技术问题。
4月1日，在重新调整作战部署后，我军集中兵力重点攻打东关，以8纵队23旅和13纵37旅这两个战斗力较强，有攻坚经验的老部队作为攻打东关的主力，并集中了全部炮兵进行支援。经过激烈的争夺，我攻坚部队终于控制了外壕，掩护了坑道作业。至9日，23旅由电灯公司向东关城墙下挖成4条爆破坑道，37旅也挖成两条，随即连夜装药，并按预定计划在10日16时开始总攻东关。
先经过2小时火力准备，23旅的3条坑道（1条备用未装药）同时爆破成功，炸开2个大缺口，突击队趁烟雾迅速登城，突入东关，迅猛向纵深发展。37旅则因坑道爆破未成，一部由23旅缺口突入关内，一部由先前38旅所开的缺口强行登城，经过激战，直捣阎军66师师部，11日凌晨结束战斗。除师长徐其昌和少数残敌逃入城内，大部敌人被歼，东关被我军占领。