3月21日晚，野战军电台截获并破译了胡宗南发给31旅的电报。彭德怀为抓住战机，不顾已是三更半夜，和习仲勋、张文舟、徐立清到作战值班室查看地图，分析研究敌情。在判明敌军动向后，彭德怀决心采取伏击战术，歼灭侧翼之敌31旅，打好撤离延安后的第一仗。
3月22日上午，彭德怀和习仲勋接连向中央军委报告：胡宗南21日令31旅经川口渡延水，进至青化砭筑工据守，限24日到达。“我军拟以伏击或乘其立足未稳彻底歼灭该敌”。同时令野战兵团各纵、旅于22日晚和23日拂晓前，按指定地点隐蔽集结，看好地形，并封锁消息。
彭德怀把部队部署于青化砭附近蟠龙川东西两侧及以北地区。第1纵队在川之西山，第2纵队和教导旅在川之东山，北面新4旅在青化砭东北。布成了对沿咸榆公路北进的敌军张开口的口袋阵。待敌后尾通过房家桥后束紧袋口，截断敌之退路，进行两侧夹击。另以独1旅为预备队，并监视安塞、延安方向之敌。
为确保初战胜利，彭德怀和习仲勋、张文舟、徐立清及旅以上指挥员到青化砭四周察看地形，在现地分配战斗任务，具体部署了兵力。
青化砭位于延安东北50余里处，在一条40多里长南北走向的蟠龙川中。咸榆公路沿大川而上，穿过青化砭。公路两侧为连绵起伏的山地，便于隐蔽的部队出击，是打伏击的理想战场。观看地形后，指挥员们都佩服彭德怀的这个布阵。认为31旅只要钻进“口袋”，等待他们的只能是灭亡的命运。但这一带山地都是光秃秃的，不容易隐蔽好，彭德怀一再交代：“一定要注意隐蔽。敌人来了就不顾一切地杀下去！要突然，要猛，一鼓作气把敌人歼灭在这沟槽子的公路上。”边说边挥手做出围歼的姿势。
24日拂晓前，野战军各旅进入伏击阵地。当时陕北高原的山地尚未完全解冻，春寒料峭，冷气袭人。指战员们伏在冰冷的山岭上，紧握钢枪，严密注视着河川，随时准备出击。可是从天明等到下午5时未见敌军踪影。彭德怀命令各部于下午6时后撤出阵地休息。
指战员们埋伏一天而敌人没来，预定的歼敌计划未能实现。一下子议论纷纷，有些人担心离延安这么近，会不会走漏了消息；有的人沉不住气，怀疑情报的可靠性；有的战士还说：准来？哪有那么准，敌人听你指挥啦！
彭德怀了解了这些情绪，说：老根据地的群众是不会去向敌人告密的，情报也是不会错的。敌人是一定会来的。今天伏击不成不要紧，就当成咱们的一次演习。告诉大家要有耐心。他分析道：你们要掌握敌人的心理嘛！胡宗南虽然是个草包，但是他的主力由延安北上安塞之后，需要派兵保障其侧翼安全，这一点军事常识他还是有的，不然他怎么能捞一个陆军上将当呢？何况他有大炮、坦克，有汽车，又想捕捉我主力部队，这陕北唯一的一条公路，他能不走吗？所以说，他一定要来。
当晚，彭德怀和习仲勋向毛泽东和中央军委报告：敌31旅24日到达拐峁，停止前进，可能是待补粮食（按：事后得悉，31旅在川口宿营补给）。我们明日仍按原计划部署待伏31旅。同时电令各纵旅首长：“明日我军仍以伏击之势，按24日部署坚决执行伏击。必须耐心认真布置，勿因敌一二次不来而松懈战斗准备。”彭德怀再三强调：要严格做好伪装保密工作。
3月25日凌晨4点左右，寒星闪烁，群山灰蒙。西北野战兵团主力进入原地区设伏。上午6时许，胡军第31旅由川口、拐峁沿公路向青化砭前进，其空中侦察和地面的火力搜索，都没有发现野战兵团的伏击部队。于是大模大样朝前走，机枪、小炮裹着枪衣、炮衣，还捆在驮子上。10时左右，其先头部队进至青化砭附近，后卫过了房家桥，整个行军纵队完全进入彭德怀布下的伏击圈内。在信号枪发过后，西北野战兵团按预定部署，在石绵羊沟紧紧封住袋口，拦头断尾，东西两侧部队以排山倒海之势，猛烈夹击敌人。迅速将敌压至不到7公里长，只有二三百米宽的川沟里。敌军首尾不能相顾，兵力尚未展开就完全丧失指挥，顷刻间乱作一团。经过1个多小时的激战，31旅直属队及92团2900余人全部被歼灭，旅长李纪云被俘。整个战斗打得非常快速，干脆利索，子弹消耗少，缴获多，当时被新华社称为“模范战例之一”。
战斗结束后，彭德怀兴奋地说：“敌人气势汹汹，可是在眼前这小小的战场上，我们以绝对优势兵力压倒了它。在具体战斗中，就得杀鸡用牛刀！”
彭德怀高度赞扬边区群众的作用，说：“古人写信，信封上写‘如瓶’两个字。边区群众对敌人真是守口如瓶，不是自己人就不给你说真话。青化砭这一仗，要不是在陕北，是很难打的。”