在太行山南部，以陵川、林县为中心的地区，曾是国民党军第24集团军的防区。1943年4月下旬，国民党军第24集团军在日军华北方面军第1、第12军各一部大举进攻下，新5军军长孙殿英和集团军总司令庞炳勋先后率一部分部队投敌，与伪军杜淑部合编为伪暂编第24集团军，部署于新乡至安阳间平汉铁路上各要点及两侧地区。
八路军总部和第129师一直密切关注着太（行山）南形势的急剧变化。
4月25日，第129师曾发出指示，部署、组织南援游击支队与随军地方工作团南下，寻找机会展开群众工作，打击日军。此后，其又派出一个主力团南下豫北地区，一个主力团南下陵川地区。
7月10日，盘踞在平汉路以东的伪军暂编第27军杜淑部及浚县、滑县地区的伪独立第1、2旅计8000余人，向八路军冀鲁豫军区卫（河）南地区大举进犯。与此同时，盘踞在平汉路以西的伪军第5军、第7军和太行保安队等部，也在其前敌总指挥刘月亭的率领下，分别从辉县、临淇、水冶出发，进犯并侵占了林县县城及周围地区。
对此，第129师决定主动出击，在林县以南发起反攻，挫灭伪第24集团军的嚣张气焰。
麻田八路军总部。自左权牺牲后，八路军总部参谋长与副参谋长的职位重新调整，参谋长的职务已由滕代远担任。
这一天，滕代远接到了第129师的报告：一切准备完毕，即将发起林（县）南战役。
接到这个报告后，滕代远连忙找彭德怀商议。
彭德怀看了一遍第129师的作战计划，说道：
“我看行，庞炳勋、杜淑、刘月亭这几个人，我们已盯他们很久了。现在我们的主力比较集中，困难时期基本上过去了，战士们士气也很高，该主动打几仗，壮壮我们的军威了。”
滕代远表示同意，补充说：“我们这一仗，争取大胜。重在初战嘛！第一次主动反攻，要给其他地区的部队开个好头，做个榜样出来。所以打起来，还是慎重一些。”
彭德怀点了点头，说：“现在庞炳勋有了日军支持，所以他才敢这么猖狂。咱们可以两处出击，在林县发起进攻时，让冀鲁豫军区在卫河以南也发起进攻，让敌人无法兼顾。”
“这样好。我去起草个作战命令，争取尽快发出去。”滕代远说。
接到八路军总部的指示后，刘伯承和邓小平很快召开了林南战役的部署大会。
刘伯承开门见山：“这次我们要以太行军区、冀南军区主力各一部，晋察冀军区之警备旅及地方武装部队共计15个团，另有抗大第6分校等部队，共同展开这次重要作战。”
“林南是我们的进攻重点，同时，冀鲁豫军区在卫河以南也要展开卫南战役，以配合我们进攻林南的作战。”邓小平补充道。
“师里已决定”，刘伯承接过来说，由师参谋长李达担任林南战役的前线总指挥。要以优势兵力，首先分割包围、各个歼灭林县县城刘月亭的前敌指挥部及其周围的桑园、南北陵阳、东西夏城、曲山等地之伪军和伪第5军主力牛瑞亭第4师师部及其10团，以震撼其全局。然后，相机向林县县城以南地区发展，扩大战果，消灭东姚、合涧、临淇和平罗等地之伪军。对日军据点，则以少数兵力围困，切断其与伪军之间的联系。对可能出援的日军，要以阻击、侧击的手段予以抑制、迟滞，在有利条件下则消灭之。为此，参战部队分为东、西两个兵团。西兵团以2团、3团、20团、32团、警备32团和769团，另附属两个工兵排组成，由太行军区第3军分区司令员黄新友、政治委员何柱成指挥。其任务是：以林县县城及城西北之桑园、城东北之大小菜园等地为第一步攻击目标，以神速动作消灭上述地区之伪军；对南关槐树池据点之日军，以少数兵力围困，切断其与伪军的联系，如果该敌出援，则予以打击，并相机消灭之。第一步任务完成后，迅速向南扩大战果。
东兵团，以1团、10团、13团、34团、警备2团和711团，另附1个工兵排组成，由抗大第6分校校长徐深吉为司令员，太行军区第7军分区司令员皮定均为副司令员。其任务是：以南北陵阳、蒋里、东西夏城和曲山等地为第一步攻击目标，迅速消灭上述之敌。以警备2团监视姚村、何家之伪独立旅，并以13团一部伸到林县至安阳间公路上的横水附近，阻击可能由水冶、安阳来援的日、伪军，保障在林县县城及其周围作战部队的安全，该团主力攻击歼灭林县城东蒋里之伪军。东兵团在完成上述任务后，主力迅速向林县以南之东姚、合涧方向推进，扩大战果。然后，以一部向北消灭姚村、何家伪军杨振兰独立旅。
刘伯承一边在地图上指点，一边接着说：“另外，太行军区第5军分区参谋长李景良和平汉义勇军参谋长李少清指挥一部分兵力，向水冶、观台一线活动，阻击可能由安阳出援之敌；抗大第6分校第1、4大队组成林南游击支队，在东姚、临淇、原康地区，袭扰敌人；太行军区第4、5军分区部队和冀鲁豫军区、太岳军区的部队，同时向平汉线、白晋线的日伪军，尤其是平汉线上的伪军第24集团军所属部队进行有力进攻，以配合林南战役。”
命令下达后，各部队纷纷行动。
冀鲁豫军区司令员杨得志，将展开卫南战役、配合林南作战的任务交给了第4军分区。军分区司令员赵承金、政治委员张国华随即部署任务。决定以所辖16团、21团、新编第4路、卫河支队、骑兵团一部及滑县、卫南两个县大队，大约4000人的兵力，采取集中优势兵力各个歼灭的办法，一口一口地吃掉敌人。