常德会战结束后，七十四军一直驻扎于常德附近进行整训。1944年2月，军长王耀武升任第二十四集团军司令。
第二十四集团军是个已撤销过两次的老番号。最后一次撤销前，集团军司令为在台儿庄会战中声誉鹊起的庞炳勋。庞炳勋指挥的集团军主要在冀察敌后活动，因在与日伪军作战中失利，全军崩溃，庞炳勋自己也在山穷水尽的情况下投降了日军。于是军委会就撤销了这一番号。
现在的这个番号是重新恢复出来的。整个集团军下辖三个军，除第七十四军外，还有第一百军、第七十三军。
第二十四集团军可以说就是为王耀武所建。蒋介石对王耀武的信任也达到了前所未有的程度，王耀武被特许可以自行决定集团军内团级以上军官的人事升迁。
人事的复杂程度，向来不低于指挥打仗。王耀武一升上去，七十四军军长的位置便空了出来。副军长李天霞在抗战前就担任补充旅团长，无论资历还是战功，继任军长都是顺理成章的一件事。
可是当王耀武逐个征求师长们的意见时，五十八师师长张灵甫却在关键时候投了李天霞的反对票：“欢迎施军长回来领导第七十四军。”
无论个性还是作风，李天霞和张灵甫都差异很大。李天霞私生活方面以好赌贪色闻名，不打仗时经常在军中开舞会。张灵甫则比较耿直正派，对李天霞的这些做法很不满意，称之为“乌烟瘴气”。两人时常产生冲突，关系也不好。
王耀武经过慎重考虑，决定按张灵甫的想法办。3月4日，原第一百军军长施中诚出任第七十四军军长，原七十四军副军长李天霞调任第一百军军长。
老蒋的编制没有白给，期望也未落空。在王耀武的调理下，时间不长，第二十四集团军即做到了人事畅通，第一百军、第七十三军在整训上也都逐步趋向规范。其中，第七十三军参加过常德会战，但实战表现不佳，除一个师长战死外，重武器丢了个一干二净，基本失去作战能力，原军长亦因指挥不力而被免职。这时候也开始逐渐恢复元气，整个集团军都呈现出一副生气勃勃的劲旅模样。
自然，第二十四集团军的核心和基本部队仍是“虎部队”七十四军。三年前，在军委会决定成立攻击军时，七十四军还有与其不相上下的竞争对手，最后需要由蒋介石亲自裁定是否具备攻击军的资格和条件。三年后，至少在国内的正面抗日战场上，已经没有任何一支部队可以与七十四军比论高低，其良好的战术意识、敏捷的机动速度以及突出的战绩，使它毫无争议地被中国统帅部指定为战略总预备队。
1944年春，中国已在云南组建出滇西远征军，但美国政府认为集结的部队数量还不够，必须继续增调部队，并立即向怒江以西的日军发动进攻。
为了组织滇西远征军，中国的防御部队事实上已经不足，而需要防御的面积却很大，如果再调过多的部队去滇西，会有不小困难。
美国援华航空队的陈纳德也反对如此做法，他警告蒋介石：“日本地面部队的部署是珍珠湾（即珍珠港）以来最有威胁性的战略。日本正准备发动两个攻势，一个是席卷京汉铁路连接河南的纽带；另一个是占领长沙。”
陈纳德的警告并非空穴来风，而是有确切的情报支撑。日军的最新部署，实际上就是日军大本营曾要畑俊六加以研究的“打通大陆作战”，这时已正式定名为“一号作战”。“一号作战”预定总兵力达到51万，是整个侵华时期日军出动兵力最多的一次，过去的淞沪会战、徐州会战、武汉会战等均望尘莫及。在日本陆军史上，原先规模最大的战役是日俄战争时期的奉天会战，但若论兵员数量之多、作战区域之广、作战距离之远、预定的作战日期之长，还是无法与“一号作战”相提并论。
可是美国政府站在他们自己的战略立场和角度上，并不顾及共同抗日的东方盟国有多少实际难处。4月4日，在原提议被蒋介石拒绝后，美国总统罗斯福仍坚持原来的主张，他要求蒋介石立即下决心：“命令Y军（即滇西远征军）渡过怒江进击缅甸。”
到了1944年，美国政府对中国的态度，已不像太平洋战争初期那样包容。中国在抗战中不断战败的消息，以及有关重庆政府腐败无能且作战消极的传言，都使美国人认为，他们给予中国的军事援助有打水漂的可能，而且这个看上去力量甚微的东方盟国似乎也抱定了“一千年不赖，一万年不还”的态度，再不打算对军事援助给予回报了。4月10日，马歇尔决定实施要挟性措施，计划削减援华物资的空运数量，同时还准备取消给中国航空公司的贷款。正与蒋介石争夺在华指挥权的史迪威更厉害，他打算将4月份给滇西远征军七百吨的空运量，全部转给陈纳德的航空队使用。
早在太平洋战争爆发前，艰苦的生活和胜利的遥遥无期，已经使得中国军队在士气上普遍处于低落状态。太平洋战争爆发后，美国的参战才让官兵士气有所振作，大家都寄希望于美国，对美国的援助也形成了一定程度的依赖。所谓说得好，吃人的嘴软，拿人的手短，处于这种情况下，中国政府不得不对美国的要求做出让步，蒋介石在与参谋总长何应钦等人经过历时十天的认真研究后，于4月14日做出决定，同意调出两个集团军、十六个主力师去云南作战。
仅过四天，即4月18日，日军就在华北渡过黄河，揭开了“一号作战”（中方称为豫湘桂会战）的序幕。5月27日，横山勇指挥日军第十一军所属的八个师团总计三十六万两千人，沿湘江两岸对长沙、衡阳发起进攻。
薛岳用以迎战横山勇的战术与第三次长沙会战中无异，仍然是“后退决战”与“争取外线”相结合，他还给这一战术冠了一个很好听的名字，叫作“天炉战法”。
但是日军经过研究，其实早就已经能够有效地破解“天炉战法”。其核心的一条经验，就是改变过去惯用的孤军深入手段，在加厚兵力的基础上，将战斗力较强的骨干兵团部署在两翼进行掩护，以粉碎中国军队赖以侧击的据点。与此同时，正面除部署一线部队外，另外控制二线部队，以保持对大纵深的突击能力。
往前面看，浙赣会战可以被看成是“反天炉战法”的第一次有效使用，尔后到了常德会战，“天炉战法”已经明显力不从心，即便七十四军主力和第十军被保持在日军包围部队的侧面，亦难以通过侧击对日军形成反包围。
中国军方的智囊不是没有先见之明，赵子立等人在第三次长沙会战后就指出，“不能用一个死架子来打人”，否则难以取胜。
要想取胜，唯一的办法就是继续延长纵深度，同时集结足够的决战兵力。赵子立的设想是改在衡阳，而不是长沙与日军决战，在此期间，除使用第九战区的全力外，第三、第四、第六、第七战区的大部或有力一部也要调到衡阳与敌决战。
然而薛岳为第三次长沙会战的胜利所陶醉，仍决定照搬照套“天炉战法”。当然，即便他能采纳赵子立的建议，以各战区的现实状况，恐怕也难以集结出赵子立想要的那么多兵力——能调的大多调到云南去了，大家自顾不暇，守自己战区都够呛。
机动兵力没有那么多，不过军委会还是做了努力，尽可能从其他战区抽调部队进行增援。
此前史迪威曾多次指定要将第七十四军调至云南和缅北的密支那，并答应予以空投补给，但都被中方坚决地予以拒绝。也幸亏没有同意将第七十四军调走，否则在这节骨眼儿上，到哪里去找这样一支可靠的机动部队呢？
会战开始后，七十四军的主要任务就是在湘江北岸掩护第九战区侧翼，同时对南犯的日军第四十师团展开侧击。
6月5日拂晓，七十四军五十一师出动部分兵力，猛攻日军第四十师团一部所驻扎的酉港镇。战至下午五点，日军溃败，五十一师占据酉港，毙敌一百三十多人。此后几天，五十一师、五十八师多次与敌接战，双方均伤亡惨重，日军第四十师团的南进行动也因此受到了很大干扰。
以湘江划界，日军第十一军主力在湘江南岸，第四十师团是在北岸配合主力的唯一一个战略兵团。在南进过程中，他们必须时刻提防来自右翼常德方向的七十四军的进攻，这令该师团很伤脑筋。
想当初，常德会战结束时，畑俊六曾指示横山勇不要撤出常德，他所顾虑的正是这一问题，但横山勇不听劝，到了这时候也只好自作自受了。
6月9日，军委会电令王耀武，要他集中主力歼灭南犯之敌，同时争取以最少量的兵力防守宁乡等要地。宁乡是湘中、湘北通往长沙的要点，王耀武即派张灵甫五十八师前往宁乡，以拱卫长沙岳麓山的安全。
张灵甫率部以强行军的方式赶到宁乡，他将师主力控制于沩水河南岸，以一七三团团长何澜率部担任宁乡县城的防务。何澜所指挥的兵力除本团外，还有一七四团第一营以及师属的一个迫击炮连。
6月13日，日军第四十师团的两个联队向宁乡发起进攻。第九战区的防卫阵地被横山勇划分为三层，从外向内，分别是“厚皮地带”、“果肉地带”和“核心地带”。宁乡据于“果肉地带”名单中的第一位。
“果肉地带”是守军的主阵地地带。由于中国军队的防守兵力较多，阵地构筑、指挥体系、后勤供应等方面也都较完备，因此日军第十一军规定要以大兵团进行战略急袭和分割围歼。
保卫宁乡成为保卫长沙的前哨战。何澜首先指挥部队与日军在宁乡外围激战了一天。傍晚时分，日军出动三架飞机进行低空轰炸，结果因飞得过低，还被守军用枪打下了一架。
6月14日，宁乡被团团包围，一七三团连续击退了敌人三次猛攻，自身也伤亡过半。
日军两个主力联队用了足足两天，居然还不能攻破一座小小的县城，这让日军第四十师团吃惊不小。6月15日，他们改变部署，增派两千余人南渡沩水河，对五十八师的后方展开突袭。
五十八师的特点是攻守兼备，到了张灵甫执掌时期，尤其擅长于攻势防御。在正面顶住日军强攻的同时，张灵甫抽出一个营袭击日军侧翼，终将日军逼回了沩水岸边。
当天日军继续从四面向宁乡发起攻击。双方大打白刃战，阵地上响彻喊杀声和受伤者的呼叫声。守军再次遭遇较大伤亡，营长王炎城阵亡。
战至6月16日上午，日军突破南门城垣。经过逐屋争夺的激烈巷战，县城大部分已沦入敌手，守军被迫退守一七三团团部所在地福音堂，所部也仅剩两百多人。中午时分，何澜率数十名士兵从福音堂西南角开始突围，但由于三面被日军火力封锁，一面被沩水所阻，突围遭遇失败，何澜本人也身负重伤。
一七三团团附蔡亚锷因双腿中弹，正在福音堂地下室进行包扎，见此情形，他大声疾呼：“各位弟兄，我们突围逃生，等于白白去送死，不如坚守待援，才有希望存一条活路！”
本已乱成一团的官兵见团附站了出来，都表示愿意听从他的指挥。蔡亚锷清点了一下人数，除八十名伤员外，尚有可作战兵员一百四十人，他将这些战斗人员编成一个连，指定了连长，并再次进行动员：“把‘死’字顶在头上，成功把握在手里。与其生而辱，不如死而荣。”
蔡亚锷又把福音堂内所存有粮食、弹药、医药、饮水的所存量，也都一一公布于众，为的就是要告诉大家，只要死守，这里的东西绝对够撑到援兵到来。
宁乡坚守期间，张灵甫指挥五十八师主力，与集团军内的其他友军一起围攻日军第四十师团主力。第四十师团招架不过来，只能把攻击宁乡的兵力抽调一部分出来，而宁乡守军在已无退路的情况下，防守起来也更为顽强，因此之故，日军始终未能突进仅一百多人据守的福音堂。
蔡亚锷所部坚持至6月19日，第一百军的主力第十九师攻至宁乡城外，日军被迫从宁乡撤退。
就在五十八师与十九师会师宁乡的前一天，长沙失守。固守宁乡失去了意义，同时集团军还面临着日军骤然回攻的巨大压力。6月19日晚上，王耀武下令放弃宁乡，集团军向湘乡方向转移。
在宁乡保卫战中，五十八师以四营兵力守城，与优势敌军激战六个昼夜，军官伤亡五十余人，士兵死伤两千余人，是长衡会战前期较为突出的一个战例。论功行赏，临危不惧、沉着指挥的蔡亚锷被授予云麾勋章一枚，并得到了张灵甫的保荐提升。
长沙失陷后，日军分成数路纵队，夹湘江西岸大举南下。数日间，湘乡等诸县未经激战即先后失守。
在长衡会战中，蒋介石和薛岳从一开始就出现了很大的战略分歧。蒋介石要薛岳坐镇湘江以西，固守湘桂路与湘西，不让日军动摇西南大后方。薛岳则坚持不到湘江以西，认为必须固守湘东南，不让日军打通粤汉路，进而与香港取得联系。
为了贯彻个人的主张，薛岳只留第四军守长沙，第十军守衡阳，而把司令长官部移驻于湘东南位于湘赣边境的桂东，各部队也被陆续转移到桂东。薛岳的这一指挥失误，事后被认为是长衡会战失败的关键所在。
继第四军兵败长沙，衡阳的第十军又马上成为被日军包围的孤旅。按照赵子立的意见，即便这样，此时若能把绝大多数部队集中在湘桂路方面，向衡阳西南面发起反攻，仍有可能为第十军解围。
奈何薛岳就是不肯动身到湘西去，许多部队被分散在湘东两三百公里的区域内，且重点不清，毫无力量。赵子立最为看重的衡阳以西，只有王耀武兵团在活动。由此还出现了一个奇特的现象，即湘江以西的部队由军委会直接指挥，薛岳只负责湘江以东的作战指挥，到后来他所负责的部队也已经被日军冲得七零八落。
衡阳是中国军队的核心防守阵地，也就是“核心地带”。横山勇知道中方会以重兵坚守，外围也会不时投入战略兵团，因此他要求抓紧时间，不惜一切代价予以攻占。
方先觉指挥第十军死守衡阳，随着阵地的日益缩小以及援兵不至，官兵士气逐渐消沉。他们对薛岳移师桂东，未出全力增援，都感到极为愤恨，零星脱险的士兵痛骂薛岳指挥无能：“几次长沙大捷（指第三次长沙会战前的‘大捷’）都是吹牛，第三次长沙会战要我们第十军死守长沙，这次又派第十军死守衡阳。我们已死守了这么多天，（他）把我们置之死地而不顾。”
有可能为衡阳的解围的只剩下王耀武兵团。此时王耀武除指挥第二十四集团军外，还能调动第七十九军、第九十九军以及失守长沙的第四军残部，号称有十七个师的规模。不过这些部队自六月初就投入了战斗，多为建制残破的久战疲师，战斗力已大不如前，难以在日军的阻击线上形成突破。同时兵团内想保存实力，甚至对第十军心存嫉妒的也不乏其人。第二十四集团军下面的一个军长私下就说：“如果衡阳解了围，方先觉岂不成了个人英雄？”
就在各部或真的力不胜任，或犹豫观望的时候，王耀武决定再次动用“虎部队”。长衡会战初期，王耀武只从七十四军中抽调五十八师随其一同进入第九战区作战，五十一师和五十七师都被第六战区留在常德附近担任守备。直至6月底七7初，五十一师和五十七师才得以归建并全部投入会战。
7月中旬，七十四军军长施中诚得到命令，限以急行军方式赶到衡阳以西的金兰寺、鸡窝山一线，以解衡阳之围。
七十四军的三个师也并非都处于最佳状态。五十七师在常德会战中几乎伤亡殆尽，战后开赴桃源整补训练，经过三个月的整训，才刚刚恢复战斗力。五十八师在宁乡保卫战后，又与日军第四十师团在永丰缠斗，部队损失也一直没有时间进行补充。算下来，只有五十一师的情形要稍好一些。在行军阵型上，施中诚以五十八师居前，五十一师在后，五十七师进行侧翼掩护。
第一个目标金兰寺在衡阳西南四十多公里处，原为第七十九军一个营驻守。日军包围衡阳后，为巩固衡阳外围，日军第四十师团派黑须大队攻占了此地。
最初收复金兰寺的任务，系由第一百军承担。7月20日，第十九师以一部断敌退路，主力在攻占金兰寺前的店铺和村庄后，逐步将敌人压缩至金兰寺内。
金兰寺是一座砖石结构的小庙，但日军利用周围地形，把它打造成了一个易守难攻的据点：除以庙内的砖石建筑物负隅顽抗外，庙前的大树有轻机枪手进行俯射，庙后的小高地上还建有防守工事。
第十九师乃增派部队，先将寺后高地予以攻占，接着又集中迫击炮和重机枪，摧毁了树上的俯射火力点。只剩下寺庙无法攻入，对于这样的坚固据点，无论迫击炮还是重机枪都难以逞其技，必须得动用山炮，可是十九师连山炮都没有。盟军飞机几度对金兰寺进行轰炸扫射，也因为寺庙缩在山窝里面，难以命中。
围攻了一周，仍然一筹莫展。第一百军军长李天霞采取了一个投机取巧的办法，他指示十九师想办法将国旗插在寺前树上，以便使盟军飞机看到后，可以向上报告，说第一百军已攻取了金兰寺。
在担任团长至师长时期，李天霞并不乏七十四军将领所惯有的勇猛果敢，但后来便一意热衷于打巧仗、便宜仗，他的这个馊主意可害苦了十九师。为了插旗，十九师连续多次派敢死队员爬上树，但都遭到了日军的狙击，旗未插成，倒白白死伤了九个人。
7月23日，张灵甫挥师出击。五十八师在击退向金兰寺增援的敌军后，紧接着便会同十九师一道向金兰寺发起猛攻。五十八师有军配属的山炮连，在炮兵的支援下，他们摧毁了日军的铁丝网前缘工事，黑须大队余部见势不好，赶紧从东面突围逃跑了。
7月28日，王耀武督令兵团各部向衡阳西南郊全面攻击前进，但是第二天日军援兵一到，各部便全线后退，只有五十八师和十九师在继续向衡阳挺进。两天后，他们迫近衡阳近郊，并与守备该地的日军第四十师团第二三四联队展开殊死搏斗。
针对解围部队，日军第二三四联队面向西南占领了一系列阵地，其中以鸡窝山阵地最为险要。
鸡窝山距衡阳仅有十公里，登山顶即可望见衡阳，它也是衡阳西郊连绵山地中海拔最高的一座山头。鸡窝山的山脚下就是通往衡阳的公路，公路朝中国军队的一方是一片开阔地，易守难攻。
在常德会战中，五十八师的王慕羡乘漆家河守敌不备，率一连兵力围歼了在房子内休息的日军一个中队，因此七十四军军部曾授以“全军模范连”的称号。这次该连被作为尖兵连，担任攻击鸡窝山的尖刀部队，连长王慕羡当即立下军令状，并交代他一旦战死，便由第一排排长代理他的连长职务。
以炮火为掩护，五十八师从黄昏开始向鸡窝山主峰发起攻击。王慕羡手擎国旗，准备发起冲锋，不幸中弹牺牲。代理连长继续指挥冲锋，经过前仆后继的攻击，日军被迫撤至反斜面。
战斗进行到第二天，五十八师投入的一个主攻营即伤亡近半，两名连长一死一伤。第三天拂晓，一架低空盘旋的日机向中方阵地进行对空射击，尔后因为惧怕盟军飞机的反击，急于返回，结果慌慌张张投下的两颗炸弹都落到了日军自己的阵地上。五十八师乘机全力冲杀，向敌军阵地投去大量手榴弹。
抗战后期的中国军队出现了严重的兵员补充危机。部队补充与调拨的兵员，多半来自于师、团管区的壮丁。当时名为征兵制加募兵制，但实际上就是抓兵制，也就是俗称的“抓壮丁”。抓来的壮丁大多并不符合入伍条件，他们的身体往往不够壮实，吃不了苦也不愿意吃苦。同时因为前线频频告急，时间紧迫，稍作训练就得开往前线。这样造成的后果，就是多数新兵不会使用枪炮，甚至有的军官都不会射击、劈刺，当然也教不了自己的士兵。
七十四军在被定为攻击军后，就在后方贵州有专门配属的师管区、团管区，负责为七十四军招兵买马编练新兵。横向比较，七十四军的新兵质量可能要比其他部队好些，但很多问题也不可避免地存在着。这时候让新兵发挥作用的一个有效办法，就是教他们投掷手榴弹。
一名军官在给新兵做精神讲话时，这样给毫无军事基础和战斗经验的新兵们打气：“我们非常需要你们，你们虽然都没有打过仗，不会投手榴弹，但是没有关系，我们会马上把你们教会。”
相对于射击、劈刺，投手榴弹确实最简单。只须几名老兵，就可以在短时间内讲清楚手榴弹的投掷法。至于投掷时的实际水平如何，不讲究，你能投的远一些最好，稍近点也可以原谅，总之，短兵相接时，“只要投出去的手榴弹爆炸，敌人一定会死！”
暴风雨一般的手榴弹投过去，霎时间，炸得日军阵地一片火海，敌兵死伤累累，不得不向后溃逃。8月2日，五十八师收复了鸡窝山主峰。
在其余高地，中日两军也展开了激烈争夺。8月4日晨，五十一师随军部也到达前线。军属炮兵营的十二门山炮迅速放列阵地，对鸡窝山东面的一〇六六高地实施猛烈轰击，山头上的日军被轰得躲在掩体内不敢伸头。
五十一师、五十八师立即抓住战机，像猛虎一样向山头发起冲锋，日军丢下山头，不支撤退。打扫战场时，发现被打死的很多日本兵也很年轻，应该都是从本土征集的新兵。因为来不及把尸体运走，每个尸体都被砍掉了一只手——日军将在这只手的旁边写上阵亡者的姓名，然后送回日本后交给他们的家属作为阵亡的证据。
在七十四军的激励下，第一百军也连续攻下了牙鹰岭等高地。鸡窝山一线的被动局面，让日军第二三四联队长户田义直大佐如坐针毡。
战斗越深入，越能凸显王牌部队的价值。日军投入衡阳战场的兵员，大部分都是去年参加常德会战以及长衡会战开始以来连续作战剩下的老兵，具有相当的作战经验。
可是第七十四军也是战斗经验丰富的老部队，尤其五十一师、五十八师跟在常德战后整补的五十七师不同，部队里老兵较多，基层军官多为从黄埔军校毕业的学生。通过战场上的反复较量，这些部队的官兵对日军的编制、装备、战术，指挥以及习惯打法，都有一定的了解。
七十四军也摸到了日军在作战上的一个基本特点，即“欺软怕硬”，说白了，就是日军非常害怕和第七十四军这样常打硬仗的部队作战。对他们而言，如果能常跟杂牌部队或战斗力不强的一般“中央军”打对手仗，才是最惬意最放松的。
现前的情况是没有那么好的事，七十四军就逼在门口，让你想高悬免战牌都不能。情急之下，户田联队长索性亲自举起联队军旗，率后方部队进入阵地据守。
日军第四十师团长青木成一中将深感本师团尤其是第二三四联队情况严重，因此向第十一军司令部提出了增援的请求，但未能获得横山勇的同意。与第四十师团邻近的日军第十三师团长赤鹿理中将看在眼里，知道第四十师团已处于危急状态，遂表示他愿意拔刀相助，派出部队前去援救，横山勇的答复只有一句话：“全力进攻衡阳！”
横山勇并不是不知道户田有多惨。据说在那些天里，这位军司令官每天上下午都会登上司令部附近的高地，对鸡窝山方面的战况进行观察，其间还对专属副官说：“看来，户田部队仍在进行相当激烈的战斗啊！”
横山勇倒不光是关注户田的境遇，他还生怕户田顶不住，让七十四军突破进来。不过为了能够集中兵力，彻底攻克衡阳，他还是选择了弃卒保车，始终不肯分兵对户田进行增援。
奉王耀武之命，中方组织了一支携带电台的搜索队，任务是搜索敌情，同时与衡阳守军取得联系。搜索队进入衡阳城边缘不久就被日军发现，只能边打边退。
不过几天之后，便有第十军的守城官兵沿这一方向突围出来。他们告诉搜索队：“这几天都听到西郊外有枪声，知道增援友军已到，所以我们敢于冒死逃出虎口，奔向你们。”
至8月5日，在七十四军等部队的猛烈进攻下，日军第二三四联队已经伤亡大半，以所属第三大队为例，兵员最多的一个中队连伤员在内只剩下二十四人，最少的中队仅剩两人！
即使处于这种情况，青木师团长仍严令户田，绝对禁止后退。户田被迫将联队机关人员、通信兵、马夫集中起来当战斗兵使用，同时伪军“周部队”也被驱使至最前线。
第二三四联队的一线部队不仅兵员不足，而且弹药也极为缺乏，手雷已经全部用完了，士兵们只得用石块进行反击，或者是把中国军队刚投过来的手榴弹反投回去——这一招在实际使用时非常危险，最典型的是在衡阳一线督战的日军旅团长志摩源吉少将，他给士兵做榜样，现场示范如何将守军投过来的手榴弹迅速拾起抛回，结果却因姿态稍高被子弹击穿了头部。
日军第二三四联队最后退至大水塘以东高地，七十四军由此成为外围十余万军队中最接近衡阳的部队。站在鸡窝山的山头上，已经可以看到衡阳城的房屋，城内的枪炮声和炸弹声也清晰可闻。
似乎离解围只差一步之遥。然而在8月7日，由衡阳城内逃出的第十军官兵却带来了一个坏消息：“衡阳城西第一〇九师阵地已插白旗向敌投降，你们来迟了。”入夜，衡阳城内一片静寂，再无激烈的枪炮声传出，验证了这一消息极可能属实。
8月8日拂晓，又有从城内陆续逃出的官兵证实，第十军弹尽粮绝，方先觉已率部投降。
对方先觉而言，投降是一个万般无奈的决定。在此之前，他向蒋介石发出了最后一封绝命电：“此生已矣，来生再见！”据说他也曾举枪自杀，只是手枪已被副官提前取走，在部下“军长你带我们走一条活路”的劝说下，才选择了走投降的道路。
按照很多人理所当然的标准，方先觉投降之举无法得到原谅，连薛岳曾经的智囊赵子立都对之不屑，质疑：“抵抗了四十多天，就有资格投降吗？”
其实赵子立在长沙即将陷落时也急于逃出，所以在这种事上，批评指责的人实际占据的仅仅是他们所认为的道德高地而已。倒是七十四军历经百战，又有过常德保卫战那样的血泪经历，对方先觉及第十军赋予了更多的同情和理解。他们认为，能够孤军守城达四十七天，对于装备处于劣势的第十军来说，已经是非常不容易了。要追查衡阳陷落的责任，只能归咎于将帅不和，友军配合行动不能一致，以致坐失解衡阳之危的良机。
后来经过很多波折，方先觉从敌营中脱逃出来。时任第四方面军司令的王耀武不避嫌疑，亲自派一名副师长率兵前去迎接，并帮助方先觉转赴重庆去见蒋介石。
蒋介石对待方先觉的态度也很可玩味。余程万当年从常德突围，差点被枪毙，但是方先觉却得到蒋介石的慰勉，并授以青天白日勋章。
原因很复杂，其中一条可能是蒋介石认为，违令逃跑和战败投降，二者有着性质上的根本不同，前面一个当斩，后面一个却可以被解释成是不得已情况下的降汉不降曹。二战结束后，蒋介石在重庆会见了曾投降日军的美军将领温赖特，他说：“军人，战斗到弹尽粮绝，是可以暂时屈服、放下武器的。中国有句老话：‘胜败乃兵家常事’，所以，应该善待放下武器的军人。”
蒋介石并不是当着老外的面才这么说，他在处理庞炳勋投敌事件上同样如此。在日本投降的第二天，庞炳勋就接到了蒋介石所发出的电令：“马上归队，参加受降行动！”
为了攻克衡阳，日军付出了极大代价。在见到第十军挑起白旗后，横山勇立即抽出一个大队前去鸡窝山救援已被打得不成人形的第二三四联队。
日俄战争中，日军将领梅泽道治指挥后备部队在本溪湖进行防守，其间他曾向总司令官大山岩请求增援，可是没有得到同意。梅泽不得已，只好拼命堵击。大山利用这一时机发动进攻，终于迫使俄军全面撤退，梅泽因此成名，被奉为“花一样的梅泽”。
第二三四联队长户田认为自己在衡阳之战所立的功劳，已经可以和梅泽相提并论，而对原先显得极其绝情的军司令官，他也奉送一顶高帽，称横山勇在考虑是否要对他进行增援时的心情，就和当年大山对待梅泽相仿。
自常德会战起，中方的空军力量就已超过了日军，但与此同时，相当数量的地面部队却都缺乏整体观念和顽强的战斗意志。在奉命解围的过程中，他们有的保存实力，有的随意撤退，有的见死不救，有的做做样子，由此导致防守部队孤立无援，精疲力竭，运气好的尚可靠所剩力量组织突围，运气不好的就只能等着被歼灭或战败投降。
在应该受到指责的部队名单中，应该不包括“虎部队”。尽管没能为衡阳解围，但七十四军尤其五十八师的表现和努力仍然得到认可，五十八师师长张灵甫荣膺宝鼎勋章，先前七十四军获得这一荣誉的战将分别是余程万和李天霞。
衡阳失守后，为防止日军沿铁路西进，中国军队在衡阳以西的洪桥一带，构建了湘桂铁路正面防御线。在这一防御线上，施中诚的第七十四军被部署于邵阳（旧称宝庆），所属第五十七师在到达邵阳后，立即择要构筑工事并积极进行整补。
日军第十一军同样对兵员和武器进行了大量补充，但缺额仍然很大，比如第四十师团原有十二门山炮，如今只剩下六门可用。尽管如此，横山勇却并没有暂停作战的打算。他主要是考虑到，中方增援衡阳的各部队仍然保持着战略进攻的态势，实际已对日军形成U形包围圈。如果不及时予以歼灭，这些军队不仅会趁机夺回衡阳，而且还将从湘江两岸切断日军的背后联络线。果真如此，势必对第十一军构成很大威胁。
横山勇决定继续发动洪桥会战，以便包围歼灭聚集在洪桥的中国军队。对他的想法，“中国派遣军”一开始就表示反对，理由是衡阳之战令第十一军元气大伤，各部队的战斗力尚未完全恢复，不宜连续作战，而且在后勤部队推进不理想的情况下，前线补给也难以跟上。
日军在长衡会战乃至整个“一号作战”中面临的最大困难之一，就是补给线漫长，必须时时加以巩固。中国军队也发现，日军前线部队每向前推进约一百公里，就必须停留几天，以等待后勤部队送来补给。
“中国派遣军”的顾虑不是没有道理，但是和常德会战时一样，横山勇及其幕僚对上司的指示做了选择性忽视。8月29日，在完成对部队的调整、补充和休整之后，日军第十一军下达了进攻洪桥的命令。
当天，日军第十一军给“中国派遣军”总部发去一封电报，先斩后奏地报告了洪桥会战的部署情况，并声明他们还将突破洪桥这一作战区域，正式进入湘桂作战的第一期。
湘桂作战也就是“一号作战”中，除豫中会战、长衡会战的最后一个阶段——桂柳会战，第一期计划是直接攻取零陵和邵阳。可是按照“中国派遣军”的原计划，该行动至少要在半个月之后才能展开。现在部属未经同意就将战役提前了这么长时间，令司令部感到很是震惊。
总参谋长后宫淳中将亲自向第十一军发来电报，认为即便要发动洪桥会战，也应视为桂柳会战的准备，而不是开始，因此要暂缓攻取零陵和邵阳。
南京的电报在日军第十一军司令部内引起了争论。这次就连横山勇本人都犹豫起来，因为电报上说得很清楚，若是他一意孤行，再遇到后勤方面的困难，总部就只能做撒手掌柜——“第十一军首先必须靠自身推进后方”。
司令部里与南京总部唱反调的人，只剩下高级参谋岛贯武治大佐。岛贯是长衡会战中日方作战计划的主要制定者，他坚持任务第一，强调洪桥会战已经开始，今后究竟打到哪里，要看敌情如何，不能总部说什么就是什么。
战局的变化，最终让岛贯在论战中取得了胜利。8月31日，在第十一军发起进攻后仅仅两天，洪桥正面的中国军队即发生全面动摇。在此情况下，虽然“中国派遣军”对洪桥会战仍抱有微词，但也只得予以默认。
横山勇发动洪桥会战的胃口不小，他起初是要从洪桥的西北部实现突破，将中方各兵团一个不留，全部予以分割围歼。对日军第十一军能够集结如此多的兵力，不停顿地发动会战，中方确实没有料到，可是问题最后还是出在第十一军自己身上：因为仓促启动，缺乏必要的战略欺骗，各部队都摆着包围姿态直捅捅地朝洪桥进兵，这等于提前给中国军队报了警，通知他们要赶紧后撤。
预定的围歼战变成了追击战，急得岛贯直跺脚，他在日记中写道：“敌之退却，恐因我军企图暴露。”
日军急于扩大成果，前线战况也因此愈演愈烈。慌乱之下，很多中国军队已不是撤退，是溃退，其中第七十九军更是连军部都遭到日军第四十师团骑兵的突袭，军长王甲本不幸阵亡。
扼守邵阳的七十四军乃是横山勇要予以歼灭的重点目标。至8月31日，五十一师、五十八师与日军第四十师团先头部队已激战达两天之久，双方均伤亡惨重。9月1日，日军第四十师团主力陆续到达，攻势更为猛烈。紧张关头，五十一师又被调到其他方向堵击西进日军，邵阳以东的防守阵地上只剩下五十八师。
从当时的态势来看，五十八师与敌人鏖战的时间拖得越久，危险性也就越大，但如果转身就撤，可能遭受的损失更大。七十四军为此制定的策略是，以五十八师逐次使用预设阵地进行阻击，在消耗日军兵力的同时，为五十七师完成邵阳城的守备赢得时间。
9月6日，日军攻克零陵，但第四十师团一直未能够突破邵阳外围，其后该师团被调往桂柳战场，替换进攻的是日军第三十七师团。
9月11日，五十七师完成守备部署，伤亡过半的五十八师除留下小部队迟滞敌人前进外，主力撤往邵阳以西。
这时日军已将进攻重点集中于桂、柳地区，9月14日，日军第十一军攻陷了广西全州。军司令官横山勇在自得之余，也感到必须清除自身后方存在的隐患——第七十四军扼守的邵阳处于衡阳西北，对衡阳以及湘桂铁路沿线始终是一个严重威胁。
横山勇对第一一六师团下达命令，要求对担任主攻的日军第三十七师团进行策应。该师团随即奉令占据邵阳西南附近河岸，然后向邵阳以西及西北迂回，企图切断守军向西北的退路。
假如邵阳四面被围，守军就会遭遇常德、衡阳保卫战的复辙，即守不住时想撤都撤不出来。王耀武因此调回了五十一师，该师奉令与五十八师、五十七师一六九团一起在邵阳以西构筑小据点守备，不让日军第一一六师团对邵阳形成合围。
处于这种严密警戒之下，日军只能先从东面对邵阳城进行突破。
9月15日，日军第三十七师团到达邵阳东北的资江岸边，一面在沿岸部署兵力，一面用汽艇以及木筏、竹筏强渡资江。
负责守备邵阳城的是五十七师一七一团，乃是常德保卫战的主力军。团长杜鼎劫后余生，被公认是一员勇敢善战的虎将。此外，一个军属炮兵连也被留下协同守卫邵阳。
邵阳保卫战既是坚守防御，也是专守防御，其特点是可用以防守的兵力有限，无法随意调拨，面对一片汪洋的水泽地带，出击、牵制、佯动等战术手段都难以施展，而日军却可以从水上实施多方位攻击。
这是不利的地方，五十七师的有利之处在于，自武汉会战起，中日两军的主战场便没有离开过江河湖塘。逢到水上登陆战，一般情况下，总是日方强渡，中方迎击，中国军队也因此积累了丰富的反登陆战经验。
只要日军一在水面上进行活动，第一线防御部队便可以派出一名观测员，对敌我距离进行目测，以便为指挥射击提供依据。
通常在日军进入1500米的距离范围以内，炮兵连就要进行射击。同时为避免日军炮击己方前沿阵地，减少不必要的损失，第一线步兵最好以班为单位，暂时退到预先构筑的第二线阵地上去。待观测员观测到日军进至四百米附近时，再跃入前沿进行战斗。
步兵射击的有利时机，则应选择在日军径直跳水上岸，直接向阻击阵地发起冲击的瞬间，此时构成的交叉火力网会对日军造成最大杀伤。即便阻击阵地有一处被突破，也不要过于慌乱，突破口两侧的守军若能指挥得当，马上就能以火力将后续敌人封住。
在登陆战和反登陆战的过程中，资江岸边一天到晚响彻着激烈的枪弹声和喊杀声。日军的强渡被屡次击退，守军击沉汽艇七艘，打死日军四百多人。经过一个多星期的激战，日军才得以在邵阳城东登陆，随后攻占了城东、城南的警戒阵地。
东门外的每一处高地都被一七一团充分利用起来，构筑出若干个星罗棋布的据点，各据点之间既独立支撑，又相互策应，以消耗迟滞为手段，对敌人的有生力量进行削弱。
见进攻受阻，日军开始发射燃烧弹和毒气弹，城内外十多处地方被大火点燃，全城火光冲天，毒气弥漫。邵阳乃是一座有两千多年历史的古城，转瞬间也像常德、衡阳一样，从一个完整昌盛的市镇变成了满目疮痍、令人目不忍睹的瓦砾场。
战至9月27日，一七一团已死伤六百多人，其中第二营更是伤亡殆尽。
夜色渐浓，城外守军开始有秩序地撤入城内。日军第三十七师团第二二五联队发现城外防守阵地上一片静寂，他们搜索前进，结果一直走到城边也没有看到一个守军，于是便想当然地向师团报告，说中国军队已经弃城而去。
打了这么多天都没能攻下邵阳，师团长的心火都快被急出来了。一接到这份报告，没有再进行侦察核实，他便向横山勇发出报告：“27日晚间已占领宝庆（邵阳）。”
当下，日军二二五联队、二二六联队便大模大样地由东门向城内开进，但他们没料到的是，一七一团根本就没有离开，而是在占据新的防御阵地后，就地在城内设置了伏击圈。
若单纯以歼敌手段而论，巷战比水面歼敌更为有利，因为日军的炮火优势势必受到一定限制。同时杜鼎这些中方指挥官的巷战经验，也绝不少于反登陆战。
巷战强调的是寸土必争。每一间房屋、每一个小巷、每一条街道，都要作为防区控制起来。火力配备也有讲究，不是均衡分配，而是要根据建筑物的高低、坚固程度以及前后左右关系，采取多层次配备，从而使得火网立体化。
在这一配备中，最低处要安排重机枪，特等射手也就是狙击手可以配置在不惹敌人注意的位置，并在射手能够自行掌握的有效射程内，对日军军官、观测点、通讯兵打冷枪，以扰乱其指挥系统。
进入伏击圈的日军猝不及防，在巷战中被予以大量杀伤，师团司令部给横山勇的那份电报也因此成了一个大笑话。
日军第三十七师团只能重回起点，继续围攻。9月28日夜，南门被日军攻破，一个晚上突入八百多人，守卫南门的中国官兵立刻与日军展开肉搏战，他们中的大部分人都在战斗中与敌同归于尽。
随着城内日军越来越多，巷战也更趋激烈。战线上敌中有我，我中有敌，互相穿插，各自为战。此时电话线断了，指挥也不方便，两边士兵逐屋逐垒地进行拉锯和争夺，近距离的火力激战、白刃格斗、手榴弹战主导了整个战场。一七一团虽然伤亡惨重，但仍死死地扼守着城内的部分据点，一间房，一堵墙都不肯轻言放弃。
9月30日，战斗已呈白热化。第二天，一七一团副团长以下均持手榴弹与日军拼死战斗，就连炮弹罄尽的炮兵连也被编成突击队向敌人发起反击。
10月2日凌晨，守军阵地只剩一隅，再也无法继续坚守。一七一团团长杜鼎遂率残部一百五十人分路突围，一路出西门，一路出东南城门，两路均得以顺利突出城外，与主力会合。
邵阳保卫战结束后，横山勇将第三十七师团南调进攻桂林，邵阳地区改由日军第一一六师团守备。至12月10日，桂林、柳州先后失陷，大陆交通线被完全打通，“一号作战”也即豫湘桂会战方告结束。
进入1944年秋季以后，国际反法西斯战争形势已趋于明显好转。可就在这样一个大背景下，中国军队却遭遇了极其惨痛的失败，参战部队中有百分之五十到六十的正规部队都被完全击溃，剩余部队的战斗力也越来越弱，上上下下都为此失去了信心。
这是正面抗日战场上最令人绝望的一段时间。在一次整军会议上，蒋介石痛彻于心地说道：“我今年58岁了，自省平生所受的耻辱，以今年为最大！”