长沙失守后，日本第11军顺势南下，朝湖南省当时的第二大城市衡阳进发。衡阳位于湖南省中南部，粤汉线、湘桂线在此连接，从湖南腹地通往西南大后方的多条公路也从这里经过，是西南交通的枢纽。此外，它还是湘江、蒸水和末水的交汇之处，依靠这些江河，可以转运湖南出产的大量粮食、矿产等资源。因此，衡阳一旦失守，无论在交通、军事，还是经济上都将带来巨大的灾难性后果。就因为这一系列的原因，衡阳自然成为日军“一号作战”的重要目标。
日军大本营在“一号作战”第二阶段的构想中，计划对湘江以西地区采取守势，而主力投放在湘江以东。衡阳是作为重要目标必须予以攻占的，并且要确保这一地区的安全畅通。第11军横山勇中将认为，同中国军队的决战不一定会在长沙出现，但在进攻衡阳时，必然会出现双方主力对决，如果是这样的话，就可以在衡阳地区围歼第九战区主力。
鉴于这样的思考，横山勇中将在具体兵力分配上，以1个师团用于湘江以西，用2个师团进攻衡阳，再以4个师团的兵力用于湘东山地。从兵力分布来看，横山勇还是有战术头脑的，把兵力分布得轻重得当，非常符合当时的实际情况。
第11军的日军高级将领们在研究攻击衡阳的战术问题时，又把薛岳的“天炉战法”提到桌面上。他们认为，中国军队当前没有对付大日本皇军的好战法，前段时间在长沙大战中，把“天炉战法”给粉碎了。但是从衡阳的地理方位，以及当前中国军队所处的位置上看，他们极有可能还会采取“天炉战法”的老一套。横山勇同意幕僚们的分析，所以他仍采取两翼夹击，波浪式推进的方法，确保第68师团和116师团对衡阳的进攻。
国民党军令部的确没有新战术，仍然按照“天炉战法”的老路子进行部署，中间正面堵截，两翼兵团夹击，从而击退来犯日军。从整个衡阳保卫战来看，最主要的有两块，一是国民党第10军坚守衡阳，二是李玉堂兵团在西南、西北外围，实施救援衡阳的战役。
为了进一步了解、认识下一步的湘西保卫战，或者说同下步湘西保卫战紧密联系，笔者这里不详细叙述李玉堂兵团的外围解救战，集中篇幅谈衡阳保卫战。因为进攻衡阳的两个日军师团，也是后来进攻湘西，欲夺芷江机场的两个主力师团。另外，在衡阳保卫战期间，也是蒋介石同美国关系发生矛盾，处在极为痛苦和犯难的一段时日。
日本对衡阳的作战，是于1944年6月20日开始的。日军第11军为确保衡阳进攻的顺利，一开始就对衡阳的周边实施强有力的攻击，以此来打破“天炉战法”中最为关键的两翼部队。日军第11军不愧为日本的第一野战军，他们不几日便把衡阳周边的国民党军队击溃，迫使国民党军的主力后退，把衡阳变成一座孤城。
守卫衡阳的是国民党第10军，军长是方先觉，安徽萧县人，黄埔军校第三期毕业。在抗日战争中，中将军长方先觉是国民党军最为传奇的人物之一。他坚守衡阳47天，创下抗日战争时期中国军队坚守时间最长的一次守城战。在守城战役中，他率领17000名士兵，抵挡日军前后6个师团的进攻，在自己部队战死10000人的基础上，杀伤日军48000人。为保护衡阳城7000多伤兵的生命，他最终放下武器，向日军缴械投降。不久逃出衡阳，回到重庆，被蒋介石誉为“中国军人之模范”，并授予青天白日勋章，还晋升为28集团军副总司令。后来他在台湾去世，在史学界，还引发出一场关于他投降日军行为的学术争论。从以上简约的情况看，方先觉中将的确很有传奇色彩。
英勇善战的方先觉，在1941年的第三次长沙会战和后来的常德会战中，率领自己的预备第10师和第10军，表现得非常杰出，一时名声大噪。
成为抗日英雄的方先觉，自然有些志得意满起来，甚至连战区司令长官薛岳也不放在眼里，有些命令执行起来也就阳奉阴违了。特别是在常德会战中，他对薛岳的越级指挥，抽调他的190师，使第10军侧翼暴露，很是不满，因此发生争执。从此两人结下过节。
薛岳也感到很伤脑筋，于是便开始指派自己的亲信去第10军任职，以此来控制方先觉。谁知方先觉也不是盏省油的灯，对薛岳指派的人，常常借故撤职，甚至寻机法办处决。这样一来两人矛盾激化，最终还是薛岳占了上风，他毕竟是战区司令长官，说服军令部免去方先觉军长一职，调任军事委员会高级参议。
方先觉还没有动身，新任命的军长也没有到达。日军便开始了“一号作战”的湘桂战役，兵锋直指衡阳。参谋总长何应钦亲自过问此事，新军长没有到任，而战事已迫在眉睫，真要临阵换将，确实于军不利。他责令薛岳上门请方军长出山。
薛岳只好厚着脸面任命方先觉为第10军军长，负责指挥衡阳保卫战。
方先觉怎么会买这个账呢？你算什么东西！老子现在是委座任命的高级参议！他拒不接受薛岳的任命。两人的过节传到蒋介石那里，蒋介石很气愤，党国利益就毁在他们这些争权夺利人的手里。于是，委员长亲自给方先觉打来电话，大骂方先觉昏庸，日军已经逼近衡阳，你居然还在和战区长官怄气，置民族大义于不顾，成何体统？
方先觉听见蒋校长的训斥，自己倒是消了气，他知道校长也会骂薛岳的。于是他表现出军人的大度，当即表示一定积极部署固守衡阳，发扬第10军优良传统，坚决抗击日军来犯。蒋介石在电话上要求方先觉守住衡阳，确保衡阳十天或者半月，整个形势就会发生变化。他在重庆听候他的佳音，祝他旗开得胜！
方先觉受到蒋委员长的鼓励，信心倍增，立马奔赴衡阳，部署防守任务。
国民党军第10军，下辖第3师、第190师和预备第10师，还有驻扎衡阳城里的第54师师部和它的第1团。为加强衡阳守备力量，第九战区将第74军野炮营、第48师的一个山炮连划归第10军。这样第10军名义上有4个师的番号，实际是8个团，总兵员17000人。
特别要说明的是，经过常德会战，第10军没有得到休整补充。比如说第190师为后调师，所谓后调师是指将兵员全部转拨给友邻部队，仅保留班长以上各级军事干部，随后调后方接收训练新兵。但这个后调师没有走成，日军已逼近衡阳，他们就留下来参加衡阳保卫战了。
方先觉于5月底来到衡阳，他首先带领师长、团长和参谋长们侦察衡阳地形，确定防御部署。衡阳防区面积仅有3.9平方公里，东西宽约1.5公里，南北长约2.6公里。
第190师位于城东，每营配属一个野炮连，进驻末水西岸。作为最前哨阵地，师主力于五马归槽、橡皮塘、莲花塘一线构筑主阵地。
预备第10师位于城西，师主力于汽车西站、虎形巢、张家山、江西会馆一线构筑主阵地。在汽车西站侧翼是第3师的第7团和第9团。
第54师的一个团位于城东北，主力在冯家冲沿末水西岸构筑主阵地。
炮兵在雁峰寺、县政府、蒸阳路、吉祥街一带占领阵地。第10军军部设在银行大院，前进指挥所在五桂岭的预备第10师阵地上。
防守部队的部署一定，立即开始构筑工事。衡阳原先已经构筑有钢筋混凝土的国防工事，相当坚固。然而第10军同日军作战多年，特别擅长防御，从将领到士兵，一眼就能看出这些防御工事的弊病，发现存在不少问题。一是防御工事系统庞大，现在的一万多士兵用不完，显得空，有的地方根本就用不上；二是射孔较大，隐蔽性差，这对守军极为不利；三是这些工事各自独立，难以相互照应。
方先觉下令对所有工事进行改进和加强，放弃若干外围工事，以缩小正面防御，对放弃的工事一律破坏。城东、城北依托湘江和蒸水设防，城西北沼泽水田全部放满水，在其要道上构筑碉堡、地堡。城西南丘陵地带，构筑无数道防御线。各据点之间均以交通壕相连。最有创意的是，丘陵对敌的一面，全部削成断崖，让敌人无法攀爬，并在断崖顶上构筑手榴弹投掷的壕沟。在丘陵之间的凹地，构建外壕沟，用粗大圆木建两到三层栅栏。断崖与外壕之间布设铁丝网。无法挖出断崖的丘陵，全都挖设5米深宽的壕沟，在沟底筑有地堡，以防日军利用。全城所有阵地都有交通壕相互连接。在城西北比较开阔平坦的地区，布有地雷区和多层铁丝网，开挖四道战壕。
第10军在衡阳郊外利用地形，巧妙构筑坚固工事，形成完备的坚固防御体系。通信联络是关键，他们把电话线全部埋入地下，还组建电话线抢修队，划分责任区，并进行数次演习。在衡阳市区各路口均修筑工事，将重要的物资像弹药、粮食、被服、药品等都分散储藏在地下的藏兵洞里。
这些庞大的防御工事体系，不仅由全军士兵动手修建，还得到了当地的抗日组织和工会的大力支持，仅衡阳工会就组织3000工人，还征用了120万根木料。衡阳是湖南重镇，军委会有好几座军需仓库在这里。国防部后勤部长俞鹏飞亲自抵衡阳，向第10军调拨两周的粮食，步机枪子弹530万发，迫击炮弹3200发。仓库总监还主动为第10军送去手榴弹3万枚，这批手榴弹可是起了了不起的作用。
万事俱备。方先觉率领战地指挥员巡视了一遍，一切都比较满意。美国军事顾问贺克朝方军长伸出了大拇指，连声称赞。方先觉想考考这个美国顾问，他问他敌人主攻方向在什么地方？贺克说城的西北，那里地形平坦，便于日军坦克、装甲机械化部队进攻。方军长哈哈大笑起来，他摆着手说，你错了，在西南。西北地势平坦，固然利于机动，但是中美空军掌握制空权，陈兵西北，无疑成为空中打击的活靶子。我想日本军队一定是从西南山地而来，这样不仅可以切断衡阳与后方的交通联系，而且从高向低一举拿下衡阳城。如果从西北进攻，拿下衡阳城后，还得攻取西南山地。
贺克不同意方将军的看法，对此还进行了一场辩论争吵。实践证明方先觉的判断是正确的，所以，第10军把西南山地作为防御重点，精心部署设计营造。从排兵布阵，到构筑防御工事，到枪支弹药、粮食、药品和伤员的安排，再到隐藏日军炮火，建藏兵洞等等事宜看来，方先觉确实不是等闲之辈。
为鼓舞官兵士气，方先觉还特意规定作战负伤赏金，上校以上负伤者赏大洋10000元，中少校赏5000元，尉官4000元，士兵1000元，负伤不退者，特赏，伤愈归队者，晋级。在高昂的士气鼓舞下，衡阳人民发扬湖南人民的光荣传统，积极起来参加破坏道路、桥梁，组织救护队、担架队、弹药粮食运输队和民工抢修队。
在大战即将来临前，方军长考虑到衡阳百姓的生命财产，亲自调拨军列，实施“衡阳空城”计划，把30多万市民疏散出去。并向衡阳市民承诺，除飞机、大炮毁坏房屋家产之外，如有财产丢失情况，全由第10军负责赔偿。第10军军纪严明，深受衡阳人民的拥护，他们开进城那天，十几万群众夹道欢迎，送茶水、送食品，情景让人十分感动。
1944年6月21日，日军第68师团和第116师团，分别到达衡阳附近的石湾、白果一带。第二天，日军飞机开始对市区进行狂轰滥炸，城区多处燃烧起来。日军从长沙一路南下，没有遭到中国军队的抵抗，所以十分骄狂。他们在沫河强渡，居然连火力掩护都不组织，就堂而皇之地乘汽艇、橡皮艇和木船开始渡河，丝毫没有把对岸的中国军队放在眼里。
守卫在沫河西岸的是190师的1个营，他们的任务是前哨警戒，完全可以不作抵抗，后撤到五马归槽的阵地上去的。但是他们看不惯日本鬼子的嚣张，营长杨济和果断下令，全营进入阵地，待日军渡到河中间时，20多挺轻重机枪，4门战防炮同时开火，顿时将日军打得人仰船翻，死伤落水300多人。日军根本没想到在此会遭到如此的打击，一下子懵了头，没死的鬼子兵急忙调头逃回，不敢轻举妄动，只是用机枪和火炮向对岸射击。
随后日军主力师团渡过了沫河，25日向五马归槽一线发起总攻。国民党军事委员会判断衡阳第10军只能坚守三天。因为这支部队远比坚守长沙的第4军单薄，而第4军在长沙只坚守了四天。蒋介石给方先觉下的命令是十天或两个星期。
日军攻击重点是五马归槽，一开战双方打得异常激烈。日军炮火非常猛烈，守军在衡阳城区的炮兵也开炮支援。数十里外，双方空军也赶来助战，一时间炮声隆隆，火光冲天，漫天硝烟遮云蔽日。第190师的570团隐蔽在工事中，当日军步兵冲锋的时候，他们以机枪步枪手榴弹给予痛击，激战持续到下午。第10军刚刚归建的炮兵营，用新式美制山炮支援五马归槽，打得日军丢盔弃甲，团长贺光辉趁势反击，把日军击退。贺光耀腹部重伤，副团长冯正之接替指挥。
方先觉军长见五马归槽守军伤亡较大，而此地不过是外围，应当尽量保存有生力量，在城区同敌较量，便下令后撤。第54师的饶少伟接到命令，心想机场既然不保，自己的任务也就完成了。于是他命令一团长带1营、2营及伤员过沫河，回去归建。自己则率3营留下参战。这样第54师又走了1000多人。方先觉对此也没说什么，人家毕竟是客军嘛。
日军占领了五马归槽阵地后，立即向衡阳机场推进。半夜日军的松山支队攻入机场，方先觉听说机场还没有来得及破坏，并命令190师不惜一切代价夺回机场，并将其破坏掉。
师长容有略亲率569团借夜色掩护，趁日军立足未稳，突然杀入机场。日军根本没有想到中国军队这么快就来了个回马枪，猝不及防。经过5个小时的死拼硬打，付出200人的伤亡代价，终于夺回机场，并立即组织对机场的破坏行动。他们还没有离开机场，日军的独立大队便围上来了，经两天的激战，第190师加上第54师的一个营，只剩下1800人了。
衡阳保卫战其实只是湘桂会战中的一次战役，共分三个阶段：第一阶段于6月22日至7月2日；第二阶段于7月11日至7月19日；第三阶段于7月27日至8月7日。每一个阶段都发生了戏剧性的变化。
在第一阶段中，最值得一提的有三件事。首先讲述一下预备10师30团的3营7连。连长叫张德山，骁勇善战，嗜酒如命，因此在军里有“猛张飞”之称。7连是全师最精锐的连队，战力强悍。他们坚守在张家山阵地南侧，正扼要冲之地。为争夺这个阵地，日本鬼子不惜血本，一个大队的兵力反复冲锋，都被击退，战斗持续一天，7连伤亡一半，日军则在阵地前丢下500多具尸体。6月28日，日军又派117大队向7连阵地冲锋。第30团团长在电话里命令张连长设法突围。张德山在电话上大笑起来，他说我张德山的连队什么时候后退过。他放下电话，率领残部向鬼子决一死战。全连除一名伙夫外，全部壮烈牺牲在阵地上。日军117大队也死伤过半。英雄的第7连，为衡阳保卫战增添了辉煌的一页。消灭日军七八百人，创下一个连队歼敌最多的纪录。
双方都打红了眼，预10师师长葛先才得知第30团的两个营全部伤亡殆尽，亲率师直属连支援反击。他赤膊上阵，全师官兵为之大振，一时间号声大作，官兵同声呐喊，战志如云，同敌人鏖战一个时辰，终将正面的鬼子兵全部歼灭。
第3师师长周庆祥也不示弱，他的第7团几乎全部打光。当日军施放毒气弹的时候，3营长李桂禄率全营剩下的几十人退了下来。周庆祥师长大怒，将营长李桂禄就地正法，撤消团长方人杰的职务，并亲自组织残部进行反攻。
战争也有偶然性。7月1月那天，迫击炮连的白天霖连长，用十倍望远镜搜索目标，无意间发现正南800米的一个小高地上，有十多人正向中国军队阵地窥视，还指手画脚地交谈着什么。白天霖连长根据多年作战的经验判断，这群小鬼子起码得是联队长一级的指挥官。于是他果断下令，集全连8门迫击炮集中射击。第一轮炮弹下去，全部命中，只见十多个小鬼子在炮火中翻滚倒地。紧接着又是两轮急射，炮弹又全部命中目标。他们不知道这次的意外收获，20多颗炮弹，竟把日军第68师团的整个指挥系统给摧毁了。师团长佐久间为仁中将受重伤，参谋长以及下属各联队长、师团参谋长被炸死。
7月2日，日本军队竟然停止进攻。方先觉都感到莫名其妙。
日军的暂时停火，出自于三方面的原因：一是进攻的一线部队，弹药消耗太大，出现告急；二是第68师团指挥系统瘫痪；三是第11军军长横山勇判断失误，他万万没想到坚守衡阳的第10军，战斗力很强，在战役防守上几乎没有出现一丝差错。
于是横山勇在军需物资到达后，重新调整部署，发动第二次总攻。进攻衡阳的整个指挥权，交给第116师团的岩永旺师团长。岩永旺中将是有作战经验的，他以第68师团主攻衡阳南部，第116师团主攻西南部，第58旅团和218联队攻打衡阳小西门方向。整个战斗于7月11日开始。
战斗最为激烈的是衡阳西南方向的张家山阵地。负责进攻的是116师团最悍勇的第133联队。他们第一次大规模进攻，被坚守在阵地上的预10师30团给击退，致使日军这个联队伤亡惨重。这支精锐的日军联队，在友军面前大丢面子。他们在得到补充兵员后，师团长又给他们配属了第122联队的一个炮兵大队。联队长黑濑平一大佐，把联队的军旗展开，向全体官兵训话，只要133联队还有一个人活着，就要把队旗插上张家山。
第133联队连续三昼夜的疯狂进攻，都没能在张家山前进一步。黑濑平一联队长，把残部编为百人一个梯队，在空军和炮火的掩护下，又发起一波接一波的冲锋。坚守在张家山的30团，现在只有一个连的兵员了，但是他们面对敌人12次冲锋，10次突入阵地的激战场面，毫不畏惧地用手榴弹和刺刀把敌人击退。在部分阵地失守时，团长陈德坒率仅有百名战士发起反击，又把阵地夺回来。
预10师参谋主任率两个连增援张家山，在不到一天的战斗中，两连战士全部战死，阵地再告失守。当晚军部工兵营两个连又去增援，发起反冲锋，第三次夺回阵地，并用尸体堆积战壕，上面加盖沙土，作为阵地墙。
在敌人疯狂反扑时，工兵两个连几乎全部牺牲。
方先觉急令第3师8团两个连上阵地支援。预10师师长葛先才亲自率这两个连，对日军进行顽强抵抗，一连打退日军三次大规模进攻。战斗到7月13日，新增援上去的6个连几乎全部阵亡。方先觉命令坚守张家山的所剩人员撤退，放弃张家山。
连续九个昼夜的鏖战，日军以8000人的伤亡代价，只攻占了张家山、虎形巢为核心的一线阵地，他们仍然被中国军队拒在衡阳城外。7月20日，横山勇不得不接受无情的现实，再次下令停止攻城，命令第116师团和第68师团原地休整，再次补充兵员和补给，准备再战。
日军进攻衡阳的两个师团，从开战以来，死伤达万人以上。中国军队的伤亡也是惨重的，能参加战斗的不过几百人，伤员达七八千之多。原来蒋介石要方先觉坚守衡阳十天或两周，现在守城已有一个多月，所以中国军队弹药、粮食、医药都处在极为困难的时候。但是他们仍在衡阳孤城里坚持战斗。