8月3日以後，日軍因進攻屢屢受挫，後勤補給也日漸艱難，橫山勇不得不下令由全面進攻改爲重點進攻。可是這些日子以來，日軍的傷亡已經達到了16000人以上，其第68、第116師團早已是傷亡過半。而守城的中國軍隊也有1萬多人，傷亡比率是1：1.6。橫山勇花費如此重大的代價，除了佔據了部分守軍陣地外，其他方面無一所獲，惟獨讓橫山勇高興的地方就是，中國軍隊的援兵始終沒有動靜，不知道是什麼原因導致了中國軍隊的援兵遲遲沒有到位。
日軍由全面進攻改爲重點進攻後，衡陽城內的第10軍也獲得了喘息的機會。於是，方先覺也暫時穩定住了防線。幾經激戰，第10軍的彈藥、給養等已經耗盡，知道8月8日中午，中國空軍才飛臨衡陽上空進行空投補給。由於日軍戰機的干擾，這次空投補給進行得很匆忙，彈藥、給養只獲得了少量的補充。
橫山勇本以爲衡陽指日可下，沒想到第10軍居然是如此的頑強，對衡陽防禦陣地進行了多次猛攻以後，不但沒有拿下衡陽，反而還落得個傷亡慘重。改爲重點進攻後，橫山勇邊集中兵力進行重點打擊衡陽防線的幾處重要的支撐點，邊向岡村寧次發電報，請求岡村寧次儘快的給他提供補充兵員，補充彈藥、給養等物資，等兵員和物資齊備後，就發動對衡陽的第二次全面進攻。
岡村寧次在有限的兵力中，爲橫山勇補充了兵員，彈藥、給養等物資也陸續的運了過來。於是，橫山勇在8月11日，再次發動了全面進攻。進攻伊始，日軍的飛機就開始了猛烈的轟炸。戰至中午時分，日軍的重炮部隊又開始了猛烈的炮擊，直到下午2點的時候，日軍步兵才漫山遍野的殺了過來。當天夜裡，400多鬼子偷偷的摸進了江西會館和衡陽火車站間的陣地內，然後分別朝江西會館和衡陽火車站方向進攻，給中國守軍造成了極大的混亂。
190師569團在得知日軍已滲入防線內以後，就由團長李剛親自帶隊，與滲透進來的鬼子進行了一場激烈的肉搏戰。李剛帶領的敢死隊死戰不退，並用火力截斷了鬼子的後續部隊，用了3個多小時的時間纔將滲透進來的鬼子全部殲滅。12日上午，激戰再起。鬼子發動了更加兇猛的進攻，569團的官兵們抱着必死的決心，在團長李剛和副團長李洪峰的指揮下，在幾進幾退的反覆爭奪之後，纔將鬼子們趕下了陣地。
與190師的戰況比起來，第54師可就不輕鬆了。鬼子成功的殺入了54師的防線，並佔領了54師的核心陣地--鐵路機修廠，鬼子們把機槍架到了屋頂上向四周掃射，極力阻止第54師的反攻。
第54師的損失很大，全師官兵也僅剩下4000餘人了，師長周洋爲了儘快奪回陣地，親率師警衛營衝了上去。在付出了巨大的傷亡之後，終於重新奪回了鐵路機修廠。但是還沒等周洋喘過氣來的時候，他的副官匆匆跑來告訴他，副師長張昭義帶着357團擅自撤退，從城西的方向逃跑了，看樣子他們是打算逃到湘西的大山裡去。周洋知道副師長張昭義本就是土匪出身，那357團都是他的老部下。當年正是由於與其他的匪幫爭霸失利，才下山投奔了國軍。投降後就被編在了自己的警備旅裡，直到42年的時候，第10軍組建時便被整編成了第10軍第54師。
副師長張昭義的逃跑，給周洋造成了很大的打擊，他不得不將情況上報到軍部。軍長方先覺一聽到這個消息，頓時就發了火，大罵周洋沒用，並下令撤掉了周洋的師長職務，等戰後再接受處理。但54師的情況已經是萬分危急了，方先覺只好將軍部警衛團交給了軍參謀長王榮波，讓他火速帶警衛團增援第54師，並暫時代理54師師長一職。
王榮波來到了54師師部，見到了已經被撤了職的周洋，王榮波對周洋說道：“我跟軍座求過情了，你暫時留在師裡，協助我指揮部隊，也算是給你一個帶罪立功的機會吧。”聽了王榮波的話，周洋感激的說道：“謝謝參座，卑職感激不盡。”王榮波擺了擺手，然後說道：“你不用感激我，你好自爲知吧。”周洋有些不甘心的說道：“這個張昭義！我一定饒不了他！”一提起張昭義來，王榮波擔心的說道：“你說他會不會去投奔鬼子啊？”周洋想了一下，然後回答道：“我想那是不會的，如今鬼子已經大不如從前了，現在投奔過去，根本就得不到什麼好處的。我想他一定是逃進湘西的山裡去了，重新干回了他的老本行。”王榮波嘆了一口氣，接着說道：“算了，咱們不提他了。你去收攏一下部隊，清點一下損失吧。”周洋答應了一聲就走出了師部，王榮波盯着地圖上的敵我態勢，苦苦的思索着接下來的戰局。
由於連日來的苦戰，54師的官兵精疲力竭，在防線上出現了漏洞。8月13日夜，鬼子500多人分成兩個波次偷襲54師的防線。戰至深夜，54師前沿陣地落入敵手，守衛該陣地的358團殘存的2個營600餘人發起逆襲，總算是奪回了陣地。14日中午，鬼子再次發動攻擊，陣地第二次陷入敵手，周洋再次親率師警衛營趕去支援，激戰到黃昏時分，才從鬼子手裡奪回了陣地。誰知正當官兵們休息的時候，又遭到鬼子的反撲，周洋身先士卒率先撲向了鬼子，在激戰中不幸身中數彈，壯烈殉國。警衛營和358團官兵見師長殉國了，一個個瞪着血紅的眼睛，怒吼着殺入敵羣，雙方在血流成河的戰場上展開了激戰。戰鬥之慘烈，驚天地泣鬼神，中國軍人再一次用他們的血肉之軀，打退了鬼子們的進攻。
第二天清晨，王榮波來到了前沿陣地上，他看着那些殘破的工事，含着眼淚下令在陣亡將士的屍體上加蓋一層沙土，築成能阻擋子彈的戰壕。王榮波對此感到很無奈，因爲戰事緊迫，根本就沒時間來打掃戰場掩埋屍體，唯一的辦法就是把弟兄們的屍體築成戰壕，讓活着的弟兄們憑藉着這些血肉築成的戰壕，繼續與鬼子們戰鬥下去。
下午2點，鏖戰又起。戰至黃昏時分，前沿陣地再次失守，358團全體官兵無一人後退，全部戰死在了前沿陣地上。王榮波抽調出500多人，組成了敢死隊，連夜向鬼子發動逆襲。雙方針對前沿陣地再次進行反覆衝殺，互有進退。直到14日拂曉以後，前沿陣地才失而復得，但是中日兩軍卻都是損失慘重。前沿陣地上早已是血流成河了，堆積起來的屍體足有一米多高。
王榮波手上的兵力已經不多了，已經沒辦法與日軍反覆爭奪前沿陣地了。他主動放棄了前沿陣地，將全部兵力收縮進了鐵路機修廠裡，憑藉那裡堅固的廠房繼續與鬼子周旋，同時他也派人回軍部，將54師的戰況報告給了軍長方先覺。
鬼子佔領了前沿陣地後，繼續向鐵路機修廠猛攻，同時又兵分一路，向衡陽火車站進攻，因爲這兩處陣地是衡陽城南的核心，是守衛衡陽城的兩扇大門，不把這兩扇大門敲開，是無法進入城中的，因此鬼子的攻勢就變得更加兇猛了。
如今54師也只剩下2000餘人了，王榮波留下了500人作爲預備隊，其他的1500人全部守在了戰略據點上。軍裡的預備隊早已用光了，根本就無法給54師派援兵了，他只能依靠現有的2000人來防守鐵路機修廠了。日軍在多次進攻失敗後，就對鐵路機修廠進行了空襲和炮擊，還拼命的向鐵路機修廠內施放毒氣彈。鐵路機修廠內毒霧瀰漫，遮天蔽日，守軍的工事早已是破爛不堪，多數官兵被毒氣殺傷，倒在地上痛苦的掙扎着。黃昏之後，鬼子步兵蜂擁而至，一波接着一波。突然間就在那些破敗的工事裡，再次的爆發出了激烈的槍聲，將進攻中的鬼子打得人仰馬翻的。酣戰至半夜，敵我雙方在陣地上犬牙交錯，難解難分。鬼子連夜加派兵力，繼續猛攻。王榮波帶領着54師殘部，死守鐵路機修廠厂部大樓，做好了戰鬥到最後的準備。