薛嶽並不知道，日本在１９４４年初猛然擴編和新增了三十二個師團。相當於日本１９４３年兵力總數的一半。他們當然有能力在進行豫中會戰的同時，增派兵力到中國，進行長衡會戰。
又過了幾天，楊森集團軍第二十軍軍長楊漢域來長沙向薛嶽報告：“本軍在臨湘敵後打游擊的一個營，近幾天接連向軍部報告，日軍已在臨湘、岳陽一帶大量集結兵力，準備進攻長沙。情況異常嚴重”
薛嶽付之一笑，認爲是下級軍官被日軍迷惑，大驚小怪。他傲慢地說：“經歷了第三次長沙會戰，日軍還敢向我戰區進攻嗎？何況豫中大戰仍在進行，日軍必然在長江岸邊虛張聲勢，向南佯動，以牽制南岸部隊。”
第二天，機要秘書送來重慶軍委會十萬火急軍情通報：現已證實，有大量日軍集結在湖南北部和湖北東部的南通和崇陽一線，目前正向南移動佔領前進陣地，準備大舉進攻長沙。薛嶽看了，大吃一驚。
當夜，第九戰區長官部召開緊急會議，研究禦敵方案。會上爭論激烈。以戰區代理參謀長趙子立爲首的人認爲：日軍進攻豫中平原所動用的兵力，規模空前，從目前得到的情報看，日軍進攻長沙的兵力也是規模空前，又加上日軍有三次長沙會戰吃敗仗的教訓，必然採用新的方法來攻。因此，必須制定新的作戰方案。以薛嶽爲首的人堅持認爲，日軍可能用較大兵團來攻，但決不是所謂規模空前，大得可怕。同時，這山這水這地，仍是以前的模樣，日軍在這樣的環境中作戰，縱有千變萬化，也逃不脫“天爐戰法”的天羅地網。
最後，當然是薛嶽的意見佔了主導，仍按老辦法佈置兵力迎擊日軍。薛嶽只接受了別人的一個教訓，就是不久前蔣鼎文的長官部被日軍打掉，使第一戰區陷入大混亂。爲防萬一，他決定將戰區長官部轉移到長沙以南約二百公里的耒陽。
薛嶽部署完畢，就帶着長官部人員去了耒陽，同時將第九戰區的兵力部署和作戰計劃上報軍委會。
薛嶽剛到耒陽，就收到何應欽和白崇禧的電報。電文說，第九戰區對敵情的判斷不合實際，過分樂觀，兵力部署存在問題，必須迅速變更。
薛嶽沒有理睬上面的命令。但是，白崇禧發了電報，還不放心，又給薛嶽打電話：“根據掌握的情報，日軍在湘北集結的兵力，大大出乎我們的預料，其戰力絕非到長沙就達極限，就是到了衡陽也未必達到極限。我和何應欽總長的意見是，放棄長沙，固守衡山，在淥水以南與敵決戰。”
薛嶽大聲說道：“長沙是湖南省的中心，第九戰區在這裡部署數十萬大軍，如果不守長沙，有何顏面見湘中父老？長沙必須死守，主力在淥水以北瀏陽以西地區與敵決戰”
白崇禧說不動薛嶽，兩人在電話裡吵起來。
薛嶽想，你白崇禧純粹是蹲在重慶瞎指揮。想想１９３９年９月第一次長沙會戰，你和陳誠跑來淥口，不是也說長沙守不得嗎？結果怎麼樣？三次長沙會戰都打下來了。按我薛某人的辦法，次次凱歌高奏，你蔣委員長，你軍委會的大員，也得次次爲我頒發勝利勳章。
白崇禧深知薛嶽是個牛脾氣，要說服他實在太難。前三次長沙會戰的戰績矇住了他的眼睛，別人更難動搖他的判斷。要論湖南的戰事，最有發言權的當然是他薛嶽。何應欽和白崇禧只好默默禱告，但願一切都如薛嶽預料的那樣發生了。
５月２７日拂曉，日軍的鐵蹄又踏上湘北大地。橫山勇指揮第一線兵團發起了攻勢。
日軍左路兵團，由山本師團和赤鹿理師團從崇陽沿湖南和江西邊界的山嶽地帶向南猛插。第二梯隊爲落合師團等部。
日軍中路兵團，由佐久間師團和巖永旺師團從岳陽地區突破第二十軍防線，直向長沙撲來。第二梯隊爲毛利末廣的第五十八師團和伴健雄師團。
日軍右路兵團，由宮川清三的第四十師團、獨立步兵第一○六大隊、峰川建一的獨立混成第十七旅團、獨立步兵第五旅團、軍直轄針支隊、海軍艦隊和陸戰隊等部隊從洞庭湖水域向南進攻。
前線已在激烈戰鬥。
在長沙的湖南大學，守衛長沙城的張德能第四軍、戰區特務營和炮兵第三旅，正在開一個三方會議，研究兵力配備和步、炮兵協同作戰。張德能、趙子立和王若卿分別是這三支部隊的長官，薛嶽責令他們三人守城，卻沒有明確誰是統帥。三馬同槽，職責不明，誰也管不了誰，指揮難免混亂。他們都認爲日軍將以大兵團進攻長沙，但在兵力部署上各執己見，相持不下。
趙子立爲自己分辨道：“長沙只應作爲一個持久的防禦點來遲滯、消耗敵人有生力量，以爭取時間，以利於我機動部隊的集結與決戰。因此，應將第四軍的兩個師和炮兵置於城西嶽麓山，一個師放在城裡。只要嶽麓山陣地能確保，長沙城就可確保，就是在長沙城不能確保時，由於主力在嶽麓山這邊，也可掩護城裡那個師西渡湘江，免遭日軍殲滅，向西或向南撤退也來得及。”
張德能的意見與趙子立針鋒相對，主張將主力放在城內死守。他決心親率兩個師住進城去，一個師放在嶽麓山。
雙方爭執不下，張德能搬出薛嶽來壓人，厲聲道：“第四軍將主力放在城裡，是薛長官的指示。”
張德能是第四戰區司令長官張發奎的侄兒，與薛嶽的關係自然密切。他沒把趙子立放在眼裡，要按自己的主張行事。他將第九十師放在嶽麓山這邊，自己率領第一○二師和第五十二師住進城裡，軍指揮部設在城內坡子街中央銀行的防空洞內。
６月６日，日軍右路兵團突過洞庭湖水系，佔領沅江，將第六戰區南下救援的王耀武集團軍阻擊於益陽地區。日軍繼續南下，於１６日攻佔長沙西面戰略要地寧鄉。
中路日軍的兩個師團，突破新牆河南岸的守軍第一道防線，一度包圍第一三三師，並企圖包圍殲滅楊森集團軍總部和楊漢域軍主力。楊漢域軍另外兩個師前往救援，打破日軍包圍，楊漢域軍主力和楊森集團軍總部才從平江退向左側，企圖向瀏陽地區靠攏。
中路日軍第一線兵團長驅直下，在６月８日就抵達長沙城郊，僅以一部分兵力攻打長沙城，主力繞過長沙，繼續向南推進。
中路日軍第二線兵團伴健雄師團和毛利師團，在一線兵團掃清的通道上快速推進。１３日，伴健雄師團與右路軍的志摩支隊和針支隊會合，共四萬多兵力，從長沙北面突然西渡湘江，迂迴攻打嶽麓山守軍。而毛利師團也在這時抵達長沙城下，迂迴到西南方，向長沙發動猛攻。
此時，日軍左路的第一線和第二線兵團，夾擊和圍攻瀏陽地區的中國守軍機動部隊王澤浚第四十四軍、傅翼第七十二軍、魯道源第五十八軍和羅奇第三十七軍，打得這幾個軍亂成一團，紛紛向江西邊境突圍潰退。
整個戰區亂了陣腳，陷入被動挨打的局面。
薛嶽急得頓足捶胸，叫苦不迭，只得向各集團軍、各軍下令：“各部隊索敵攻擊。”
長沙城處於萬分危急之中，日軍兵團洶涌而來，其銳氣在推進途中絲毫未受挫折。
嶽麓山守軍力量單薄，在日軍連日猛攻下，漸呈不支狀態。
張德能這時才知道趙子立的意見是正確的。他想從城內抽一個師增援嶽麓山，但城內船隻早已派去疏散物資，無船可用。
１６日深夜，嶽麓山外圍陣地失守，山上的炮火支援受到削弱。湘江東岸，日軍瘋狂地向城內猛撲，突破了城內部分核心陣地。
張德能面臨的情況萬分險惡，如果嶽麓山失守，城內的兩個師將被全殲。他命令第一○二師搶渡湘江，增援嶽麓山。
戰況慘烈，從城裡撤退的第一○二師官兵，以爲是從長沙撤退，擁到江岸時，便爭相渡江，秩序大亂。隊伍過江後，沿着嶽麓山至衡陽的公路退卻，張德能還矇在鼓裡。
幾天來，他到城內各陣地督戰，成天被日軍飛機炸、大炮轟，早已疲憊不堪。那天夜裡，他將守城的任務交給第五十九師師長，帶着幾名衛士乘船過了湘江，準備親自去鎮守嶽麓山。他來到湖南大學，已是凌晨４點，走進屋子，一頭栽倒在地，呼呼地睡了過去。嶽麓山上百十門大炮的吼叫，也沒把他吵醒。
１７日早晨，最先醒來的衛士看見外面江邊上第一○二師的官兵往衡陽方向跑，趕忙推醒軍長。張德能勃然大怒，衝出去“砰砰”朝天放了兩槍，大聲吼道：“統統回來，不回來我槍斃你們”但是晚了，該師大部已在天亮前撤退。
１８日早晨，嶽麓山失守。
同一天，城內的第五十九師見嶽麓山被日軍攻佔，失去了依託，只好突圍出城，向瀏陽方向撤退。長沙失守。
蔣介石得知敗訊，十分震怒，連連責問：“第四軍是怎麼搞的，誰叫他們撤退？”他接到孫連仲第六戰區第二十四集團軍王耀武從湘北前線打來的電話，說他奉命率部增援長沙，被優勢日軍堵截在益陽地區。他曾打電話找趙子立請求任務，趙子立說，在守衛長沙的問題上，他和張德能意見分歧，張德能固執己見，將主力放在城內，看來長沙是守不住了。他身爲戰區代參謀長，卻不能指揮長沙防衛戰，希望王耀武據實報告委員長。
蔣介石對張德能失守長沙怒氣沖天，立即下令：趙子立和張德能前往重慶，向軍委會彙報長沙作戰經過。
蔣介石要的兩個人剛到重慶，張德能就被軍法執行總監部逮捕下獄。後經軍法部審判，確認他在守衛長沙城的戰鬥中犯有罪行，判處死刑，於當年７月槍斃。趙子立在長沙守衛戰中被張德能架空，未負實際責任，免予追究。
長沙失守，蔣介石爲確保衡陽，決定在淥水至衡山地區採取“中間堵、兩邊夾”的戰略手段，將長沙地區的日軍阻擋在淥水以北。他電令薛嶽迅速調整部署，達成以上戰略目的。
但是，由於戰場形勢劇變，蔣介石的戰略企圖變成了畫餅。
薛嶽接到蔣介石的電令時，第九戰區仍在執行“各部隊索敵攻擊”命令，實際上，是各部隊都被日軍追蹤攻擊，根本無法收攏兵力，組織實施蔣介石的戰略計劃。直到２３日，薛嶽才與各部取得聯繫，下達各自的集結地點和攻擊目標，但爲時已晚了。
中路日軍第一線兵團，在第二線兵團圍攻長沙城時，便沿長沙東側繼續南下，好像是爲了阻擊從衡陽北上增援長沙的中**隊，實際上另有他圖。當日軍第二線兵團剛剛攻下長沙，已經過一定休整和補充的第一線兵團，立即從株洲附近沿湘江兩岸向衡陽推進，行動迅速，一鼓而下。
在湘江東岸，佐久間師團瘋狂南進，到達衡山地區，與守軍打了兩天，於２３日清晨搶渡洣水，當晚進抵衡陽東南郊區的泉溪，並連夜渡江。２４日白天，該師團主力冒着美軍飛機的轟炸掃射，繼續強行渡江。
巖永旺師團與東岸日軍齊頭並進，於２３日到達衡山地區，迅速突破守軍防線，２６日抵達衡陽附近，迂迴到衡陽城西郊。
同時向南突進的還有赤鹿理師團。它在日軍攻下長沙城時，從江西上慄突然南進，穿過萍鄉、攸縣和安仁等縣境，在衡陽東北方警戒井岡山地區的中國部隊，以保證進攻衡陽城的日軍的側背安全。
這三個師團的日軍，都是在中**隊企圖中間堵、兩邊夾的部隊尚未部署到位時，就順利突破了險峻地域，成功地打了一個時間差。
日軍快速部隊在衡陽郊區的進攻打響一天之後，楊森集團軍和王陵基集團軍纔在淥水以北的湘贛邊境山地集結起約十五個師的兵力，向醴陵地區出擊。但是，這些部隊尚未充分展開，便遭到日軍三個師團的搶先攻擊，拳頭尚未捏攏就被衝散。
湘江西岸的王耀武集團軍，也沒料到日軍南下如此之快。本來要調集各軍與東岸的川軍夾擊日軍，可是還沒來得及集結部隊，東岸的川軍就被衝散了，而日軍已在攻打衡陽城，在此夾擊日軍已失去意義。王耀武便令李天霞第一百軍和施中誠第七十四軍各一部，跟蹤向南追擊日軍，又令其他各軍迅速向安化、新化和寶慶地區集結，準備去解衡陽之圍。
第四次長沙會戰是長衡會戰的第一階段，而長衡會戰又是日軍爲援助南洋日軍而進行的打通大陸交通線作戰的重要組成部分。在第四次長沙會戰中，中國守軍多次打退日軍的進攻，給日軍以重創，但是由於薛嶽的輕敵和張德能的指揮失誤，未能阻擋日軍的大規模進攻。
日軍越過了長沙，大西南最後一重門戶衡陽城，直接面對着日軍滴血的刀鋒。巖永旺師團和佐久間師團，在兩翼策應下，對衡陽虎視眈眈。
這時候，在第十軍作戰室的隔壁，軍長方先覺叉腿立於房中，雙手反背，久久仰頭凝視着房頂，已達三個多小時。突然，參謀急急忙忙闖入，慌亂地大聲喊道：“快，軍座，委員長電話”
方先覺一愣，一反以往的沉穩和寧靜，匆匆朝作戰室奔去。
“是方先覺嗎？。”電話裡傳來蔣介石的聲音。
“報告委員長，我是方先覺”
蔣介石對方先覺下令：第十軍在衡陽城中堅守十天到兩週時間，以阻滯、吸引和消耗日軍，配合外圍部隊，力爭將日軍擊潰或消滅在衡陽一帶。“此次衡陽會戰，關係到國家民族存亡，衡陽得失，尤爲勝敗關鍵，希弟安心死守，餘必督促空軍，助弟完成空前大業。”末了，蔣介石加強語氣，別有深意地補充說：“方軍長，第十軍和衡陽城就交給你了”
方先覺立正回答：“委員長放心，我一定忠於職守，效命黨國，人在城在，人亡城失。”
不久，日軍飛機飛臨衡陽上空，對衡陽市區狂轟濫炸。緊接着，由株洲、淥口沿湘江東岸南下的日軍，乘夜晚抵進衡陽城東三十公里的泉溪市，第一九○師派在對岸的少數警戒部隊，對日軍稍作出擊，便撤回陣地，與日軍隔岸對峙。
“各位官長，各位同仁，各位袍澤：值此大戰來臨之際，我軍民同仇敵愾上下一心，共赴國難。然戰火無情，爲減免犧牲，務請民衆一律撤退其所不能帶走之物品，務必將門窗釘牢封存。如房屋被敵擊毀，乃無法避免之損失；若是人爲者破門而入之損失，本軍將保證照價賠償”
衡陽空城了
軍地聯席會議上，國民**軍第十軍軍長方先覺將軍慷慨激昂：“軍部命令：全軍各級政工人員，將會同市、縣政府工作人員分頭勸導民衆；並請粵漢、湘桂兩鐵路局調集車輛於東西車站疏散戰地人民。南行者乘粵漢路車，西撤者乘湘桂路車。軍部派參謀人員協助辦理民衆疏散士兵維持秩序；輜重團派兵一連照顧老幼”
城裡的百姓不斷地向城外涌去，城外的軍隊緊急向城裡集結。
道路兩邊兩股人羣像兩股暗流般涌動着