16日下午4時，方先覺接到報告：“鐵路機修廠失守，軍參謀長王榮波與500多54師官兵全部殉國，衡陽城的南大門已經被打開了。現在日軍正在全力進攻衡陽火車站，試圖再打開衡陽的東大門。”
此時，方先覺手上早以是無兵可調了，衡陽火車站的失守也只是時間的問題了。當晚，方先覺下令，放棄所有外圍陣地，全軍退入衡陽城內，死守衡陽！
第10軍調整部署後，外圍陣地已經全部放棄了，誰知日軍卻遲遲未向城區內發動進攻。原因是日軍此時也是精疲力盡了，他們在等待援兵、彈藥和給養的到來。這次總攻衡陽的戰鬥，讓日軍再次的損失慘重。日軍第11軍的戰報稱：“我軍再度發起的總攻，和上次一樣，兵力損失不下萬人。雖然打開了進攻衡陽城區的大門，但我軍也無力再繼續進攻了。”
戰前第10軍將士以爲馬上就可以戰勝日軍，奪取保衛衡陽的勝利夢想全都成了泡影，如今再也沒人說：“再不上陣，就沒有立攻的機會了！”眼下的形勢讓他們明白了，第10軍將會成爲第二個57師，恐怕只能是戰至最後的一兵一卒了。
日軍休整了2天之後，再次發動了進攻。衡陽城內外又是炮聲隆隆，陣地前喊殺聲徹夜不斷。19日，日軍的進攻再度受挫。兩個師團不得不停下來，再次補充兵員和裝備後，橫山勇才下令繼續進攻衡陽。
同一日，遠在重慶的蔣委員長電令方先覺：“無論兵員如何缺乏，必須編足數營，向增援友軍方向出擊，否則，敵必將以守城部隊無力而不退矣！”
對於蔣委員長的電令，方先覺感到了很奇怪，他拿着電報自言自語的說道：“我第10軍已孤軍奮戰多日，始終未見一兵一卒的援軍。在這即將城破人亡的最後時刻，怎麼就突然有了援軍了呢？”
原來，在衡陽保衛戰打響之後，隸屬於薛嶽指揮的粵系第62軍就奉命開到了衡陽附近，準備策應第10軍的作戰。誰知他們突然接到蔣介石的命令，要求他們立刻去祁陽進行集結待命。結果，就在他們後撤祁陽的途中，橫山勇就把偌大的衡陽圍了個水瀉不通。那麼蔣介石爲什麼要撤走第62軍呢？其實，蔣介石不相信第10軍可以守住衡陽城，他怕衡陽城失守後，日軍會向大西南進攻，所以他決定將62軍撤下來，去祁陽一線佈置防線。如今，第10軍已死守衡陽多日，方先覺多次向軍委會求援，蔣介石又覺得不能將第10軍棄之不顧，於是他給第62軍下達命令：“第62軍即刻由祁陽出發，沿湘桂鐵路向衡陽之敵攻擊前進，解救方先覺部之圍。”20日清晨，第62軍從祁陽出發，中午時分便到達了白鶴埔附近，62軍軍長黃濤接到先頭部隊報告：“約一個聯隊的鬼子已佔領白鶴埔車站，攔住了我軍前進的道路。”
62軍軍長黃濤當即命令先頭部隊第151師，向白鶴埔車站攻擊前進，爲全軍打開前進的道路。誰知151師與日軍激戰了一日，始終未能拿下白鶴埔車站，由此，62軍軍長黃濤判斷，這個日軍聯隊所擔負的任務是：死守白鶴埔車站，阻擋62軍增援衡陽。黃濤知道救兵如救火，每耽誤一秒鐘，都有可能促使衡陽城陷落。但是如今鬼子阻斷了62軍前進的道路，讓62軍舉步爲艱啊。黃濤認爲如果硬從正面突破，不僅要付出重大的犧牲，而且還會讓62軍實力大損，更會耽誤寶貴的時間，很難達到救援第10軍的目的。經過一翻思量之後，黃濤決定以一部分兵力牽制日軍的阻擊部隊，全軍主力饒過白鶴埔車站，繼續向衡陽方向進軍。
半路上被鬼子攔住的第62軍，就是蔣介石所說的友軍。方先覺接到蔣介石的命令後，心想就自己這樣一出擊，“敵以爲守城部隊有力而就退卻矣”這完全就是不靠譜的事情嘛，這個想法實在是太可笑了。但他還是按照蔣介石的命令，向前來增援的62軍方向出擊，試圖與友軍會師。22日午後，方先覺聽到城西方向穿來的槍聲，當即用電臺與62軍取得聯繫，約定互爲策應，爭取早日達成會師。緊接着，方先覺抽調部隊向城西方向出擊，試圖打通與友軍的聯繫。
在重重包圍中的方先覺心急如焚的盼望着友軍的到來，22日黃昏，前線部隊報告：“日軍配備在西南方向的炮兵部隊已撤到了湘江東岸，在西北地區的鬼子炮兵也後撤到了蒸水地區。”得到這個報告後，方先覺意識到有可能是第62軍得手了，自己有突出重圍的希望了。方先覺認爲不可以大意，還是應該派人再去偵察一下，另外還得用電臺與62軍聯絡一下。
夜裡，派出去偵察的人回來了，他向方先覺報告說：“湘江與蒸水河上都架起了浮橋，有日軍部隊正在陸續後撤。”方先覺意識到62軍是真的得手了，現在鬼子們已經慌了，他們已經開始秘密的撤退了。方先覺認爲不可以錯過這次機會，應當立即行動，即可向62軍靠攏。
就在方先覺剛要下令突圍的時候，派出去向城西方向迎接友軍的部隊回來了。方先覺急忙將帶隊的軍官叫來詢問情況，帶隊的軍官姓曹是個少校營長，他如實的向方先覺彙報了情況。他對方先覺說道：“歷經險阻，竟未與友軍相匯，遂半夜失望而歸。在歸程途中，受到日軍突然襲擊，在部下的捨命阻擋下，才死裡逃生！”這支部隊竟衝出了日軍的包圍圈，接着沒找到友軍後，居然又殺回了城內，這令方先覺感到了萬分的驚訝，方先覺再次向曹營長問道：“援軍沒有找到，他們沒有打到預定接應的地點？”在得到了曹營長肯定的回答後，方先覺繼續問道：“那城西的槍聲是怎麼回事，鬼子們在城西搞什麼鬼呢？”曹營長回答道：“不知道，只是我們發現鬼子的大炮全都對着城內，鬼子步兵們也在頻繁的調動，好像要有什麼大的行動！”方先覺一下子醒悟了過來，他大聲的罵道：“橫山勇太他媽的狡猾了，這分明就是他佈下的圈套，想利用援軍來引誘我們出城！然後在城外圍殲我們！”
方先覺猜的沒錯，這確實是橫山勇的詭計。鬼子們佯裝撤退，誘使城內的中國守軍出城與援軍匯合，既而在城外殲滅第10軍殘部，然後奪取衡陽城。幸虧曹營長及時的殺了回來，才讓方先覺識破了橫山勇的詭計，沒有下令出城突圍，避免了第10軍全軍覆滅的危險。
就在62軍想救而救不了第10軍的時候，日軍一個旅團的援兵卻到達了戰場。他們立即抄襲62軍的後路，將62軍圍困在了雨母山附近。62軍不得不放棄救援第10軍的計劃，向祁陽方向突圍。24日，第62軍突出重圍，但全軍傷亡慘重，已完全喪失了救援第10軍的能力，蔣介石的救援計劃徹底的失敗了。
62軍被打退以後，橫山勇對衡陽城內的第10軍用盡了心思，不僅天天用炮火來打擊第10軍的抵抗意志，還和方先覺玩起了心理戰。他派飛機飛臨衡陽上空，有時是空投炸彈，有時是空投少量的香菸和大量的傳單，在這些傳單中有加蓋了日軍第11軍關防大印的“通行證”，凡是持有“通行證”的中國軍人出城投降，日軍可以一路放行。另外橫山勇還在傳單中寫道：“能徵善守的第10軍將士，你們的任務已經完成，無愧於你們作爲軍人的職責。可惜你們的蔣委員長已經拋棄了你們，致使你們被圍困在衡陽城內長達1月之久。我大日本皇軍本着人道主義原則，不願再徒增殺戮，現在給你們一條生路。只要你們放下武器走出衡陽城，我大日本皇軍將不會阻攔，任你們隨意離去。”
第10軍的將士們看了這張傳單，都意識到這是橫山勇的詭計。橫山勇想利用62軍無力救援的事實，來煽動、引誘、離間、渙散第10軍的軍心，削弱第10軍將士的抵抗意志。而方先覺採用的對策是，天上掉下來的菸捲兒，誰撿着了就歸誰所有，那些鬼話連天的傳單，誰撿到了可以拿去當擦屁股的手紙，但那些所謂的“通行證”必須上繳，然後統一集中銷燬。方先覺還對士兵們說道：“身爲軍人，理當爲國盡忠，官兵們要繼續苦鬥苦戰，誓與衡陽共存亡！”
結果，日軍的詭計泡了湯，白白的浪費了香菸，卻沒有一名中國軍人拿着“通行證”走出衡陽城。橫山勇氣急敗壞的下達了總攻的命令，再次對衡陽城發動了兇猛的進攻。