這個時候，對於長沙城下的日軍第三和第六兩個師團來說，能否攻下長沙已不重要了，還是保命要緊。所以，一接到阿南將軍下達的撤退命令，兩個師團的日軍便準備開溜。一些被纏住的無法脫身的日軍，則是想盡辦法脫離戰場。擔任掩護撤退任務的日軍此時只能恨自己倒黴，落得了這麼一個壞差事。至1月5日7時左右，圍城的日軍已經全部撤走。長沙城四郊，戰聲盡息，一片寂寥。
日軍第3、第6師團從長沙城下倉惶撤退時，首先遇到的就是第9戰區的主力軍、曾以“鐵軍”著稱的第4軍的堵擊。不過，該軍圍殲的重點是日軍第3師團。
日軍第3師團非作戰部隊於4日日落後開始集結，準備向東山軍用橋退卻。師團長豐島房太郎中將率第3師團戰鬥指揮所先行撤退。第68聯隊跟着撤退。可是，當其退到雨花亭北側時即被第59師包圍。的野憲三郎聯隊長拔刀保護軍旗，命令第2大隊從後面衝上來擔任前衛，才殺出一條生路。5日2時，其獨立山炮兵第52大隊在瀾泥衝也被第59師包圍，後由第1大隊救出。至5日晨，該聯隊才跌跌撞撞地到達東山鎮。第18聯隊最後撤退。當其退到妹子山、阿彌嶺時即受到第102師與第3師的夾擊，繼而又在東山附近遭到第79軍第98師第293團的阻擊。日軍第3師團在這一夜之間的撤退路上就丟下了1000多具屍體。
5日凌晨，好不容易到達瀏陽河畔東山鎮的第3師團，卻又遭到對岸第98師兩個團猛烈的炮火襲擊，而河上的橋樑早已被毀，第4軍正由背後追來。豐島房太郎見此處已無法渡河，只好命令部隊沿瀏陽河南岸從磨盤洲附近徒涉。
可是，當其18聯隊先頭部隊剛到達磨盤洲附近，對岸第98師第292團便槍炮齊發，一陣猛打。一些正在渡河的日軍掉頭就往回跑，跑得慢的當場被擊斃；有部分膽大的不顧死活仍往前衝，倒還真是過去了一部分人。
而此時後面追擊的第4軍也已逐漸逼了過來，豐島房太郎師團長趕緊把身邊僅有的一些參謀、勤雜人員組織起來進行阻擊。幸虧其後繼部隊第68聯隊及時趕到，才救了豐島房太郎一命。
豐島房太郎見磨盤洲對岸也已有所準備，大部隊無法從這裡渡河，便留下一部在此強渡，其他人員向朗梨市轉進。因爲他已得知，第6師團已於上午從朗梨市渡過了瀏陽河，此時正在對岸休整。原來，在長沙城東北一線的日軍第6師團，趁着第3師團在長沙東南部與第4軍激戰突圍時，撤到了朗梨市一帶，並在朗梨市邊的瀏陽河上架好了渡河的軍用便橋。
豐島房太郎爲了保命，丟下大部隊，自己帶着幾個侍從利用堤坎的掩護，徒步跑到了高橋。
後來，第3師團的大部隊在第6師團的接應下，從朗梨市軍橋撤過了瀏陽河。
而在磨盤洲附近的日軍戰至黃昏後，已無力再戰，又與主力失去了聯絡，手足失措之餘，乃集結殘衆，豎起了白旗，示意投降。不料，第292團官兵戰興正酣，且暮色蒼蒼，倉促中沒有理解這是日軍投降的信號，還以爲日軍在耍什麼花樣，於是不管三七二十一，又對其進行了一番猛烈掃射。此股日軍最後乘夜暗向東山、谷塘、永安等方向逃竄。
第二天，第292團清掃戰場時，僅在磨盤洲一帶鏖戰過的地方，即發現日軍屍體300餘具，師長王甲本集屍葬之，並立碑“倭寇萬人冢”以志。
1月6日，日軍第3、第6師團離開朗梨市，向北退去。由歐軍長率領的第4軍和由蕭軍長率領的第26軍緊追不放。豐島房太郎和神田正種此時都不敢戀戰，兩個師團排成長長的並列隊形，繼續向楓林港一帶撤退。
在日軍第3、第6師團北撤的同時，在金井附近的日軍第40師團則奉命開始南下，其主力於6日黃昏進到春華山以北地區，掩護第3、第6師團的撤退。而該師團的龜川部隊仍留在金井附近，擔負掩護全軍側背的任務。
第9戰區在第三次長沙會戰戰鬥要報中這樣總結這一階段的作戰：
1月4日夜，自長沙外圍敗殘之敵，潰逃至東山、朗梨市、長橋、石灰嘴地帶。我第4軍由東屯渡，第73軍由湖跡渡銜尾猛烈追擊。第79軍向東山、朗梨市，第26軍向長橋，第78軍向濱?{，自東向西猛烈截擊。第99軍向石灰嘴、白茅鋪，自西向東，猛烈截擊，形成第一次追擊包圍戰，痛殲兩晝夜，斬獲甚衆。
在一階段的追殲戰中，由於第9戰區的主要目標是日軍第3師團，所以該師團的損失要比第6、第40師團嚴重得多。但在接來的撤退中，第6、第40師團就沒那麼好運了。
這時，中國第九戰區的部隊，從東南面、東面、東北面、西北面和西面對長沙的日軍發起向心攻擊，實施合圍。前有兵堵，後有尾追，側面也有打擊。第三次長沙會戰，終於到了熔爐升到最高溫度的時候——聚殲日軍。
“弟兄們，快加速前進，跟緊前面的人，別掉隊。”
“旁邊的人拉一把，別讓自己的弟兄掉了隊。”
“弟兄們，我們一定要搶在小鬼子前面搶佔金井。圍殲狗孃養的第六師團。”
這是劉建業站在行軍路邊給自己部下的弟兄們鼓勁打氣。
自從1月4日下午，當小鬼子的進攻變得有氣無力，城外的便衣隊也不時彙報日軍輜重部隊正在到處蒐羅騾馬，準備大車的時候，劉建業就感覺小鬼子肯定是想以最後的一次進攻來作爲撤退前的掩護行動。
“不行，絕對不能讓他們這麼輕鬆的就溜掉了。中國的土地可不是他們自家的菜園子，想來就來，想走就走。”劉建業想到這裡，馬上向薛長官彙報眼前的日軍有異動，很可能會要放棄進攻，轉而溜走。
可是，夜半後，新20軍軍部接到了長官部傳來的通報：“我王、楊、羅諸兵團皆以到達指定位置開始行動，敵後路已斷，長沙地區的敵人有潰逃模樣。敵如潰逃，你軍責在守城，無追擊任務。”
如果是在一般時候，劉建業接到這樣的命令，很可能就會把懸着的心放下來，渾身也會感到難以形容得輕鬆。可是，這個時候的劉建業可是對長官部的命令深感失望。
日軍第六師團，這支臭名昭著的野獸部隊，南京大屠殺的元兇部隊；第三師團，南京大屠殺也有他們的份。作爲後世在南京這座苦難深重的城市裡出生長大的人，劉建業對於給這座城市帶來前所未有的浩劫的日軍部隊從來就恨之入骨。每一次看到在江東門的大屠殺紀念館裡的森森白骨，每年的12月13日聽着城市上空迴繞着淒厲的空襲警報聲，劉建業就會對在整個抗戰裡中國軍隊沒有能夠成建制的消滅任何一支曾經參與過大屠殺的部隊而感到深深的遺憾。眼前，這兩隻日軍部隊已經是糧彈匱乏，供給斷絕，傷員衆多，士氣低落，無心戀戰。如果在這種大好形勢下，不能抓住有利時機成建制的消滅一支日軍，那簡直就是浪費上天賜給的大好機會。
但是，長官部的命令也是不能不遵守的，同時，這連日以來的血戰，也讓劉建業屬下的新20軍損失相當嚴重，所謂“殺敵一千，自損八百”，就是如此。如果讓部隊去追擊敵人，部隊是不是還能有士氣和體力上的保證？劉建業也不清楚答案。
“各位，這裡是長官部傳來的通報。你們看看吧。”坐在桌前，劉建業把通報交給本軍的各位主要軍官和臨時配屬自己部隊的預備第十師方師長傳閱。
“軍座，這下好了，鬼子終於要撤退了。我們可以歇一歇了。難得啊。”毛師長如釋重負地說道。
“就是，這幾天弟兄們打得實在是太苦太累了。”段師長也附和着。在這幾天的戰鬥裡，段師長也是幾乎沒有睡覺，每天不停的指揮部隊頂住日軍一陣接一陣的進攻，有的時候還要親上前線督戰，累得雙眼凹陷，頭髮亂如蓬草，臉上的線條也硬了許多。
有兩個師長帶頭，其他的軍官們也不住點頭。大家這幾天堅持下來也的確不容易，上峰既然有命令下來，爲什麼不休息一下，也好讓部隊休整休整呢？
劉建業看着下面的軍官們這樣的表現，難得的保持了沉默。
國軍在長沙會戰中的戰術指導思想基本上是：節節抵抗，誘敵深入，讓開大路，集重兵於後方要地，待日軍孤軍深入、疲憊不堪之時，加以重兵圍殲。實際上，國軍不僅在長沙會戰中，甚至在整個相持階段的各戰役中，也多采取此種戰術。由於日軍在總體上處於戰略守勢，無法再像以前那樣糾集大軍展開全面攻勢和作持久之鬥，即使佔領某些城鎮也多無法固守，最後無論勝敗與否都不得不撤回原防。
這種戰術可以說是一種以“空間換兵力”的戰術。它是國民政府軍事當局根據保存實力的原則，利用日軍無長久耐力的弱點及華中、華南地理特徵所制定的較能符合戰地實際的一種作戰方法，國軍依此戰術在對日軍的作戰中，有時也能取得不錯的戰果。但是，我們還要看到，國軍採用這一戰術正說明其在正面戰場上抗日作戰積極性的下降，不求主動進攻，但求防守自保。國軍採用的這一戰術，從根本上說也是由國民政府軍事委員會所確定的抗戰第二期軍事戰略所決定的。
儘管這種以“空間換兵力”的戰術對國軍有一定的實用性，但國軍在運用這種戰術時還是出現了不少問題，這主要是由其整體戰術素質不高所造成的。如在長沙會戰中，每次臨時配屬給外單位指揮作戰的部隊在行動上很難與該單位的部隊達到“步調一致”，不是不聽指揮，就是聯絡不上，甚至有的部隊爲了保存實力，“隔岸觀火”；多數官兵仍有呆守陣地的習慣，作戰缺乏靈活性；中下級指揮官多不能適時捕捉戰機，對於預備隊、工兵、輜重部隊等使用，也多不適當；部隊撤退時，往往是直線後退，而且一退就很難再站穩腳跟，這樣，反而衝亂了己方後線陣地，從而造成一種不可收拾的全面潰退局面；步炮難以協同，配屬各部隊之炮兵，多未能發揮其應有的作用；等等。