長沙失守後，軍事委員會爲保衛衡陽、阻敵深入，於6月20日對第九戰區下達了作戰命令 。日軍通過空中、地面偵察，根據中國軍隊的集結、調動情況，再結合以往的一貫戰法，大致上已判斷出軍事委員會集中兵力分由東、西兩面實施夾擊的戰役企圖，遂令東、西兩路日軍集結兵力，加強對醴陵、寧鄉方面的作戰，以掩護中路日軍進攻衡陽。
東路日軍第13師團於6月20日佔領醴陵後，僅以一部兵力繼續南下。而以主力向東進攻準備實施夾擊的中國軍隊，在劉公廟附近重創第26軍，並迫使第58、第72軍向東撤退，於22日佔領了萍鄉。日軍第3師團亦於萍鄉以北地區擊潰了第58軍。軍事委員會計劃的反擊作戰已無法實現。
西路日軍第40師團於19日攻佔寧鄉後即全軍南下，在湘鄉以北擊退第73、第74軍，於22日攻佔湘鄉。守軍新23師(附第92師1個營)退守石獅江、三棗。
與此同時，中路日軍第116師團的第133聯隊，亦向東進攻，配合第40師團，在湘鄉東南的東臺山一帶擊退守軍第32師。至此，第40師團即暫停南進，集結兵力準備與由西北南下的第24集團軍作戰。
中路日軍第116師團和第68師團在日軍總攻長沙之前，即已於6月13日和16日分別輕易地佔領了株洲及清江鋪。守軍暫2軍退守淥水南岸。配屬第116師團的第68師團第133聯隊則西進，佔領了湘潭。守軍新23師退至漣水以南，轉移到東臺山一帶。
6月19日，第116師團(附第68師團的第57旅團)由株洲附近西渡湘江，分兩路各沿湘江西岸及易俗河向衡陽前進;第68師團(欠第57旅團)由石亭附近渡過淥水，擊退暫2軍後沿湘江東岸向衡陽急進。第68師團於23日即已突抵泉溪市附近，並渡過耒河，擊退暫54師的警戒部隊。
24日傍晚，以一部西進，進攻五馬槽衡陽外圍陣地，主力經赤水塘西渡湘江，向衡陽以南迂迴。迄27日，日軍第116師團進至衡陽城西郊，突破守軍第3師陣地，逼抵瓦子坪、虎形山主陣地前;第68師團一部突破五馬槽第190師前進陣地和馮家衝主陣地，並攻佔了飛機場;主力則突破衡陽城南黃花嶺、歐家町預10師的警戒陣地，進至鐵路線預10師的主陣地前。
至此，衡陽已處於日軍的三面包圍之中。衡陽位於湘江中游，系粵漢鐵路和湘桂鐵路的交會點，是第九戰區的重要戰略基地之一。該城東端緊臨湘水西岸。防守衡陽的部隊爲第10軍，下轄第3師、第190師及預10師。
第190師及暫54師原在湘江以東，日軍第68師團獨立第64大隊攻佔湘江東飛機場，將190師及暫54師從中間割斷後，第10軍爲集中兵力、縮短防線，於26日夜將該兩師調回湘江西岸衡陽市區。其中第190師是後調師，僅有1個第570團是個完整的團，其餘各部均僅有幹部;第3師有1個團尚在衡山附近。另外還配屬有暫54師(欠2個團)及48師的戰防炮營、第46軍的1個山炮連和第74軍的野炮營。
此時在衡陽的防禦部署是:第3師防守衡陽西北部，預10師防守衡陽西郊，第190師防守衡陽南郊，暫54師防守衡陽北郊。
6月27日夜，日軍完成了攻城的準備。需要特別說明的是，負責進攻衡陽的日軍是其精銳的第11軍司令官橫山勇，他計劃以第68、第116兩個師團爲主力，在5天以內拿下衡陽，然後向日軍大本營以及天皇獻上一份大禮。
爲此，他已經向上面誇下了海口。那麼結果如何呢？6月28日拂曉，日軍發起總攻。守軍各部隊在炮火支援下堅守陣地，並不時予以反擊。激戰終日，日軍毫無進展。第68師團師團長佐久間爲人及其參謀長原田貞三郎等被炮擊負重傷，由第116師團師團長巖永汪統一指揮兩師團。
29日日軍仍毫無進展。巖永汪將衡陽以西四塘附近擔任側背警戒的第133聯隊投入戰鬥，與炮兵第122聯隊協同，企圖於7月1日進攻城西堅固據點張家山。激戰至7月2日，除主攻方向上經多次反覆爭奪的張家山被日軍第133聯隊攻佔外，其他方面的守軍均擊退日軍的多次進攻，守住了陣地。
由於守軍的抗擊，日軍連續猛攻5日，損耗了大量人員和彈藥，僅推進了1000米。此次總攻，日軍天上有飛機、地上有坦克和戰車，以及重炮，甚至還動用了毒氣，結果激戰5個晝夜，還是被第10軍擊退。
此戰後，橫山勇原計劃5天內拿下衡陽的誓言，徹底成爲了神話。此時趙繼統以軍務局長（杉山元入主軍務省後任命他爲軍務局長監理俘虜情報部）的身份命令橫山勇停止進攻，補充彈藥、休整部隊戰力；並嚴重警告他如果再不惜兵力的蠻幹就撤職查辦！
軍務局長聽着官不小，其實在戰鬥指揮上還不如他那個參謀本部第二部部長的身份。不過新任參謀總長不象杉山元那麼信任他，將自己直屬的作戰課也交給他，而是收回於自己的統治之下。如果他用情報部部長的身份總感覺有些越權，所以乾脆用了軍務省的身份。
至於那個俘虜情報部就更了不得了，它原屬於法務局，後來憲兵系**立出來之後，也跟着水漲船高起來，籠統的來說就是趙繼統一手創建的憲兵特高課的直接管理單位。
憲兵系統在東條英機的刻意擴張之下，已經不再是一個陸軍的糾察單位，那時中日戰爭已經被稱爲“聖戰”，任何妨礙“聖戰”的言論和行爲都是被監控、審查的對象。
戰後一個剛被分配到記者俱樂部的新聞記者回憶稱，憲兵無緣無故闖入家中，翻看書架、檢查抽屜，對此什麼也無法辯說，生怕被抓住一些小事栽贓問罪。