日軍第12軍主力於1944年5月2日開始向登封轉進。根據方面軍的意圖，該軍圍殲湯恩伯第13軍的作戰指導大致爲:“派第110師團由北方，第62師團由東方，包圍殲滅第13軍。再派戰車第3師團和騎兵第4旅團主力由臨汝及其以西地區，向大金店方向前進，以便殲滅敵軍。此外，派戰車師團部分兵力和第37師團主力確保臨汝至長埠街道路附近要衝，盡力圍殲向南撤退的重慶軍。”
5月3日，日軍戰車第3師團已突抵郟縣，湯恩伯急令第85軍將登封防務移交剛到的第9軍，迅速增援臨汝，協同47師守備城防。與此同時，守軍第***亦令第17師一部協同新35師向已擁入至方家嶺附近的日第110師團進攻。但在守軍部署尚未就緒之際，日軍第110師團已於5月4日突進至登封西北約16公里的聖水附近，切斷了登封與偃師的交通線。第4集團軍鞏縣以東陣地的側背亦因之完全暴露。
日軍戰車第3師團在守軍第85軍到達臨汝之前，已於5月4日拂曉佔領臨汝，守軍第47師與第85軍向臨汝以南退走。日戰車師團繼續西進，當晚即進抵伊川以東附近渡河，切斷了第31集團軍的後方聯絡線。其機動步兵第3聯隊及戰車第13聯隊一部，於當晚突進至洛陽南方的龍門附近，形勢急轉直下。至此，守軍第9軍與第13軍已被日軍分割，而第9軍更陷於包圍之中。
5月5日，第9軍突圍，向潁陽鎮撤退，途中遭日軍節節截擊而潰散，損失重大。得悉潁陽一帶已爲日軍佔領，遂於6日夜退向嵩縣東北收容整頓。與此同時，原在告成、白沙地區的第13軍及暫16師及預11師亦於5日黃昏前突穿日軍白沙以南的封鎖線向臨汝方向撤退，沿途亦遭日軍戰車部隊的不斷衝擊，損失奇重，後在第85軍掩護下，才得以穿越臨汝以東封鎖線南下，向半扎附近集結。
防守鞏東、金溝至老飯溝一線的第4集團軍在第9軍和第13軍等突圍潰退後已形成孤立突出，旋奉命向洛陽西北地區轉移，至5月8日亦退至陳凹附近。
至此，汜、登主陣地全部被日軍佔領。爲了策應第12軍作戰，日“華北派遣軍”令第1軍派第69師團師團長率其第59旅團5個步兵大隊及獨立混成第3旅團3個大隊於5月9日夜由垣曲渡黃河攻略澠池，以阻止第八戰區東援;爲加強進攻洛陽的進攻力量，還調防守北平的第63師團師團長率所屬步兵第67旅團及3個獨立步兵大隊趕至鄭州，並指揮獨立第9旅團及第12野戰補充隊(稱"菊兵團"或"野副兵團")參加進攻洛陽的行動。
5月10日，“華北派遣軍”下達命令:“第12軍應以一部兵力殲滅臨汝西南和嵩縣方面的重慶軍，同時以主力迅速向宜陽、新安方面挺進，進入洛陽西北方;第1軍應迅速渡過黃河，向洛陽方面挺進;野副兵團應擊潰洛陽以北的重慶軍，向新安方面挺進;以上東、西、南互相呼應，圍殲第一戰區軍，進而攻佔洛陽;敵軍退卻時，應立即朝陝縣或向洛寧方向急追。”
日軍方面雖然下達進攻洛陽的命令，但第12軍對此有不同的見解，認爲當前主要的任務應該是追擊剛被擊潰的湯恩伯部和第31集團軍，在它們整頓以前予以擊殲，進攻洛陽及其周圍的蔣鼎文部應視爲次要任務，遂不按方面軍的命令進圍洛陽，僅以獨立步兵第9旅團、第110師團及戰車第3師團各一部對洛陽保持監視，而以主力分沿黃河南岸，朝潁陽至新安、龍門街至嵩縣和宜陽方向追擊前進，另以第62、第37師團分別尾追撤退的各守軍部隊，在臨汝以北，西向伊、洛河上游河谷追擊。
5月10日，南京**軍事委員會作戰部轉發第一戰區指導大綱。主要內容:“1.第15軍及第94師仍固守洛陽。2.第4集團軍及第9軍(目下集結於洛陽以北之陳凹)應迅速南向宜陽附近增援湯兵團。3.湯兵團以主力固守伊陽(今汝陽)、宜陽，並派一部守洛寧，俟第4集團軍到達後，再行轉移攻勢。4. 劉戡兵團應集結磁澗(洛陽以西約17公里)以南地區，準備側擊由澠池向洛寧或向洛陽前進之敵，並策應第36集團軍之作戰。5. 第36集團軍應以一部酌留河防，抽調主力打擊犯澠池之敵。6.第39集團軍應速集結主力，阻擊南渡之敵，相機轉移攻勢。7.該戰區應先控制伊陽、宜陽、洛寧、嵩縣各據點後，再圖反攻。8.第一戰區司令長官部指揮所可轉移洛寧第14集團軍總部附近。”
各部隊奉命後，乘日軍尚未迫近時，於10日進抵指定地區。日軍第1軍第69師團於5月9日夜從垣曲及其以西一帶強渡黃河，擔任河防的新8軍暫29師及河北民軍一部稍戰即退，日軍於11日攻佔英豪、澠池，守軍新8軍軍部亦稍一接觸即行南撤，日軍在澠池獲得了大批糧食、彈械，並切斷了隴海路的交通，洛陽守軍從此陷於孤立。
1944年5月12日，日軍第37師團第225聯隊擊敗第12軍第81師，接着佔領嵩縣。湯恩伯兵團各軍間的聯絡被割斷。13日，日戰車第3師團一部擊敗劉戡兵團的暫4軍，攻佔磁澗;第47軍亦放棄新安南退，撤向洛寧。日軍緊緊追擊，14日佔宜陽，15日佔韓城，17日佔洛寧，20日佔盧氏。
第一戰區的第4集團軍、第36集團軍、劉戡兵團等部隊均退至閔鄉附近地區，戰區司令長官部移至閔鄉東南的官莊。此時湯恩伯兵團早已潰退至伏牛山地區，洛陽陷於完全孤立。防守洛陽的第15軍及第94師共7個團的兵力(第64、第65師各2個團，第94師3個團)，分爲“城廂”、“邙嶺”(城北)、“西工”(城西)3個守備區，第94師擔任城廂區守備，第65師擔任邙嶺區守備，第64師擔任西工區守備。
日軍在第12軍及第1軍追擊第一戰區各部期間，對洛陽採取了"封鎖"措施，第12軍在洛陽周圍的部隊和炮兵等，凡屬不參加洛河追擊的部隊，全部配屬給菊兵團，負責執行此項任務。劃歸菊兵團指揮的有第110師團第163聯隊第1大隊、獨立混成第1旅團的步兵第74大隊、獨立混成第2旅團的步兵第5大隊、獨立混成第9旅團的步兵第38大隊及野戰重炮兵第6聯隊的1個大隊。連同菊兵團本身的10個大隊，總計14個步兵大隊、1個重炮兵大隊。