陸軍方面的失敗令大本營很是不滿，近代以來，一直到諾門坎戰役前，日軍對蘇俄軍隊有一種先天的心理優勢，這種優勢來源於1905年的日俄戰爭。作爲戰爭的勝利者，日軍一向瞧不起俄國軍隊，以及後來的蘇聯紅軍。
尤其是當日軍得到情報，由於斯大林的肅反，紅軍中大多數優秀而且經驗豐富的指揮員，都被處決的消息後，更是對紅軍不屑一顧，甚至狂妄的宣稱日軍1師團能打3個師蘇軍。也正是因爲這樣，這次慘敗在大本營看來簡直是不能容忍的恥辱，爲此關東軍司令官植田大將遭到大本營的嚴厲斥責。就連一向不怎麼關心日軍行動的多位元老都公開聲稱這是大日本皇軍，尤其是戰無不勝的關東軍唯一的一次恥辱，也是最大的恥辱。
這樣的斥責令植田大將很不滿意，原本從一開始植田大將就不支持第二十三師團師團長小松原的這次行動，但是耐不住小松原中將的多番請示，最終才答應了他的作戰計劃，沒想到最後的結局竟然是這樣一次慘敗！
然而，事情並未就此結束。由於日軍高層的刻意宣傳，關東軍各部隊好戰情緒已經被激發起來，他們早就盼望着與蘇軍交手了，這次失敗在所有人看來不過是個意外，沒錯，就是意外。失敗帶來的不是反省，而是更加的狂躁，關東軍全體都處在一種病態的“亢奮”中蠢蠢欲動。
沒有人在意第23師團騎兵聯隊和重裝甲車部隊爲何在包抄奇襲蒙軍指揮部得手之後還被打的潰不成軍，也沒有人在意爲何大日本皇軍強大的重裝甲車爲何被蘇軍的坦克一打就碎。更沒有人在意騎兵面對蘇軍這些橫衝直撞的“鋼鐵怪獸”束手無策，只好絕望地揮舞着馬刀砍。狂熱的日軍都熱切盼望與蘇軍交手。90%以上的軍官對蘇軍情況一無所知，卻毫無理由地輕視對手。
5月20日，前一階段戰事的善後工作還未處理完畢，關東軍又接到小松原的電報。電報內容是：（l）蘇軍在諾門坎不斷增兵，18日已經把“滿洲國”軍驅逐出了諾門坎地區；（2）蘇軍飛機轟炸溫泉一帶和甘古爾廟，造成損失。作爲諾門坎地區守備司令，小松原中將建議主動給以嚴懲。
關東軍司令部接到電報後，立即召開作戰會議。20日命今向諾門坎方向調集兵力。調集的兵力有補充後的第二十三師團全部，由第一坦克團和第七師團的一部組成的安岡支隊，還有配屬的第二飛行集團。這是邊界爭端中沒有先例的大規模調集兵力，其方針是不惜與蘇軍展開正面衝突，態度非常強硬。
而且在關東軍的作戰計劃裡面還有一個大轟炸計劃，主要是用飛機轟炸外蒙境內一切軍用民用目標。只是關東軍估計會遭到反對，而事先未予提及並請示。當參謀本部在偶爾的情況下。聽到這個轟炸計劃時，害怕擴大事態，立即拍電報表示不當，又派作戰次長有未次中佐去滿洲，企圖說服關東軍不要轟炸。
可是速度還是慢了一步，在有未次中佐抵達關東軍司令部之前。關東軍已對外蒙境內據點塔木斯克進行了轟炸，第二次諾門坎事件爆發。爲確保制空權，日軍出動了130架飛機，對蘇蒙空軍基地進行了空襲。
在關東軍向諾門坎地區的蘇蒙軍再次發動進攻的同時，華北方面軍也接到了中國派遣軍司令部的命令。大本營命令華北方面軍做好隨時出兵增援關東軍的準備，同時命令華北方面軍要抽調部分兵力在華北地區進行一次針對陳鋒所部的局部戰爭。以防陳鋒所部越過東烏旗向諾門坎地區開進，威脅皇軍的側翼。
接到中國派遣軍司令部的命令之後彬山元大將不敢怠慢，立即召開師旅團主要軍官會議，商討作戰計劃。
但是包括參謀長崗部直三郎中將在內的絕大多數軍官都不同意在沒有準備好的情況下與陳鋒所部開戰，那樣成功的機率並不高，更重要的是，經歷過多次敗仗，方面軍普通士兵以及基層軍官對於同陳鋒所部作戰已經產生了陰影，一旦再次戰敗，那麼士氣將會進一步下降，這是方面軍無論如何都不能承受的。
但是上級的命令也不能違抗，最終還是崗部直三郎中將出了一個主意，既然方面軍不願意深入陳鋒所部的防區作戰，那麼就引陳鋒所部主動來攻，這樣既完成了上級的命令又不違背自己的方面軍司令部的意願。
崗部直三郎中將分析，結合陳鋒的家庭來看，陳鋒與二戰區閻錫山的關係很密切，再怎麼說陳鋒也是閻錫山的女婿，在沒有太多的利益相爭的情況下，這種親戚關係還是很牢固的，再加上上一次陳鋒所部出動15萬大軍配合閻錫山所部圍攻第一軍，因此崗部直三郎中將認爲，只要華北方面軍再次向閻錫山的晉綏軍發動進攻，而閻錫山所部只要露出一點敗相，那麼陳鋒這個女婿就不會袖手旁觀的。
因此崗部直三郎中將建議，方面軍再次向盤踞在山西的閻錫山所部發動一次大規模進攻，一方面是因爲帝國這次調到方面軍的部隊裡面有很多新兵，需要晉綏軍這樣的弱旅練兵。另一方面是因爲方面軍實力基本上恢復了，第一軍有能力也有這個必要打開山西高原的局面，不能這樣被動下去。最後纔是上級的那個任務。
崗部直三郎中將的這個提議迅速被在場的所有軍官通過了，正如崗部直三郎中將所說的那樣，這次從國內調來的那些部隊數量確實不小，除了那22個步兵大隊以外還有7個步兵旅團和兩個步兵師團。但是在檢查過這些新部隊之後所有日軍軍官傻眼了，這都是些什麼兵了，那22個步兵大隊就不說了，都是新兵蛋子，除了極個別的是在鄉軍人（退伍兵）以外，絕大多數的士兵都只是接受過三個月的新兵訓練，然後就被被送到了支那。
即使是那些有番號有編制的旅團師團情況也好不到哪裡，絕大多數的部隊都是半老半新，即一半老兵一半新兵，有些甚至老兵的數量只能佔到三分之一甚至更少。這樣的部隊在後方維持秩序都勉強，更不要說是去參加野戰了，要想讓這些部隊挑大樑那就得練。
而練兵也是有技巧的，幹練是不行的，就算是在操場上跑上一百年也是白搭，上了戰場還是新兵蛋子，所以這練兵還是需要以戰代練的，只有在炮火中誕生的隊伍才能稱之爲精銳，不然就是花架子。以戰代練說得輕巧，但是真正操作起來卻不容易，要是再練兵的過程中遭遇重大損失的話，那麼整支部隊很可能會一蹶不振的，因此練兵的磨刀石很重要，既不能太強也不能太弱。太弱了也起不到作用，太強了沒等練好兵兵就全沒了，不合算！
在華北這片土地上，最適合做磨刀石就是晉綏軍了，當然還有土八路。不過這八路軍雖然合適，但是人卻神出鬼沒的，想要找他們做磨刀石那就得先找到他們，問題是現在一是沒時間，二是找不到，用八路軍做磨刀石顯然不合適，所以這磨刀石就只能找上晉綏軍了。
最後彬山元大將拍板決定，此次進攻山西高原以駐山西第一軍爲主，由梅津美治郎大將擔任指揮官，所部下轄第4師團、第20師團、第108師團、獨立混成第1旅團、第3旅團、第4旅團、第7旅團、第8旅團、山炮兵第一旅團、戰車第一聯隊、山本特種大隊、皇協軍第三師、騎兵獨立團、獨立第六支隊等，總兵力合計十萬餘人。
另外，華北方面軍司令部又命令方面軍直屬的第32師團、獨立混成第5旅團、第15旅團、第9旅團、戰車第三旅團、重炮第2旅團、方面軍飛行大隊等五萬餘人作爲第一軍的預備隊。
此次作戰目的是，重新奪回太原，重創閻錫山的第二戰區，最好是能全殲晉綏軍。
日軍的行動很快，但是由於第一軍各部隊都在石門一線，所以部隊調動並不明顯，所以日軍的這次行動並沒有引起二戰區以及陳鋒所部的注意。
5月22日，駐紮在盂縣的第六集團軍新編第二軍軍部遭到日軍小股部隊偷襲，軍長魏長虎重傷，副軍長李國華戰死，參謀長徐斯戰死，同時戰死的還有1箇中將師長、2個少將旅長、4個上校團長以及6箇中校團副營長，與此同時日軍兩個旅團在炮兵以及裝甲部隊的配合下猛攻盂縣到壽陽一線的陣地，一夜之間新二軍這個新成立不到半年的部隊便被日軍擊潰了，兩萬多人逃回晉中的不到四千人，其餘的不是戰死就是被俘，盂縣到壽陽一線的門戶大開。