8月25日，日軍開始全面進攻山西，意在打通平綏路以及連接察綏，包圍山西、威脅西北，配合平漢線的日軍從正面圍攻太原，達到分進合擊的目的。第二戰區司令長官閻錫山令晉綏軍李服膺部鎮守天鎮、陽高一線；晉綏軍趙承綬部駐守興和、尚義一線，阻擊日軍的進攻，掩護晉綏軍王靖國部、傅作義部、劉恩茂部在大同、集寧與日軍決戰。閻錫山知道天鎮的重要性，它是進入晉北的第一道門戶，也是晉綏軍抗日的第一戰，他電令李服膺部要死守天鎮，如果天鎮失守，將以軍**處！
晉綏軍61軍奉命駐守天鎮，他們在天鎮的東郊構築了防禦工事，又將城裡的居民做了緊急疏散，至此，61軍全軍上下都做好了與日軍拼死一戰的決心。9月1日，日軍朝殺到了天鎮，馬不停蹄的向天鎮發起了攻擊。日軍出動飛機30架，戰車50餘輛，還有一個重炮聯隊，日軍集中優勢兵力猛撲天鎮的守軍陣地。在進攻天鎮的同時，日軍還派出部隊向陽高守軍發動了牽制性的攻擊，其目的是想拖住陽高守軍，不讓陽高守軍向天鎮方向派出援兵。戰鬥進行了3天，在日軍飛機、戰車和重炮的打擊下，晉綏軍李服膺部損失慘重，被迫放棄天鎮的外圍陣地，收縮到城內，憑藉堅固的城牆繼續抵抗日軍的進攻。9月5日，日軍大部繞過天鎮，直奔山西重鎮大同而去。傅作義率部奮勇迎敵，與日軍展開了激戰。9月7日，李服膺率領殘部退出陣地，造成天鎮失守，傅作義部被日軍合圍。而此時的晉綏軍劉恩茂部尚未趕到大同佈防，城內守軍兵力薄弱防守空虛。傅作義於7日夜裡下達了突圍的命令，於8日上午率領殘部退入大同。
山西戰場經過數日的激戰，戰場情況發生了急劇的變化。9月11日，隨着天鎮的陷落，日軍的兵鋒已經直指大同。9月13日，日軍以優勢兵力攻陷了山西重鎮大同。至此，閻錫山的作戰計劃全面落空，日軍打開了山西的大門。閻錫山在行營內氣得直跺腳，大罵李服膺無能。現在全國輿論譁然，紛紛指責李服膺貪生怕死，擅自放棄陣地，致使晉北殘敗。閻錫山在輿論的責難下沒有辦法，便下令將李服膺抓了起來，交由二戰區軍法處依法定罪，以安撫軍心和民心。在處理完李服膺的事情後，又有一份十萬火急的戰報交到了閻錫山的手上。戰報上寫道：“日軍接連攻陷蔚縣、廣靈、靈邱，現在已經抵達平型關下。”看完戰報以後，閻錫山驚出了一身的冷汗，他焦急的說道：“平型關如果再失守，日軍便可越過平型關，直抄雁門關的後路。一旦這兩道關口陷落，半個山西就沒了，這叫我如何向山西父老交代啊。”一籌莫展的閻錫山坐在沙發上，茫然的盯着山西地圖，久久的發呆。就在這時，閻錫山的副官大聲的報告道：“報告閻長官，國民革命軍第八路軍總指揮朱德將軍求見！”閻錫山一聽說八路軍來了，就馬上吩咐道：“趕緊迎接！”說完就起身向外走去。
閻錫山來到了行營門口，就看見幾個穿着灰布軍裝，扎着綁腿腳穿布鞋的軍人，爲首的那名中年軍人正是朱德將軍。閻錫山趕緊迎上去熱情的說道：“玉階兄啊，你們來得真是好快啊！”朱德立正敬禮，然後說道：“報告閻司令長官，八路軍總指揮朱德奉命來到，請閻司令長官下達作戰任務。”閻錫山見朱德如此客氣，急忙說道：“玉階兄啊，這可是折煞我了，折煞我了！”說完就主動伸出手來與朱德握手，並熱情的說道：“玉階兄，裡邊請。”閻錫山並肩與朱德朝行營內走去，沿途的衛兵都急忙舉手向他們敬禮，朱德將軍禮貌的朝衛兵們還禮，絲毫沒有擺總指揮的架子，隨行的晉綏軍軍官們對這位共產黨的高級將領，感到了由衷的敬佩。
一行人走進了行營的大廳裡，閻錫山依舊熱情的說道：“玉階兄，快請坐。”說完他又對身邊的副官說道：“趕緊給朱德將軍上茶！”此時，朱德說道：“閻司令長官，軍情緊急，茶就免了吧，就請您趕緊下達作戰命令吧，我八路軍將士已經作好了與日軍血戰的準備了。”閻錫山擺了擺手說道：“當此國難之時，八路軍能如此迅速的支援我山西戰場，令我山西軍民無不歡欣鼓舞啊。我作爲山西的最高軍政長官，理應向八路軍將士表示感謝。如今戰局惡化，我正需要八路軍的支援呢，只是如此倉促將貴軍派上戰場面對強敵，我閻某人實在是有些有愧啊。”朱德將軍趕緊說道：“我八路軍將士決心，誓與山西共存亡。我正式向閻長官稟報，我黨中央、中央軍委已定下決心，要在平型關打一仗，殲滅日軍一部，以振奮全國的軍心和民心。”閻錫山打斷了朱德的話，他有些擔心的說道：“玉階兄，貴部剛剛從陝北匆匆趕來，尚未經過休整就投入戰鬥，這叫我如何放心啊。”朱德站起來說道：“請閻司令長官長官放心，我八路軍將士已經做好了充分的動員，定會給日軍以迎頭痛擊的。另外平型關一帶地形複雜，日軍又是孤軍冒進，非常適合打一場伏擊戰。”朱德的話並沒有打消閻錫山的顧慮，閻錫山擔心的說道：“進犯平型關的是板垣徵四郎的第4師團，在關東軍中號稱王牌啊，你們八路軍勞師遠來，裝備又很差，能擋得住板垣師團嗎？一旦平型關失守，半個山西可就危險了！”朱德回答道：“我們深知平型關的重要性，我黨中央毛主席指示我們，務必要監守住平型關，以緩解閻長官的壓力。”閻錫山放下了心裡的顧慮，他對朱德說道：“如此甚好，那我就把平型關交給玉階兄了。”朱德見閻錫山同意了自己的請求，就繼續說道：“閻司令長官，我八路軍一路遠來，彈藥和給養攜帶的不多，爲了守住平型關，還煩請閻長官支援我們一批彈藥和給養啊。”閻錫山沒有馬上答應朱德的請求，他沉默了許久之後才說道：“玉階兄啊，如今戰事吃緊，我手裡的物資也很緊張啊，不過你可以放心，我會盡最大的努力，爲你們籌措一批彈藥和給養的，還請玉階兄不要着急，給我一些時間來籌措物資。”朱德本來就沒指望閻錫山會給他調撥彈藥和給養，就對閻錫山說道：“那就多謝閻長官了，戰事緊急我這就回去部署部隊了。”說完就匆匆的離開了閻錫山的行營。54
9月15日，閻錫山對戰局進行了調整，將八路軍的主力調上了平型關一線，八路軍接到命令後，迅速的接管了晉綏軍的陣地。閻錫山調撥了部分彈藥和給養送到了八路軍總部，並告訴朱德將軍，後續物資正在籌措尚需時間。接收完物資以後，朱德將軍即刻召開了軍事會議來研究具體的戰鬥計劃。
北方的秋風已經帶來了濃重的寒氣，八路軍總司令部裡圍坐着一羣衣衫單薄的軍官們，他們坐在火爐前，認真的聽着總指揮朱德將軍的講話。朱德看了一下滿堂的衆將，然後說道：“平型關是我軍進入抗日戰場的第一戰，黨中央命令我們必須要打好這一仗，打破日軍不可戰勝的神話，以振奮全國軍民的抗日信心。如今我軍已經來到了平型關上，而我們對面的敵人，就是製造九.一八事變的元兇之一，我們要狠狠打擊板垣徵四郎的囂張氣焰，拿他這個日軍的王牌來開刀，藉此一戰打出我八路軍的軍威來。現在請大家討論一下具體的打法，請大家暢所欲言。”朱德的話一結束，各位八路軍的師長、旅長們就展開了討論，他們也都想盡快打出一個勝仗來，好打破“皇軍不可戰勝”的神話來。
八路軍115師的師長林彪，從來就沒有誇誇其談的習慣，常常是沉默着思考問題。如今他更是一言不發的坐在那裡，皺着眉毛陷入了思考之中。朱德深知林彪的這個習慣，就暫時沒點他的將，就和身邊的左權副參謀長聊了起來。許久之後，朱德示意大家停止了討論，他站起身來向林彪問道：“林彪同志，我想聽聽你對這次戰鬥的想法？”林彪點了點頭，然後說道：“靈邱已經失守，敵人的大隊人馬正向平型關一帶運動，已經攻佔了平型關附近的幾處要點，現在的戰局是十分的危急的。”林彪走到了掛在牆上的地圖前，指着平型關附近的地形說道：“這一帶的地形我親自勘察過，非常適合打伏擊。板垣徵四郎現在狂妄的很，根本就沒把中國軍隊放在眼裡，他現在是孤軍深入，戰線又拉得比較長，我看可以利用有利的地形，狠狠的教訓他一下。”朱德和左權也來到了地圖旁，朱德仔細的看了地圖，然後說道：“林彪同志，我和你的看法一樣，都是想利用平型關一帶的複雜地形，給日軍以迎頭痛擊。”這時左權插話道：“地勢居高臨下，對我軍十分有利。我看不是打或不打的問題，而是如何打得好的問題。這是我軍跟日軍的初次交鋒，全國人民都在看着我軍。我軍不戰便罷，戰則必須要勝，必須打出我八路軍的威風來，必須打出中華民族的威風來。”