已經埋伏在關家堖下的特務團第3營聽到堖頂隆隆的爆炸聲，知道偷襲的2營正在與敵激戰。3營在營長帶領下一躍而起從南坡向上攻擊前進。很快3營就攻到了南坡那一排被老百姓放棄的窯洞附近。
“上！上！”警衛連長未曾想如此順利，興奮地揮舞着手槍，指揮着戰士們向上衝鋒。
“嗒嗒嗒……嗵嗵嗵……”在戰士們不經意間，左側原本黑洞洞的幾孔窯洞忽然“活”了起來，五條火蛇噴涌而出，帶着令人心悸的彈流舔向正蜂擁經過窯洞旁的戰士們。
窯洞中埋伏着敵人！一個分隊長帶領着40多鬼子早已在窯洞部署多時了。這是鬼子的第一道防線。鬼子兩天的苦功沒有白下，他們在軍棍嚴厲督促下，將這排窯洞全打通了，每個窯洞都築有機槍陣地，既可獨立構成一個火力點，又可與其他窯洞互相掩護、互相支援，形成交叉火力網。機槍陣地前還挖有防彈壕，如果手榴彈沒有扔到位，掉到防彈壕裡，就難以對日軍構成威脅。窯洞外也挖了工事，構成了裡外相連、窯窯相通的循環作戰工事。
3營的戰士們瞬間倒下了一大片。其餘的也被鬼子機槍死死的壓制在窯洞附近。警衛連長唐萬成也被壓制在一個土坎後面，皺着眉頭辯聽着鬼子機槍掃射的規律與強度，幾分鐘後，他聽出了對面窯洞中的鬼子武備比較強大，最少5挺機槍，還連帶幾十支步槍的射擊聲音。在這片狹窄的“開闊地”直接面對鬼子機槍衝鋒，成功機率幾乎沒有。
唐萬成弄明白鬼子的軍械武力後，帶領一個班的戰士乘黑暗掩護，悄悄爬到了窯洞左側的一個斜坡上，隨後從斜刺裡猛然壓了下去。衝到了裡窯洞口不遠處，到了投彈距離，立刻率領着這班人馬猛然投出了手榴彈。
“轟！轟！轟！”十幾枚手榴彈相繼爆炸，絕大部分手榴彈掉到了防彈壕裡，只有一枚準確的投入了一孔窯洞中轟然爆炸。爆炸聲起，鬼子的射擊嘎然而止。原本被壓制的擡不起頭來的戰士們蜂擁爬起，藉着手榴彈爆炸的火光和煙霧，吶喊着向窯洞衝去。
“嗒嗒嗒……”鬼子的機槍又一次叫喚起來，狡猾的鬼子兵在手榴彈爆炸時刻起停止了射擊，引誘八路軍戰士誤以爲機槍已被幹掉，發起了衝鋒。
密集的彈雨又一次肆虐，正大步狂奔的八路粹不及防又被打倒了幾十個。
一輪彈雨過後，30多個鬼子兵哇哇叫着，持槍奔出窯洞，向傷亡慘重的警衛連發起了反衝鋒。
日軍兇狠異常，拼刺格鬥技術全面優於八路軍，很快就與剩餘的警衛連戰士撞到了一處，將傷殘累累的警衛連擠下了山坡。
隨後翻轉身向離窯洞口不遠處的唐萬成帶領的那一個班戰士衝來。
唐萬成率領戰士們馬上將注意力從窯洞口邊抽了回來，臥倒在地架起槍支向向自己衝來的鬼子還擊。一梭子彈打過去，翻倒了幾個鬼子，但其餘的鬼子藉助各種掩護，依然跳躍着逼來。
離唐萬成最近的一孔窯洞剛捱了一顆手榴彈，沉寂了半天，戰士們來不及檢驗戰果，見窯洞中半天沒有出聲，以爲安全沒在意。大意之下誰也沒注意被炸爛了的窗戶上邊又顫巍巍伸出了一挺機槍的槍口。
“嗒嗒嗒……”鬼子機槍在近距離又一次吼叫起來，唐萬成所帶的一個班被窯洞中側射火力打中，5、6個戰士煞那間陣亡。唐萬成被打中右臂，機槍落地。一個排長趁鬼子換彈匣的功夫，撿起機槍，照着衝上來的鬼子又打出一梭子彈，稍微阻止了一下鬼子的迫近。
己方優勢已失，唐萬成急促下達撤退命令，帶領還剩下的幾個戰士從側坡滾下，撤離了窯洞範圍。
這一次短促的接觸仗，八路軍又一次吃了不小的虧。
團長歐致富一看情況不妙，立即命令各營暫停攻擊，等待大部隊發起攻擊後，再行攻擊。
一時間，響徹關家堖上的槍聲停歇了下來，雙方都在快速的搶救傷員，不再進行接觸了。
凌晨3時30分，決死第一縱隊三十八團就位，他們將擔任攻打柳樹堖的任務。
攻擊發起前一刻，彭總親自來到該團陣地前沿進行動員，藉着東方的魚肚白，彭總掃視了一眼在山谷中整齊列隊的38團全體官兵，用其雄渾的嗓門向戰士們喊道：“同志們，你們決死隊，要向誰決死呀？”
“向日本鬼子！”戰士們異口同聲，巨大的聲浪迴盪在山谷之中，驚得柳樹堖頂的鬼子伸頭伸腦向下看。
彭總滿意地點了點頭。他用手指着日軍的陣地說：“好！前面打仗的地方，有好幾百個日本鬼子被我們包圍了。我們今天要消滅他們，你們就是要向他們去決死。我們抗日根據地有一條規定，凡是沒有帶路條的人，就不能讓他走。”
八路軍副總司令親自作戰前動員，這讓決死第一縱隊38團的指戰員備受鼓舞，他們的戰鬥情緒一下就被調動起來了，他們迅速回應：“堅決消滅日本鬼子！”
當總攻信號發起後，早已鉚足了勁的38團指戰員迅速向柳樹堖衝去。雙方隨即在柳樹堖展開了激烈的爭奪和反爭奪。經過兩個小時的激戰，決死第一縱隊38團終於在天亮時搶佔了柳樹堖，消滅了堖頂堅守的鬼子一個小隊。
在決死第一縱隊38團攻擊柳樹堖的同時，八路軍其他各部又向關家堖之敵發起了攻擊。由於地形過於複雜險要，日軍武器又精良，八路軍每攻下一個陣地、每前進一步都要付出不小的代價。日軍雖然傷亡不小，但沒有撤離逃跑的意思。顯然，他們知道，一撤離陣地就必然會遭到數倍於己的八路軍的分割包抄而被殲滅，他們要利用關家堖的有利地形，困守待援。
柳樹堖的硝煙還未散去，時間6時30分，馬遷安率領着運送武器與彈藥的新3團兩個連與騎兵連風塵僕僕的趕到了柳樹堖東坡谷底。
最後的路段是馬遷安領的，他故意讓嚮導將這一支馬隊領到了柳樹堖的東側。從黃崖洞出發後，坐在搖晃的馬背上，馬遷安就一直思索琢磨這個引起後世巨大爭議的關家堖戰鬥。
從戰略戰術與政治意義上考慮，消滅一支在根據地裡橫衝直撞的鬼子部隊都成爲必要與必須。政治意義無須多言，在百團大戰第一第二階段取得巨大戰績的八路軍，突然被鬼子突進根據地大肆燒殺破壞，反手打了一個重重的耳光，這是可忍孰不可忍！任由鬼子肆虐，根據地民衆將怎麼看八路軍？會不會以爲八路軍外強中乾，前期所取得的戰果和成績爲虛假宣傳？根據地外其他民衆，其他各方勢力怎麼看？是否會認爲八路軍只會小打小鬧，不是一支可以扭轉乾坤的隊伍？不打，政治上損失太大了。
況且，最重要的一點就是不能慣着鬼子，不把他打痛，他就會一直咬着你不放，把他打痛，鬼子就會老實一會兒，利於根據地發展。正所謂一拳不打，百拳來。不亮出獠牙狠咬一口，各方勢力就會認爲你是小綿羊，欺負你沒商量。
但這場戰鬥的結果卻不盡如人意，據陳旅長回憶，我軍傷亡2000餘人（其中陣亡1000多人），新十旅旅長阻援戰鬥中負傷，16團團長謝家慶率隊攻擊時陣亡，一大批營連長戰鬥骨幹犧牲。日軍陣地遺屍280餘具（其中有大尉軍官2人、中、少尉軍官5人），另外還有三大堆骨灰。我軍俘虜日傷兵2人，繳獲步槍50多隻，輕重機槍6挺。而據福岡刑務所作業課平成０２年０７月２０日(1990年)發行的《晉南第八中隊史－第37師團歩兵第226聯隊史》（作者三島啓介）中第132頁才田升（岡崎支隊長的最後時刻）上記載，日軍原有500多人，最後僅剩下203名（其中關家堖上剩61名，柳樹堖上剩142名），岡崎中佐以下300多名日軍戰死。
最主要的是彭總戰前設定的要讓鬼子再也不敢以一個大隊爲規模的隊伍進行掃蕩的目的沒達成。此戰過後，日軍一個大隊深入根據地曾佔據根據地腹心的一個縣城長達數年。
既然戰鬥已按原軌跡展開，馬遷安也沒有辦法阻止，那麼他只能做力所能及的事情了。據他的回憶，本場戰鬥有兩個關鍵的節點可以扭轉戰鬥結果，一個節點是30日早晨38團攻克柳樹堖後，並未對柳樹堖進行土木作業，致使堖頂隱蔽點少，這樣的部署造成了一個預想不到的結果，上午9時左右，日軍6架飛機趕來助戰，轟炸了已被八路軍佔據的柳樹堖，爲減少傷亡，38團駐守部隊疏散下山，堖頂成了空白之地，而預計接替陣地的25團還未準備好，此時關家堖上的岡崎觀察到這種情況，趁機派了一箇中隊加一個機槍分隊約200人的部隊，乘各部八路軍躲避轟炸，暫停進攻疏於防守的時刻猛然衝上柳樹堖。此後就一直牢牢控制制高點，八路軍3個營的兵力重新進攻柳樹堖，反覆衝擊十幾次未果。日軍從而將關家堖南坡射界控制，致使八路軍不能從南坡進攻，只能從另幾個不利於進攻方向的方位進攻關家堖，大大增加了攻擊難度，增加了傷亡。