嚴顏如此打包票，弓箭手們還是有些猶豫，舉起了弓箭，但還是不敢放箭，萬一射死的是益州軍袍澤的話，那他的罪過可就大了。弓箭手們遲遲不放箭，這就給了西涼軍一個絕佳的機會。黃忠趁機仗刀，帶領西涼軍朝嚴顏殺了過來。一看情況不好，嚴顏搶過一把弓箭來，拉弓引箭，就要射中黃忠。黃忠眼疾手快，也把大刀迅速扔下，取下腰間的弓箭，瞄準了嚴顏，一箭正好射中了嚴顏的一箭，兩箭爆裂。嚴顏大驚！西涼軍中有如此神射的，除了趙雲以外，一定是黃忠無疑。於是，好漢不吃眼前虧，嚴顏立即把弓箭扔了，並命令背後的弓箭手攢射黃忠。就算黃忠再厲害，也總不能抵擋得過萬箭齊發。黃忠先是躲過箭，然後迅速拔出十支箭，也不怎麼瞄準，流利地放箭，一次就射死了益州軍十個弓箭手。益州軍吃驚不已，不知所措。
趁着益州軍吃驚時，黃忠命令西涼軍的幾千刀斧手和長槍手趁機集成嚴密的陣型，朝益州軍掩殺過去。嚴顏又吃了一驚。弓箭手在遠距離面對短兵器自然是無敵，但在近距離，弓箭手無處可逃。西涼軍很快趕在益州軍放箭之前殺到了益州軍面前。益州軍的弓箭手拿着的武器都是弓箭，如何能抵抗刀斧和長槍？一經短兵相接，益州軍就倒下一片。西涼軍越戰越勇，殺得關牆之橫屍遍地，上血流成河。
嚴顏一看關牆上，西涼軍追着益州軍的弓箭手打，弓箭手都是死傷殆盡，一擊即潰；再扭頭看看關裡，益州軍的有些人才剛剛分辨得出戴着赤幘的就是西涼軍，雖然能分出敵我來了，但益州軍又讓西涼軍給殺得怕了，一看見頭勒赤幘的西涼軍就只知一味退後逃跑，關裡喊殺聲震天，一片混亂。
嚴顏長嘆一聲，知道這是大勢已去了。黃忠對嚴顏緊追不捨，嚴顏只得將身上閃亮的甲冑和頭盔都拋棄掉。在昏暗之中，不着甲冑和頭盔的嚴顏很難被發現。黃忠纔沒有發現嚴顏在哪裡。退到了一處安全地方後，嚴顏立即揮令益州軍逃跑。嚴顏知道，數萬西涼軍已經進入陽平關，還搶佔了陽平關的關牆，他和殘餘的益州軍是絕不可能守得住這陽平關的。這時，嚴顏知道，這陽平關已然不再重要了，最重要的是保全益州軍。這一刻嚴顏能做的，就是在棄守陽平關之後，儘量保存益州軍的有生力量，同時向陽平關以南退卻，保全陽平關之後的白水關。若是白水關不保，再退守葭萌關；葭萌關淪陷，還有劍閣；劍閣之後，還有梓潼。
嚴顏一聲令下後，益州軍紛紛掙扎着向陽平關面向西川的關門逃去。但西涼軍始終向一塊口香糖一樣粘着益州軍，使得益州軍退卻的速度十分緩慢，還被斃傷無數。嚴顏也從關牆上下來，率領益州軍逃跑。終於，大部益州軍出了陽平關的南面關門。陽平關之所以險峻，就是因爲夾在狹小的山道之間，山道兩側都是高聳的蜀山。逃出生天的益州軍撒開了雙腿一通狂奔，在狹窄的關道上，自相踐踏而死者，不可勝數。
見益州軍逃跑，將陽平關拱手奉上，只被西涼軍包圍住幾千人，黃忠便一面喝令這些被包圍在關裡的益州軍殘部投降，一面吩咐西涼軍各部全面佔據陽平關。終於，縈繞在陽平關裡的喧鬧慢慢地消失。黃忠突然想到，如果不把嚴顏這一部益州軍趕得遠遠的，難保嚴顏會回軍來攻打陽平關。西涼軍只是剛剛拿下陽平關，還沒有站穩腳跟。一旦嚴顏回軍，陽平關很有可能再次落入敵手。
而且，嚴顏這一部還不要緊，關鍵是張任也極有可能會回師殺向陽平關。此時，黃忠還沒知道張任部被他打敗後在哪裡。萬一張任部和嚴顏部兩部益州軍從南北兩個方向夾攻陽平關的話，很容易會導致被益州軍攻奪陽平關。
爲今之計，黃忠只能先退掉嚴顏這一部，方可避免被夾擊之危險。黃忠便留下一萬人守關，其餘者皆舉着火把，出關南下，追擊益州軍。此時，嚴顏部益州軍方纔逃到三裡多的距離，喘息未定。益州軍沒有經過西涼軍對長途跋涉之訓練，經西涼軍這一驅趕後，長途跋涉，使得體力十分孱弱。益州軍便在林中歇一歇。嚴顏一清點人數，發現跟着他逃出陽平關的，只有兩萬四千多人。丟了西川的北方門戶，又損失如此之多的士卒，讓嚴顏不禁憤憤不平，羞愧難當。嚴顏想的，就是等待合適時機，率軍反攻西涼軍，重新奪回陽平關。
這時，透過林木的重重遮擋和月色的籠罩，益州軍有斥候發現有大部西涼軍來追擊益州軍了。嚴顏吃了一驚。嚴顏不服氣不甘心地閉上了雙眼。嚴顏知道，反攻陽平關是難以實現了，又率軍退走。好在此時正是夜間，又是在崎嶇不平的山道中行軍，十分不便。黃忠又懼怕嚴顏會在途中設伏，於是也只是對益州軍緊追不捨，不敢輕易靠近益州軍。但黃忠的心思，嚴顏並不知道。嚴顏以爲，黃忠這是要斬草除根。如果他這一部被黃忠追上並重創，就意味着白水關無人可守，葭萌關也無人可守。陽平關失陷，對於蜀道難，難於上青天的巴蜀之地來說，只是失去了與東川，也就是漢中郡的聯繫，很難將漢中郡給奪回來。但一旦白水關和葭萌關都淪陷的話，那就不僅僅是漢中淪陷的問題，西川也將處在西涼軍的鐵蹄之下。
如今，益州軍二十萬，包括嚴顏部在內的十五萬大軍被西涼軍打得慘敗，另外五萬大軍又都分駐在西川各個緊要城關，如成都城、雒城、梓潼城、白帝城、江州等。唯一能把守白水關的，就只有嚴顏的軍隊了。