曹彬在岐溝關潰敗後，雍熙北伐宣告失敗，潘美和田重進雖然獲勝，但也只能撤回關內，已經在平州登陸的海軍也全部退入渤海。宋太宗急忙派部隊鎮守邊關，迎回敗兵，此時他手下已經無人可用，竟然把宋偓、劉廷讓甚至張永德這些早就閒置了的老將請出來帶兵，又令潘美軍重出雁門關，將所攻佔雲、應等五州的百姓遷入內地。潘美行動之前，斜軫已經通過引蛇出洞的戰術收復了蔚州，《遼史·耶律斜軫傳》稱斬首數萬級，但蔚州守軍絕對沒有這麼多。並又稱他和潘美、賀令圖在飛狐正面作戰，又斬首數萬，但其他史料均顯示潘美退回後再也沒有親自出戰，應該是錯的。另一方面，蕭太后親自率軍收復寰州，所率部隊有大臣耶律漢寧（據《長編》，但此人不見別載，疑爲耶律斜軫之誤）、蕭撻凜、南北皮室軍、五押惕隱司等，共十餘萬衆，都是遼帝國的禁衛精銳。在宋軍參謀會議上，楊業提出一個方案：“先派使者通知雲、應、朔州的人，我軍離開代州時，雲州的人就先跑回來，我軍再去應州救人。
遼軍必然來攻，朔州的人就可以趁機跑進石碣谷，在谷口埋伏三千強弩，並以騎兵輔之，能夠抗拒遼軍，這樣三州的吏民都可以保全了。”這個方案應該說非常現實，但監軍王侁卻不同意，認爲這樣是完全放棄了寰州的人，還說：“我們手握數萬精兵，卻這麼懦弱怯戰，應該直出雁門，鼓行至馬邑（朔州的一個縣），和敵軍正面交鋒！”軍器庫使、順州團練使劉文裕也表示贊成（注意，潘美並未表態贊成）。楊業認爲這樣必敗無疑，王侁又說：“你不是一直號稱'楊無敵'嗎？現在卻逗撓不前，難道懷有二心？”這話說到了楊業的痛處，因爲他是北漢降將，最忌諱人說他不忠於大宋，於是只好答道：“楊業不是怕死，只是戰機不利，只能白白犧牲士卒而不能立功，既然各位責我怕死，那我就爲諸位先死吧！”毅然帶本部兵出石峽路，直往朔州。臨行前，楊業哭着對潘美說：“我此去必死無疑！楊業本是太原降將，早就該死了，皇上不嫌棄，還授予我兵權，楊家世感皇恩。
我不是避敵不戰，而是在等待機會爲國家立功，現在是大家說我避敵，那我就死在敵人的前面吧！”然後又指着陳家谷說：“大家在這兒埋伏步弩，並以騎兵輔兩翼，如果我命大不死，退回到這裡，你們出兵伏擊敵軍，不然就一個都活不了。”潘美和王侁同意了這個方案，各自帶兵在谷口設伏。斜軫聽說楊業又來攻朔州，令蕭撻凜在路上設伏，自己正面應敵，佯敗退走。楊業追擊，蕭撻凜伏兵盡出，斜軫也回師來攻，楊業大敗，但是逃回到了陳家谷，然而情況卻大大出乎他的意料。王侁本來和潘美一起在谷口設伏，但他登高而望，看見斜軫退走，怕楊業獨佔大功，於是要帶兵前去攻擊。潘美雖爲主將，卻不能制止。但王侁走了20裡又聽到楊業兵敗退回，於是徑直撤回雁門關內。潘美強烈要求他留在陳家谷口接應楊業，王侁又不聽勸。無奈潘美也只好撤回關內，把楊業拋在了敵軍的追擊之下。楊業邊戰邊撤，一整天才回到陳家谷口，見伏兵都已撤走，拊膺慟哭，對士卒大喊道：“此時我軍已無活路，只能以身殉國！諸君可願與我同死？”宋軍將士無不爲其忠義所感，熱血沸騰，返身與遼軍再戰。楊業之子楊延玉挺身在前，殺敵數十，滿身負傷，一匹白馬都被染成了紅馬，血盡人亡。
73歲的老將嶽州刺史（據《長編》《宋史》作淄州）王貴親手射殺數十名敵軍，箭支用完，又以空弩擊殺數十人方纔壯烈犧牲。最後宋軍將士全體戰死，無一投降。楊業奮戰到最後一刻，手刃百餘遼軍，最後戰馬重傷倒地，終於被擒。《遼史·聖宗本紀》和《耶律奚低傳》記載楊業退到狼牙村，藏在林中，被右皮室詳穩耶律奚低發現後射死，顯然是錯誤的。楊業被擒後斜軫出了一口惡氣，問道：“你號稱'無敵'，與我軍作戰30年（他似乎把楊業在後漢軍服役，與他作爲戰友的時間也算上了），今天終於被我抓住，還有什麼話好說？”楊業長嘆道：“吾皇待我甚厚，我一直期待破敵以報，但是現在被奸臣所嫉，逼令赴死，導致王師敗績，哪裡還有臉面活於世上。”然後絕食三日而死，體現了崇高的民族氣節。戰後，楊業的妻子折（shé，音同“佘”）氏不依不饒，要求朝廷重處潘美等人，潘美也頑強辯解。太宗本來就非常痛惜楊業的死，裁定潘美等人有罪，將潘美連降三級，王侁、劉文裕被除名充軍。王侁是後周名相王樸之子，卻以人品低劣着稱，把王家的臉都丟盡了。
楊業被追贈爲太尉、大同軍節度使，留下的五個兒子都被錄爲官員，其中最有名的是長子楊延昭（原名楊延朗），日後也成長爲對遼作戰的主力，而折氏也因其正直敢爭名垂青史。後人非常感念楊業及其子楊延玉、楊延昭的忠勇，創作出了《楊家將演義》等大量的小說、戲曲傳頌楊家將的英名。而在這些作品中，不約而同的用到了一個反面角色：潘仁美。顯然這個“潘仁美”的原型就是潘美。潘美在雁門撤退時，作爲主帥，不能堅持正確的意見，又不能節制王侁等將擅自撤離，確實要對楊業的死負有主要責任。
所以，雖然潘美在宋朝建立的過程中立下戰功無數，是結束五代亂世的英雄人物之一，鎮守太原防區，鮮有敗績，此戰之後第二年就病卒，享年67歲，這不光彩的一戰簡直就是晚節不保。潘美卒後贈中書令，諡號武惠，配饗太宗廟庭，從祀孔子，和曹彬、李繼隆、曹瑋一起被譽爲“宋初四大名將”，但在後世的文學作品中，他卻只能永遠扮演白臉奸臣角色。楊業，本是北漢降將，劉家也算待他不薄，但他沒有愚忠於北漢，而是選擇了爲大宋盡忠。他很明白，大宋纔是值得他應該盡忠的祖國。在這個將星雲集的時代，楊業父子其實算不上超一流名將，但是他們的忠勇卻永遠感動着世人。曹彬、潘美、李繼隆、休哥、斜軫、蕭撻凜這些蓋世名將一定都爲和楊家將戰鬥在同一個時代而深感榮幸。