隋軍在撤離婁煩關之前便做了手腳，他們設置了一條秘密通道，就是了重奪婁煩關的那一天。
王玄敬凝視城牆片刻，輕輕一擺手，十幾名士兵跟隨着他向城牆彎腰疾奔而去，不多時，他們奔到城牆下，距離城牆一丈有一塊重約千斤的大石。
士兵們一起用力，將大石緩緩搬開了，緊接着又刨去上面的浮土，露出了埋藏在下面的一塊石板，石板上有銅環，士兵握住銅環拉開了石板，下面露出一個黑黝黝的洞穴。
空氣流通了片刻，王玄敬第一個跳進了地道，地道長約兩丈，高只有四尺，他們只能匍匐着身體向城內艱難地爬去。
地道的出口位於婁煩關內倉庫和城牆之間的一處過道，這裡前後都被堵死，就是一條死巷子，而上方是女牆，除非正好有士兵站在牆邊，否則不會發現有人出來。
巷子裡地上一塊石板鬆動了，石板先移開一條縫，確定頭頂城上無人，這才完全移開了石板，露出了地道出口，王玄敬一躍跳了出來，他身後的手下一個一個跟着鑽了出來。
但巷子最多隻能容納十幾人，王玄敬和手下從地道出來的第一件事，就是開闢新的容身空間，不過他們之前已經安排好，王玄敬在角落的倉庫牆上摸索了片刻，低聲道：“就是這裡！”
兩名士兵上前，他們手中拿着鐵撬棒，在牆上輕輕一撬，一塊磚便鬆動了，他們小心翼翼地抽出三塊牆磚，眼前出現一個牆洞，王玄敬伸手進去摸了一下，裡面是一袋袋糧食，當初他們撤離時，特地在這裡堆放了兩千石糧食，看來突厥人沒有動這些糧食。
糧食和牆之間特地留了三尺寬的距離，而在糧堆中間也留了一片空地，就是爲了今天準備。
衆人一起動手，將倉庫牆拆了一個大洞，王玄敬率先閃身進了大洞，向倉庫內奔去
一刻鐘後，一百多名士兵全部進了倉庫，在城外還留了兩人，他們要負責將城外入口用泥土和草掩蓋，防止被突厥巡哨發現，士兵們同時恢復了過道和牆壁原樣，就算有人站在牆頭，也看不出下面曾經發生過變化。
倉庫內十分安靜，這邊是糧食庫，大門緊閉，地上覆蓋了一層薄薄的灰塵，看來突厥人沒有使用，隔壁是兵器庫，隋軍撤退前全部搬空了，估計突厥人用了隔壁的倉庫。
百名士兵都在等待王玄敬的命令，按照計劃，王玄敬將率二十人去接應從懸崖下來的隋軍士兵，另外八十人則去奪取南城門。
他們並不擔心北城門，數萬突厥軍駐營在婁煩關以北約十餘里外，就算髮現關城異常也來不了這麼快，
但南城門外的一萬駐軍卻在一里外，也就是原來隋軍的營房，一旦關城示警，南面的突厥援軍會迅速殺到，所以必須提前奪取南城門。
王玄敬的副將叫做杜平，齊郡人，是一名鷹擊郎將，年僅二十一歲，卻已經做了四年的斥候，膽大心細，武藝高強，他們之前已經進行了無數次模擬訓練，包括各種意外情況出現的應急處理，每個士兵都知道自己該做什麼，這也是主將魏文通深知奪取婁煩關的意義重大，不能出半點差錯，每一個細節都要考慮周全。
不需要吩咐，王玄敬給杜平使了一個眼色，他一揮手，二十三名士兵則跟着他向上方的氣窗攀去，杜平則率領其他八十名士兵在倉庫內稍等片刻，他們將從倉庫大門出去，從下面前往南城門。
隋軍斥候之前便在山頂上觀察過婁煩關的防禦部署，從空中向下看，婁煩關的外形頗像一枚回形針，南北城牆在東面和西面分別匯合後，又有一段較短的城牆連接在山崖峭壁上。
就在這段較短的城牆上分別建造了一座城臺，正好堵在從山崖過來的通道上，突厥人便將西面的那座城臺改建成了一座哨塔，專門有幾名哨兵晝夜注視着懸崖上的動靜，另外在哨塔背後還有一隊士兵巡哨，他們只在百步內巡哨，就是爲了防止隋軍從懸崖上攀爬下來，突厥軍在紫河就用這個辦法攻佔了紫河關，所以他們自己也格外防備。
夜色中，王玄敬和三名換了突厥軍服的士兵藉助繩索的幫助，沿着圍牆爬到了哨塔靠近山崖那一面，哨塔擋住了巡哨士兵的視線，使他們看不到幾名隋軍士兵已從哨塔的另一面上了城。
四人貼着哨塔牆壁站在城頭，在他們對面三十幾步外便是長滿了藤蔓的山體，王玄敬給其中一名士兵使了個眼色，士兵蹲了下來，王玄敬踩上士兵的肩膀，士兵緩緩地站起身，將王玄敬一點點託上哨塔窗口。
哨塔頗像後世的碉堡，頭頂有木蓋，四角有四根木柱，王玄敬聽了片刻，裡面隱隱傳來低微的鼾聲，他慢慢上探，終於看清了哨塔內的情形，哨塔內一共有三人，其中兩人已經靠牆坐在地上睡着了，另一人則疲憊地倚靠在木柱上，手執一袋酒，無精打采地喝着酒。
王玄敬向下比劃了一下，意思是三個人，兩人睡着了。
另一名隋軍士兵摸出了兩把淬有劇毒的匕首，也被下面的士兵慢慢託了起來，不過他沒有上探，他是要對付兩名睡着的哨兵。
王玄敬舉起手弩，瞄準了哨兵的脖子，‘咔！’的一聲輕響，弩箭準確地射中了哨兵脖子，弩箭上的劇毒見血封喉，哨兵軟軟倒下，一聲都沒有叫出來。
這時，另外一名士兵被托起，他雙手一揮，兩把鋒利的匕首射出，同樣刺穿了兩名熟睡士兵的咽喉，無聲無息地幹掉了三人。
王玄敬翻身跳下城牆，三名士兵翻進了哨塔，他們三人都換了突厥士兵軍服，扮成哨兵繼續在哨塔內觀察懸崖情況。
不多時，另外二十名士兵在王玄敬的率領下也攀上了牆頭，不過他們伏身在倉庫屋頂上，而一隊十人的突厥巡哨士兵就在不遠處的南城頭上來回走動，他們專門負責懸崖一帶的警戒，最近時相距隋軍伏兵只有二十步。
士兵們慢慢舉起了弩箭，瞄準了越走越近的十名哨兵，斥候事先在懸崖上仔細觀察過，突厥哨兵一共有十三人，其中十人是巡哨，三人是固定哨，固定哨已被幹掉，現在只剩下十名巡哨。
二十名隋軍士兵訓練了無數次，他們兩人負責射殺一人，交叉射殺，確保萬無一失，每個士兵都知道自己的目標在哪裡，也知道何時發箭，他們一起舉弩瞄準十名巡哨。
當十名巡哨走到哨塔邊，又調頭向回走，這時，他們距離隋軍士兵只有二十步，當最後一名突厥哨兵轉身的一瞬間，二十名隋軍同時射出了弩箭，儼如一陣突來的疾風暴雨，二十支箭同時射中十名突厥哨兵的脖子，每人的脖子上精準地插着兩支箭，一起倒地陣亡，幾乎沒有發出一點響聲。
這時，隋軍士兵支起一個斗篷，圍成了一個圈，在斗篷中點燃了一支火鐮，四周看不見火光，被斗篷擋住了，但從上方，卻能清清楚楚看見，這是隋軍斥候向山頂發出了信號。