由於地形的限制，荊州最多隻能一次投入兩千人攻打平安堡，分爲東、中、西三個方向進攻，而城堡上的五百守軍也同樣分爲三線防禦，他們居高臨下，佔盡了地利，使荊州軍死傷慘重，卻始終難以攻下這座堅堡。
負責西線進攻的荊州軍將領是一名軍侯，名叫趙潛，他們是投入的第三批荊州軍，在他們之前的兩千士兵已陣亡大半，這一次李嚴下達了死令，拿下城堡重賞，拿不下城堡皆斬，這使軍侯趙潛揹負了極大的壓力。
在一座被燒燬商鋪的斷壁殘垣後面，趙潛召集五名屯長商議對策，一名屯長憤憤道：“最容易攻下城堡的是東面，我們這邊最難打，連東面都攻不下來，讓我們西線怎麼打？”
“放屁！”
趙潛怒罵道：“你有種向太守去說，別在老子面前說這些沒用的屁話，明天天亮前拿不下城堡，老子人頭落地，你們也休想活命！”
衆人都沉默了，這時，一名身材瘦小的屯長道：“我琢磨着，咱們能不能從南面試一試。”
“可南面背靠山崖，連立足之地都沒有，怎麼試？”另一名屯長立刻反對道。
“就因爲幾乎不可能進攻，所以南面纔沒有什麼守軍，其實城堡高大堅固倒不是問題，關鍵是守軍太兇狠。”
“別扯了，南面根本不可能，怎麼爬上去？被發現了，只用一塊石頭就全部砸死。”
衆人紛紛反對，趙潛也覺得不太可能，但除此之外，他又無計可施，他便問提方案的屯長道：“你覺得爬得上去嗎？”
“卑職在山裡長大，從小跟隨父親去採藥，比這個更陡峭的山崖都爬過，我只要帶五個弟兄，混進堡中伺機行事。”
趙潛想了想，就算他們幾個人死了也無所謂，他終於答應了，“假若能成功，我把賞金分你一半，另外，我會從前面進攻，配合你們的行動。”
平安堡背靠一座十幾丈高的山崖，山崖下便是滔滔長江水，儘管城堡和山崖之間有一條長約一尺的空隙，但從正面繞到城堡後背，幾乎是不可能，只能乘船到山崖下，再沿着山崖向上攀爬。
執行這個任務的屯長名叫任平，是南郡枝縣人，從小在山區中長大，祖祖輩輩都以採藥爲生，任平也從六歲起便跟隨父親上山採藥，十八歲時加入南郡軍，至今已經七年，累功升爲屯長。
任平一直屬於劉備的軍隊，在去年跟隨王威偷襲襄陽時被江夏軍俘獲，正式隨大軍轉爲劉璟的江夏軍。
任平身材瘦小，立功的機會並不多，而這一次他知道自己機會來了，儘管他也知道這件事的風險極大，但升官發財的慾望促使他甘願冒險。
他從五百士兵挑選出了五名跟隨他的勇士，這五人都和他一樣身手敏捷，極善攀登。
今晚他們的運氣不錯，彤雲密佈，星月遮蔽，天地間一片漆黑，幾步外就看不見人影，是趁夜偷襲的大好良機，在夜色的掩護下，任平率領五名手下乘船到了山崖下，徒手向山攀登。
山崖雖然陡峭，但長滿了粗壯的藤蔓，使他們的攀登非常順利，不到半個時辰，他們便攀上懸崖，後背緊緊貼靠城堡，站在一尺寬的空隙上，再向上攀爬卻不容易了。
城堡是巨石砌成，巨石之間嚴絲合縫，向上攀爬毫無着力之處，但對於任羣他們而言，爬上去並不難，難的是不能被敵軍發現，他們沒有急着動手，而是在耐心地等待機會
李嚴也親自到了平安堡下，他剛剛得到信陵縣傳來的消息，對岸斥候發現了一萬多劉備軍隊，正在對岸碼頭集結，準備天亮後渡江。
這便使李嚴心中十分緊張，他現在已經不是擔心怎麼向劉璟交代的問題，而是劉備軍一旦渡江成功，他們的巴蜀戰略將遭到沉重打擊，甚至劉備只要扼守住秭歸城，便可以從容入蜀，而他們卻無能爲力。
只有拿下平安堡，他們才能狙擊劉備軍渡江，此時李嚴也知道六名勇士從後面攀城的情報，他算了算時辰，可以進攻了，他當即下令道：“傳我的命令，全線進攻城堡！”
“咚！咚！咚！”荊州軍鼓聲大作，兩千餘士兵從三面向平安堡發動了進攻，喊殺聲震天，奔跑的人羣彷彿大潮奔騰，箭矢如雨，鋪天蓋地射向城頭。
城頭上的五百守軍全部上城防禦，一塊塊大石滾木向城下砸去，大石翻滾，砸入人羣之中，瞬間砸翻了七八人，一架攻城梯子搭上城頭，立刻被叉子推出城頭，長長的梯子向後翻去，梯子上的數十名士兵發出長長的慘叫聲。
劉備軍居高臨下，用箭射，用石頭、滾木砸，反擊犀利，使進攻的荊州軍死傷慘重，但李嚴卻不準士兵退下，他不斷下令繼續增兵，不計一切代價地拼命攻城。
在城堡南面的六名勇士等待就是這個機會，荊州軍攻城凌厲，使南面沒有了守軍，只剩下兩名崗哨，而且他們的注意力都放到了前方的戰鬥上，沒有注意到身後的異常。
任平經驗豐富，他從小就會製作攀爬懸崖的工具，他們慢慢豎起三根數丈長的竹竿，竹竿前端裝有大鐵鉤，鉤住了上面的城頭，六人分爲三組，沿着竹竿迅速向上攀爬。
任平第一個攀上城頭，他單手扶住城垛，慢慢露出一雙眼睛，南面果然已經沒有了巡邏士兵，只有兩名哨兵站在兩邊轉彎處，他們正全神貫注地眺望前方的戰鬥，根本沒有意識到身後的危險。
另一名手下也攀上了城頭，兩人點點頭，從後背取下軍弩，單臂持弩，交叉瞄準了兩名哨兵，他們箭尖上塗有劇毒，見血封喉，兩人幾乎同時扣動了懸刀，只聽‘咔！咔！’兩聲，兩支弩箭閃電般射向哨兵。
兩名哨兵發出一聲悶叫，便軟軟倒地，任平大喜，一躍跳上城頭，另一名士兵也跟他跳上城，兩人分頭行動，將兩具屍體拋下了長江，其餘四人紛紛順竿爬上城頭，六人都身着劉備軍的軍服，迅速向前方城頭跑去。
此時前方的戰鬥打得異常激烈，儘管荊州已死傷數百人，但他們也突破了敵軍的巨石滾木陣，將數十架攻城梯搭上城頭，荊州軍士兵執盾持刀攀城而上，和城頭上的守軍激烈交戰。
任平帶領五名手下，混入了守軍之中，混亂中，沒有人會注意他們是否與衆不同，在上城之前，任平便和他的上司商議好了應對之策。
他率領五名手下衝到西北角，這裡是一個死角，進攻方上城的角度很小，只需數人便可以守住這個角落。
此時這裡並沒有進攻的梯子，他們六人守住了這個角落，任平從城頭拔下一根火把向城下砸去。
火把在空中劃出一道弧線，落入了城下的荊州士兵中，這就是一個信號，一直在城下等待的趙潛看見了火把拋下，他心中大喜，立刻稟報李嚴，“稟報太守，我們弟兄得手了。”
李嚴心中也生出一線希望，他點了點頭，“就看你們了！”
趙潛一揮手，“跟我上！”
他帶着一百多名扛着梯子向西北角衝去，梯子搭上城頭，趙潛手執巨盾和長矛率先向城頭攀去，這時，一名牙將看見這架攻城梯，大喝道：“守住西北角！”
任平應聲大喊道：“弟兄們守住，絕不讓敵軍上城一步！”
他們六人封住了所有的角度，將奔來助戰的十幾人擋在身後，六支長矛封鎖住登城口，沒有用滾木和巨石向下拋砸，也沒有用鋼叉向外推開梯子，只是用長矛毫無意義地撬挑梯子。
這種極爲被動的防守姿態使城頭主將勃然大怒，大罵道：“西北角那幾個蠢貨，讓他們滾開！”
十幾名軍紀兵執棍奔來，劈頭蓋臉打去，後面的士兵見他們防守不力，也紛紛推攘，企圖將他們推開，這時，兩名士兵擡着一根百斤重的木頭擠上前，準備將木頭向下砸去。
形勢十分危急，任平忽然大吼一聲，“動手！”
六人同時反戈，用長矛戰刀向守軍殺去，長矛刺穿了擡木頭士兵的後背，將這兩人刺翻在地，其餘守軍被殺死四五人，嚇得衆人紛紛後退，突來的變故使城頭一陣大亂。
爲首牙將大吃一驚，他立刻意識到了什麼，嘶聲大吼：“快殺了他們！”
數十名士兵揮矛衝向六人，六人巨盾拼死抵抗，就在這千鈞一髮之時，軍侯趙潛一躍上城，長矛向敵軍刺去，將一名什長迎面刺翻。
後面士兵接二連三衝上城頭，堅固的城堡終於被撕開了一條防線，從數十人增加到百人，從一架攻城梯上城增加到十幾架攻城梯登上城頭，攻上城頭的士兵越來越多。
半個時辰後，用生鐵鑄成的城堡門轟然開啓，洪水般的荊州士兵衝進了城堡之中，荊州軍大旗在城頭高高飄揚，平安堡失陷了，荊州軍終於控制了碼頭
雖然荊州軍並沒有攻下秭歸縣，但他們卻攻克平安堡並佔領了碼頭，並用泥袋修築工事，並投入三千士兵用弓弩防禦劉備軍登陸。
尤其平安堅堡緊靠碼頭，居高臨下，可以很輕易地打擊靠岸的船隻，這便再一次截斷了劉備軍和夷陵道的聯繫，使劉備軍無法大規模向巴東發動攻擊，危急的局勢被稍稍挽回。