周淳離開峨眉山後不久，李寧父女便結識了同住峨眉山中的廣慧師太，以及她的徒弟餘英男。
餘英男和李英瓊一見如故，又年紀相若，彼此交情日深。
又過不久，李寧也被白眉禪師收爲弟子，離開峨眉，隨他出家修佛。
白眉禪師見父叔都走後，李英瓊獨居深山，甚是寂寞，又怕她小小年紀，遭遇危險，便派來座下黑雕與她作伴，只是每逢朔望，仍要回禪師處聽兩次經。
又過了一段時日，一次崑崙派棄徒陰素棠路過峨眉，看見李英瓊在那裡舞劍，天資根基都非常之厚，本想將她帶回山去，收歸門下。正要上前說話，忽見佛奴飛來，認得是白眉禪師座前的神鵰。
陰素棠知那雕又向來不講情面，厲害非常，幸喜不曾被它看見，連忙隱身退去。她自脫離崑崙派後，原想獨創一派。這些年來，老想尋得到一個根基深厚的門人，來光大門戶。如今遇見這般出類拔萃的人才，怎肯放過。回山以後，越想越覺難捨。知道師弟赤城子昔日曾隨半邊老尼到白眉禪師那裡聽過經，神鵰佛奴與他曾有數面之緣。若派赤城子前往，即使李英瓊弄不回來，也決不會傷他。特地着人將赤城子請去，請他代勞一行。赤城子當年曾受過陰素棠許多好處，當然義不容辭。
赤城子趕到峨眉山後，恰趕上佛奴回白眉禪師座下聽經，只李英瓊一人在家。他當即現身，不消三言兩語，便誆得李英瓊隨他同去。卻不料途徑莽蒼山時，遇見他的老對頭華山烈火祖師。
赤城子知道難以迴避，便將李英瓊藏於趙神廟中，自己前去應敵。可是，剛一交手，便被人家將他的劍光絞斷。他好不容易纔逃得性命，卻身受重傷，直到兩三天後才復原。但那時李英瓊早已取得紫郢劍，離開趙神廟，並遇見了嚴人英，拜入了峨眉派。
回頭再來說餘英男。
在李英瓊被赤城子帶走不過兩天，餘英男的師父廣慧師太便圓寂坐化。餘英男在安排好師父的後事後，便打算上山來找李英瓊同住。豈知李英瓊沒遇着，卻碰見了來找李英瓊的陰素裳。
原來赤城子在傷好之後，回到趙神廟，沒有找着李英瓊，便前往雲南棗花崖，向陰素裳回報。
陰素棠在得知李英瓊被遺失在莽蒼山後，便急忙駕起劍光，沿途尋找她的蹤影，但找了半天也沒找到。於是陰素裳便猜李英瓊已從原路迴轉峨眉，便來到李英瓊在峨眉居住的山洞。誰知李英瓊沒見到，卻見到了餘英男。
陰素裳見餘英男根骨甚厚，不下李英瓊，便強收她爲徒，將她帶回了棗花崖。
陰素棠本是崑崙派長老，後與赤城子兩人因觸犯教規，被崑崙派掌教知非禪師開革出教。離開崑崙門下後，陰素裳便處心積慮想獨樹一幟，與崑崙對抗。故而到處物色門徒，不論男女，一律兼收。又開闢了幾處洞府，作她門人修道之所。
她門下原有四個得意門徒，三男一女，分帶了這些新收門徒散居各地。同時又命他們各地留心，物色收羅有根基的男女幼童，棗花崖只是別府之一。
陰素裳起初原住在這裡，新近在巫山十二峰中尋了一座好洞府，便帶了兩個得意門人移居過去，只留下她最寵愛的第三門徒桃花仙子孫凌波和餘英男在此居住，並命餘英男先跟孫凌波學劍。
起初陰素棠對餘英男極好，本打算將自己崑崙嫡傳用心傳授。誰知餘英男自小清修，又加天資穎異，根骨優厚，竟看出陰素棠種種敗壞清規劣跡，將來必無好果。又加想起亡師曾言陰素裳人品不端，自己與李英瓊情若骨肉，萬分難捨，每日裡除了學劍之外，總是愁眉苦臉。
陰素棠看出她貌合神離，對師父和同門都不太親熱，已經不快。沒過多時，又有人提起長眉真人“三英二雲”的預言，餘英男名字正犯諱，幾次占卜都與自己將來不利，只因餘英男質地太好，不捨得就逐出門牆。偏偏孫凌波一向得寵慣了的，初見餘英男時，一聽師父說此女根基稟賦俱在衆門人之上，恐怕將來餘英男得寵，傳了師父衣鉢，好生忌恨。一見師父起了疑慮，便乘虛而入，時進讒言。
日子一多，餘英男漸漸失寵，常受孫凌波的欺侮。餘英男絕頂聰明，一看情形不對，言行加了許多謹慎，仍是挽回不了她師徒們的歡心。
自陰素棠移居巫山，棗花崖便全在孫凌波掌握之下，她久見師父包玩面首，竟有樣學樣，從山下勾引了一個姓韓的少年入洞淫樂，嚇得嚇的英男更加憂驚氣苦，覺得此間決非善地。幸虧孫凌波醋心甚重，連姓韓的與餘英男說話都不許，餘英男才略放了點心，只是求去之心愈切。
而恰在這時，孫凌波在重慶又物色了一個破落戶的女兒，拜在陰素棠門下，算是小師妹。那女孩名叫唐採珍，年紀雖小，已解風情。她平日見了孫、韓兩個浪蕩情形，早就動了邪心。而那姓韓的也不是什麼好人，對於唐採珍也是心懷邪念。
因孫凌波要爲師父物色弟子，時常出門，兩人竟趁機勾搭苟合起來，只是瞞了孫凌波和餘英男。
也是合該有事，一日孫凌波又外出辦事，韓、唐又趁機在室內淫樂。餘英男原本在洞口悶坐閒眺，盤算去留。無心中入內取劍出來練習，恰撞見二人正在苟且，不由失聲驚呼起來。
那姓韓的本對餘英男也不安好心，只是因爲餘英男一直潔身自好，他勾搭了兩次沒有得手，才暫且作罷。此時見好事被餘英男撞破，索性一不作，二不休，想便拖了餘英男一起下水，赤着身子，上前便撲。
餘英男武藝本就高強，陰素棠所傳練劍之法雖然只教了半截，經她下功苦練，已有了根抵。姓韓的不過是川東小盜，如何是她的對手。先見這一雙狗男女的醜態，已經又羞又怒，再一見他還要沾染自己，隨手用劍一揮，將姓韓的攔腰斬成兩截。
餘英男殺了那姓韓的，悶氣雖出，卻也知自己闖了大禍。少時孫凌波回家，一見心上人被殺，豈肯甘休？當時把心一橫，逃下山去。
餘英男下山後，舉目無親，因聽陰素裳曾說過李英瓊去了莽蒼山，便想到莽蒼山去尋她。途遇妖人，被他誆騙去取冰蠶。結果不抵風穴中黑霜陰霾，被凍僵在陰寒晶。
幸得她未遭難時，因腹中飢餓，從幾個大猩猿手中奪了幾個以前嚴人英採遺的朱果吃了。藉着仙果之力，周身氣血雖已凍凝，惟獨心頭方寸尚是溫熱，苟延殘息，等到嚴人英來救。