當胡斐還是小孩的時候，他急中生智，一泡急尿讓壞人陳禹手忙腳亂，趁機救了呂小妹，胡斐當時的動作舉止，好笑至極，胡斐的性情與郭靖、張無忌不同，比較接近楊過與令狐沖，有急智有時又有幾分滑頭。
少年終於長大了，胡斐過着他行俠仗義快意恩仇的生活。
胡斐說話風趣，討巧賣乖，喜歡佔美女的小便宜，是楊過、令狐沖的路數，但是認起真來九頭牛拉不回來死認道理，又是郭靖的脾氣。
胡斐和袁紫衣兩人相遇，正到了甜甜蜜蜜之時，在古廟中卻巧遇鳳天南父子，胡斐這一下怒從心頭起，憋了許久的穢氣，正好要發作，準備要大開殺戒。
就在此時，沒想到袁紫衣忽然間插上了一腳，橫說豎說要阻止胡斐殺鳳天南父子，最後爲此事還真的與胡斐動上了手，真刀真槍，毫不含糊，袁紫衣掩護鳳天南逃走，最後自己也走了。胡斐是又驚又疑，柔腸百轉，不明所以，困惑和失望中又想起了袁紫衣的許多好處。他對袁紫衣牽腸掛肚，若有所失，這就是胡斐的初戀，初戀的滋味，在甜蜜之中伴有焦慮和酸楚。
英雄和英雄之間，那一種激越的氣概往往可以相互傳染。苗人鳳指點了胡斐他家傳秘學胡家刀法，胡斐有如從他父親胡一刀那兒親自學到了要訣，他在武功上的成長在此時有了重大的突飛猛進。正因爲有這種不平凡的經歷，他才真正在武術境界上提升，最終能與苗人鳳這樣的蓋世大俠並肩而論。
當真相揭露之後，胡斐對苗人鳳下不了手，這是情理中事。這世界上沒有絕對的好人，也沒有絕對的壞人，沒有人可以充當審判者，爲善爲惡，只在一念之間。苗人鳳坦然而對，他愈是內疚，愈是束手等斃，引頸就刀，顯出他心底無私與天地寬容。
胡斐對程靈素的矛盾心態，他感到這位靈姑娘聰明才智勝過自己十倍，心底隱隱覺得不妥，他對程靈素的敬畏之心是愈來愈烈。
程靈素是真正的好姑娘，真要讓人爲她惋惜和不平，胡斐的軟弱和拿不定主意，結果是害人害己，錯過了人生中的幸福，到頭來是竹籃打水一場空，胡斐對袁紫衣也同樣是沒有指望。
與程靈素的大氣相對照，胡斐像是一個毛頭小夥子，他當然清楚地看出程靈素一喜、一嗔、一哭、一笑中隱含的對他一片深情癡意，他感到心中過意不去，他憐惜，也呆呆地發怔，也悵惘徘徊。
他知道和靈姑娘在一起，他不會寂寞，會快樂逍遙，但是他還是狠下心來將程靈素拒於千里之外，讓她死了這一條心。他突如其來提出要與程靈素結拜爲異姓兄妹，真是司馬昭之心，路人皆知，難怪程靈素心中非常的傷心。
胡斐做事也未免太絕了，胡斐究竟不喜歡程靈素什麼呢？是她的相貌平平？還是她的本事太大？還是有袁紫衣在那裡他無法安排呢？最讓人覺着不應該的是，程靈素正在爲自己的相貌問題傷心時，胡斐就立即提議結拜兄妹。
程靈素爲胡斐易容，裝上了添加威武的大鬍子，後來胡斐果然留了美髯。胡斐是否沒有忘記程靈素？是不是有一些反悔？想到了程姑娘的種種好處，留鬍子是爲了紀念她嗎？
程靈素是真心的關心胡斐，她一顆心全在胡斐的身上，更了不起的是，程靈素真是有過人的聰明，如胡斐所言，程靈素才智確是相當高的，程靈素真的可以稱得上是胡斐的知己了，她已經深刻地瞭解了胡斐，理解了胡斐的性格、脾氣、思維方式和行事方法。與她相比，袁紫衣對胡斐又能瞭解多少呢？袁紫衣只會耍小心眼，只會猜忌，其實袁紫衣並不適合於胡斐，胡斐被初戀衝昏了頭，沒有明白這一些道理。
胡斐犯險救人，百密之中還是有一疏，眼看無法順利脫身，這時幸有程靈素來相助。胡斐這一次真的感動了，他知道：“天下只有一位姑娘，才知道我會這般蠻幹胡來，也只有她，才能在緊急關頭救我的性命。”紅顏知己，但又有什麼用呢？胡斐還是喜歡那一個多情多義的袁姑娘。
程靈素並不是真正怪胡斐不聽她的話，她只是關心胡斐的安危。程靈素知道男人有男人的行事原則，如果男人事事都對女人耳提面命，這樣的男人當然沒有出息，也不值得好女人爲他牽掛了。
袁紫衣慧劍斬斷塵緣和情思，歸了自己的本分，這對胡斐的打擊太大了，袁紫衣緇衣芒鞋的出現，胡斐差點當場暈過去，胡斐怔了半天，還能說些什麼？只是最後輕輕嘆了口氣，終於還是挺住了，承受了這惡作劇般愚弄人的打擊。
程靈素爲胡斐犧牲了性命之後，袁紫衣又來了，她來幹什麼？要在胡斐心靈的傷口上再撒把鹽嗎？她放不下胡斐，但是她的理由太蒼白了，她不能終生陪伴胡斐一起浪跡天涯，難道只是像她所說，是掙不開當年在師父跟前立下了重誓嗎？袁紫衣若有情若無情，此時她又像是有情，但當胡斐要她下決心時，她又不言語了。
“一切恩愛會，無常難得久。生世多畏懼，命危於晨露。由愛故生憂，由愛故生怖。若離於愛者，無憂亦無怖。”
八句佛偈，解不開袁紫衣之惑，也解不開胡斐之惑。
胡斐與苗若蘭之間的含羞蘊藉的情意，胡斐對苗若蘭是一見鍾情的，他自幼失去了父母，母親的形象是他潛意識中擇偶的標準。而苗若蘭正和胡一刀夫人一般嬌美聰慧，一般的有主見有擔當，胡斐再也不能忘記苗若蘭的倩影，那一顰一笑，一言一行，那詩酒彈唱，使他孤寂落寞的內心，生出許多溫柔細膩的情愫。