艾弗遜更喜歡的運動是橄欖球———一種更粗獷的運動。“我那時候真的是一百個不願意，我覺得籃球太‘溫柔’了，媽媽甚至還給我買回了價值不菲的喬丹鞋，她命令我說，‘這是你的籃球鞋，今天你必須去練習籃球。’我說，‘噢，我討厭籃球！’我哭着被她拖到了籃球場，在那兒我卻驚奇地發現，我的橄欖球隊友們都在籃球場上！那天回家後，我十分開心，連連說，‘謝謝你，媽媽！’從此，我就開始了籃球生涯。”
不過，艾弗遜仍然說：“我一直惦記着橄欖球。一開始我根本就沒有打NBA的念頭，我的目標是成爲職業橄欖球隊員。”
有些人要花好長時間才能找到屬於自己的運動，有些人能馬上做到，艾弗遜就是後者，儘管他的身材對於籃球來說矮了點，但他很快就喜歡上了籃球，並且開始受到關注。
那時候，艾弗遜就讀於弗吉尼亞州漢普頓的阿伯丁小學，他就在附近的安德森公園裡打球。“在那裡，我常常觀看我的叔叔及其朋友們的比賽，真是酷斃了！我必須一放學就去練球，要不到了太陽下山時場地就被叔叔他們霸佔了。”艾弗遜很想加入叔叔他們的比賽，但總是遭到拒絕，“我猜想，是他們認爲我技術不夠好，或者是身材不夠高吧。”
這一切，在艾弗遜上9年級時完全改變了。當地早已傳聞四起，說這個天才籃球少年運球時好似一陣風，他要得分時無人能敵。阿倫_艾弗遜成了當地家喻戶曉的人物。“那時，每個教練都想把我招入他的球隊，於是他們互相威脅說阿倫已經是自己球隊的人了。這種感覺好極了，在球場上連對手都會和我打個招呼，因爲我可能成爲他們的隊友。”
不久，艾弗遜就能在籃球館裡面打球了：他加入了貝澤高中（就是她母親懷上他時所在的學校）。在這裡，艾弗遜成爲了籃球和橄欖球的雙料明星，籃球場的後衛和橄欖球場的外投手。1991年，艾弗遜作爲四分衛，甚至率領學校的橄欖球隊以不敗戰績取得了球隊15年來的首個分區賽冠軍。那時候的橄欖球教練丹尼斯_科茲洛維斯基說：“我當時就在想，如果他成爲職業橄欖球手，一定會成爲絕對的明星。”艾弗遜現在的助理加里_莫爾也同意這種說法：“別看阿倫在籃球上成績斐然，但橄欖球更適合他。真的，不是我一個人這樣認爲。”
不過，誰都知道，艾弗遜做出了自己的選擇，那就是籃球。
在1991年的夏天，在他帶領校橄欖球隊打進全國17歲以下聯賽半決賽後，便一頭扎入了籃球場。關於這段經歷，貝澤高中的籃球教練伯利當時就表示過：“成爲職業籃球選手是艾弗遜的夢想。既然人類都能站到月球上，爲什麼艾弗遜就不能打NBA？對我來說，任何夢想都可能成真，我相信他能夠創造奇蹟。”與此同時，諸如杜克、肯塔基等大學也開始密切關注艾弗遜的表現了。
1992年，艾弗遜缺席了橄欖球隊的季前熱身賽，人們都認爲他專攻籃球去了。但他沒有捨棄橄欖球，在隨後的比賽中，艾弗遜光芒四射，他帶領球隊奪得了州冠軍，還當選當年的弗吉尼亞州AAA級橄欖球賽“最有價值球員”，併入選最佳陣容。直到現在，他還保持者幾項這個賽事的州紀錄。藉此優異的表現，佛羅里達州、北卡、馬里蘭和弗吉尼亞等大學都向艾弗遜伸出了橄欖枝。
籃球纔是艾弗遜的真愛。在率隊奪得橄欖球冠軍之後僅3天，他又站到了籃球場上，在首場高中聯賽中，他就獨得37分戰勝對手。接下來就是一個夢幻般的1992－93賽季：他場均得31．6分、搶8．7個籃板還有9．2次助攻！這個賽季，艾弗遜總共得到了948分，改寫了20年前摩西_馬龍創下的紀錄。而摩西_馬龍就是從高中直接加入NBA並最終步入50巨星之列的。此時，他的籃球教練卻異常平靜：“我知道他的能力，但這點成績不足掛齒，他還要面對更艱苦的訓練和比賽。”
儘管艾弗遜在球場上成績優異，但家境卻是每況愈下。安竭盡全力去掙錢，但由於繼父弗里曼的入獄，加上還有兩個妹妹，家裡總是入不敷出，艾弗遜不得不經常回家照顧妹妹們，伯利教練爲了能保證艾弗遜不遲到，每天早晨都會親自開車去接艾弗遜到學校。伯利回憶說：“有好幾次，我都發現艾弗遜沒有回家過夜，他受不了家裡的樣子。他曾經無奈地對我說，這不是他所期望的。但現實就是這樣。”
老師、教練和鄰居們經常接濟艾弗遜一家，讓他們至少能勉強維持生計。對他們，艾弗遜至今滿懷感激之情：“如果沒有他們的幫助，也就沒有今天的阿倫_艾弗遜。他們是我最信任的人。我相信，即使哪一天我死去了，他們也會照顧好我的家人，因爲他們永遠是我最堅強的後盾。”
伯利當然是艾弗遜最信任的人之一，他的妻子珍妮還是艾弗遜的英文老師。“我從一開始就用真心對待他，從未想過欺騙他，因爲只有一顆真心才能體會到艾弗遜的感受。”伯利說，“我們彼此信任。他最尊敬的就是那些真心支持、幫助他的人，他能成爲你最忠誠的朋友。你對他的付出越多，你將得到的回報也越多。”
2001年，當艾弗遜從NBA總裁大衛_斯特恩手裡接過當年的“最有價值球員”獎盃時，他把伯利一家都請到了76人隊的教練席上，讓他們分享榮譽。“他在高中時，我們有什麼話要談時就會到一家叫做‘哈迪’的酒吧去。他拿着MVP獎盃時告訴我說，還想去那裡。那天我們談了很多很多，我問他最需要我做的是什麼，他給我的答案是‘一件事，那就是永遠的支持。’”
不久之後，一件突發事故改變了17歲的艾弗遜的生活。
那是1993年的情人節。高中聯賽的常規賽還剩1場，肩負着生活和比賽雙重壓力的艾弗遜疲憊不堪，他需要放鬆一下，就和幾個朋友去了一家叫“環線”的保齡球館。災難突然降臨了，艾弗遜的人生似乎打上了一個句號。