母親安高中畢業後就開始四處找工作，先是在一家公司當的打字員，然後到一家雜貨店做收銀員，再就是到船塢打工，就是在這裡、他碰上了弗瑞曼，弗瑞曼也擔起了責任，撫養了阿倫和他與安所剩下的兩個女兒。
88年的一場意外車禍使弗瑞曼失去了工作，於是爲了生活他從89年到90年，一直在販賣可卡因，因此他總是在監獄之間進進出出。但就艾弗森來說，他並不以繼父的坐牢爲恥，因爲弗瑞曼是爲了養家餬口，是爲了能夠把食物放在他這個家庭的桌子上。
弗瑞曼並不像布朗那樣有很大的抱負，去追求輝煌的美國夢，他只想漂在社會底層的水面上就足夠了。在貧民窟中的黑暗日子，父親的入獄以及很小就失去了家庭溫暖和教育、這並不是艾弗森童年中所面臨的最大的困難。
在不打球的時候，走在那個有槍便代表着法律的黑街、躲避毒販的誘惑與不時的冷槍纔是只有8歲的艾弗森所面臨的最大威脅一次在打羣架時，艾弗森有8個死黨朋友死於亂槍掃射，而他自己僥倖大難不死。
艾弗森一家當時居住在弗吉尼亞州漢普頓的排污管道上，排污管經常爆裂，使艾弗森一家經常被污水完全淹沒，污水退去後的惡臭可以在他家瀰漫數週之久，這使得他的兩個妹妹經常生病。
安一天工作18個小時尚不能維持這個家庭的正常開銷，他們經常因欠費而被停止水電供應，於是艾弗森生病的妹妹永遠無法得到合理的治療，他們一家要面臨的不僅是溫飽，而是最基本的生存可能，但安無時無刻不在用各種方法使這個家庭充滿快樂和友愛。
艾弗森多年以後評價自己母親時說:“她做到了她能做到的一切!”看看他的母親，看看弗瑞曼，看看周圍的那些人，艾弗森逐漸開始明白一個道理:體育將是他惟一的一條出路。這是艾弗森的想法，也是安長期以來堅持的信條。
安還記得艾弗森在13歲時與他說過的話，“當時阿倫對着我喊道‘媽，我受不了貧窮，我再也受不了了!’而我則回答說，那你就必須打出個樣來，否則，什麼都不會改變。”從此，美國的黑街上少了一名毒販，而NBA賽場上多了一名叫艾弗森的球員，世界籃壇有了一條聰明絕頂的硬漢。
在美國，有很多這樣的例子，即很多體育人物的出身都是貧苦的，但是他們的母親都沒有放棄對孩子的教育，讓他們儘可能地接受知識，即使在他們功成名就之後、他們的母親仍然是督促他們完成學業。
NBA的微笑刺客托馬斯就是一個例子，後來在NBA成名後，他還是在母親的督促下，完成了他因爲打球中斷的學業，拿到了學位證書。
但是安艾弗森並沒有這麼做，她沒有在艾弗森在球場上幹出了點名堂之後，叫他回頭再讀一些書。她知道自己的孩子天生就是幹體育的料。當街面上開始談論她的孩子時，她就篤定地認爲她孩子的命運已經被註定，她不打算拒絕這種命運。事實上，安艾弗森一直在感謝上帝爲她和她的孩子提供了這麼一個安排。
像她的兒子一樣安艾弗森不需要去努力尋找快樂:她似乎天生地擁有快樂。首先，她的嘴巴非常大，當她露出牙齒時，就有一種天然的微笑效果。而當她的嘴巴不斷張大時，笑容就一直在擴展。
75年的6月8日，在漢普頓通用醫院的產房裡，15歲的安艾弗森一直在呻吟，抱怨她的疼痛，她不斷要求一些藥來止痛。當護士終於把她的孩子遞給她，突然，安的嘴巴張大了，似乎有一英里長，她在笑，因爲她看到了特別的一幕:她的孩子手臂非常長，一直下垂到他的膝蓋那裡
“他一定能夠成爲一名球員。安尖叫了出來。
她那時就明白她的兒子一定能實現自己的夢想，後來她住在漢普頓喬丹路上時才恍然大悟。她說，“你們知道那真是一個巧合，因爲我的孩子曾經住在一條和後來NBA統治者名字一樣的街道上。
她知道這是，上帝的安排。安從她的祖母那裡繼承了一種強烈的體育精神，她非常相信這一點。按照她的觀點，阿倫是她的耶穌孩子，她之後在《體育畫刊》也宣稱了這一點。她說，阿倫一定能夠感知這一點，是他使她成爲了聖母瑪利亞。
擁有配合默契又球技精湛的兩輪馬車小奧尼爾和阿泰斯特，步行者隊已經成爲東部的霸主球隊。
在常規賽中，阿泰斯特和奧尼爾推動印第安納步行者隊取得了60勝22負的聯盟最好成績，要想盡情欣賞這兩名球員變爲NBA中最優秀的一對前鋒組合的成長過程，必須理解這兩個人有多麼的不同。
就拿他們最喜歡吃的食品舉一個例子。阿泰斯特特別特別喜歡吃豆子，腰果、斑豆、蠶豆、黑豆等等，各種各樣的豆子都喜歡。他讓他的妻子基米莎在她做的每道菜中都加入豆子。“豆類像肉一樣富含大量的蛋白質，而且也有澱粉的能量，”阿泰斯特像一名營養師那樣確信地說，“豆類是所有營養的集合體。”
而奧尼爾則對豆類不感興趣，他像很多人喜歡自己的小孩子一樣喜歡炸雞翅。其實，他喜歡印第安納波利斯市一家名爲巴哈馬微風餐廳的那種風味，因此，他特意僱傭了一名廚師爲他工作，爲的是走到廚房就能來上一份。
現在，不論天色多晚，奧尼爾都能隨時吃上炸雞翅。“它們太令人難以置信了，”身高2.10米、體重110公斤、還算比較瘦弱的奧尼爾說，“它們還令我的體重不斷增加。”
烹調方面的偏愛僅僅是兩人比較的開始。在成長的歲月裡，小奧尼爾身材瘦長、搖搖晃晃，就像一隻剛出生的小鹿，他是溫柔輕語的媽媽的乖兒子。長到2. 05米高時，他還不能扣籃，充分說明了這一點。