生活給了艾弗遜太多考驗。當他在喬治城大學打上主力時，母親和妹妹還住在原來的小破屋裡。“當你取得一定成就時，也意味着更大的責任和壓力。家是我最珍惜的東西，我愛他們，我必須爲他們而努力。”艾弗遜說。家庭似乎總是困擾着他，生父離他而去，養父又被判刑入獄，他成了家裡唯一的男人。接着，他又入獄一段時間，然後就去了喬治城大學，母親和兩個妹妹一直住在漢普頓的廉價公寓，妹妹莉薩的病更是快叫家裡破產了。
1995年，艾弗遜又多了一項責任。女兒蒂娜出世了，他當了爸爸。這一切，促使他產生了提前加入NBA的念頭：“對我來說，家庭意味着一切，我不能看着它日漸沒落。我必須挽救它，我珍愛我的家。”
在喬治城，艾弗遜生平第一次體會到了與同齡人在一起的快樂，但他知道，該是告別的時候了，他必須把家庭責任放在第一位。NBA的商業開發引誘着衆多球員早日加入百萬富翁行列，在艾弗遜升入大二時，就有謠言說他要參加NBA選秀。但在此之前，喬治城大學還沒有一個人在畢業前加入NBA，其中包括1985年的狀元秀帕特里克_尤因、1987年第四順位的雷吉_威廉姆斯、1991年第四順位的穆託姆博和1992年的榜眼阿隆佐_莫寧。
湯普森教練知道，艾弗遜有那個能力，但不希望他過早成爲職業球員。“如果艾弗遜要去NBA，他一定會徵得我的同意。可現在我們還沒下決定，真不知你們媒體是如何知道的？”湯普森認爲，媒體的炒作會增加艾弗遜的壓力：“這對艾弗遜很不公平，一個理應享受美好大學生活的孩子，卻要面對這樣的難題。”現在，艾弗遜的朋友、奉承者和媒體都在勸說這位年輕人：加入NBA吧，那裡有更多回報。湯普森看到了這些，決定保護艾弗遜，他說：“我相信艾弗遜的決定不會讓我吃驚，沒有什麼值得擔心。艾弗遜要走，也會是在我同意之後。也許明天我就會告訴他是時候了，也許明年。”
但是，當湯普森還不置可否時，艾弗遜似乎早已下定決心。1996年4月，艾弗遜開上了一輛價值13萬美元的奔馳車。由於這與他的經濟狀況嚴重不符，艾弗遜受到了全美大學生體育聯合會的調查。“他(汽車銷售商)說借給我用，我只在家與學校之間開。我想，他只是允許我借用比較長的時間而已。”艾弗遜解釋說。
幸運的是，商人的投機行爲絲毫沒有影響艾弗遜在球場上的表現。相反，他變得更加成熟。如果參加選秀，他可能得到一個很高的排名，甚至成爲新秀狀元。對此，艾弗遜很有信心：“現在的我比以前更有韌性，低級錯誤極少發生，領導全隊成了我的角色。在湯普森教練看來，要想進入NBA，我必須在得分後衛位置做到最好。我正在不斷努力。”二年級時，他場均得到24.7分、5.0次助攻、3.8個籃板和3.5次搶斷。這一成績使他再次當選東區最佳，併入選全美第一陣容。喬治城大學隊也殺入全美8強，只是敗給了當年最佳球員坎比領銜的馬薩諸塞大學隊，未能進入四強。
此時，如果艾弗遜仍要考慮是否加入NBA，他應該回到漢普頓破落的家中，看看生病的莉薩，再想想一歲的孩子。是時候了，用天賦創造財富、實現夢想的時候到了。1996年5月1日，艾弗遜和喬治城大學召開新聞發佈會。“經過與教練協商，考慮到家庭情況，我決定提前參加NBA選秀。雖然我很想完成學業，但爲了照顧生病的妹妹，爲了報答父母，我必須早點兒離開大學。”艾弗遜宣佈了自己的決定。對此，湯普森感到很遺憾，但他堅決支持艾弗遜：“要改變一個成年人的想法很愚蠢，我不會阻止他。不過，如果你現在問我，‘他該留下來嗎？’我會說，絕對應該；如果你問我，他的決定正確嗎？我也會說，絕對正確。”
談到提前結束學業的原因時，艾弗遜和湯普森都把矛頭指向了NCAA的制度。它不允許球員找工作掙錢，又不給貧困球員財政支助。湯普森認爲：“NCAA的制度實在太古老了。即便喬治城大學擁有完備的醫療體系，但我們對艾弗遜的妹妹無能爲力。”艾弗森同樣依依不捨：“如果不是家庭原因，我一定會留下。在這裡，我學到了很多，尤其是有湯普森這樣的教練，他教會了我很多，一半在球場，一半在場外