阿伦·艾弗森小时候最爱的运动是橄榄球，他认为打篮球的人“太软”。高中时期艾弗森在球场上能打多个位置，从跑卫到四分卫都很擅长，此外，他的偶像是芝加哥小熊队的传奇跑卫沃尔特·佩顿，最喜欢的球队是达拉斯牛仔。
年，17岁的艾弗森与一群黑人同学卷入与一群白人同学的斗殴中。艾弗森事后被指控用椅子殴打一名白人女孩，并被判入狱15年。年，艾弗森在监狱里呆了4个月后因证据不足被判无罪，但被迫从贝塞尔高中转学到理查德·米尔本高中，一所专门给问题少年准备的学校。讽刺的是，年贝塞尔高中退役了艾弗森的球衣。
艾弗森入狱期间，母亲安·艾弗森拜访了乔治城大学主帅约翰·汤普森。汤普森事后说，安是他唯一帮助艾弗森的原因。不过，汤普森是一位相当严厉的主帅，在他手下效力的球员一般必须打满四年才能离校，艾弗森是史上首位在汤普森手下提前参选NBA的球员，并且这一决定得到了恩师的支持。
年，艾弗森首次代表美国参加国际比赛，即世界大学生联赛。和邓肯、雷·阿伦等未来NBA球员一起，美国队以不败战绩夺冠。在这届比赛中，艾弗森场均16.1分、6.1次助攻和2.9次抢断均为全队最高。
从高中到大学艾弗森拿到过许多全美级别的奖项，但是这两个奖肯定会让你觉得意外。进入乔治城大学的两年时间里，艾弗森连续两年拿下大东区年度最佳防守球员奖，作为一个小个子球员这难能可贵。
-00赛季，艾弗森因为和主帅拉里·布朗不和，而被管理层考虑交易掉。年休赛期，76人考虑将艾弗森和马特·盖格尔打包交易到底特律活塞，但由于盖格尔拒绝放弃自己合同中约万美元的转会保证金，交易最终流产。
年的MVP评选属于大鲨鱼奥尼尔，那是他生涯唯一一座MVP奖杯，也差一点就成为NBA史上首个全票MVP。那年奥尼尔唯一所缺的一票被艾弗森分走。-01赛季，艾弗森如愿拿下MVP，并杀进总决赛对阵湖人。
年夏天，艾弗森录了一张叫做《Non-Fiction》后来改名卫《Misunderstood》的说唱专辑，不过后来因为其中一首歌《40bars》的歌词太具争议而没有发行。时任NBA总裁大卫·斯特恩和马丁·路德·金协会都批评这首歌“暴力”、“反社会”。
年，艾弗森开始在右臂上佩戴长护臂，以保护自己受伤的右手肘。不料，这居然成为大街小巷上人们的潮流，影响范围比艾弗森标志性的地沟垄发型更大。伤愈后，艾弗森选择继续佩戴护臂，并相信这有助于提高投篮命中率。
年，艾弗森在76人主场的更衣室失窃，损失若干现金。摄像头显示，偷艾弗森更衣室的人居然是约翰·克罗斯，76人时任总裁帕特·克罗斯的弟弟，此人随即被解职。帕特和艾弗森关系十分密切，被外界称为艾弗森的“白人父亲”。
年，艾弗森在特朗普（美国总统）旗下的一家酒店的赌场里和工作人员起了争执。当时，发牌的荷官多发了1万美元的筹码给艾弗森，然而后者拒绝归还。年，艾弗森还因在赌场的垃圾桶撒尿而被永久禁止进入赌场。
年1月，艾弗森代表掘金主场面对76人，在比赛中他得到两个技术犯规被罚出场。赛后艾弗森说，当值主帅史蒂夫·贾维始终对自己有偏见。后来赌球门主角多纳希出版的《PersonalFoul:AFirst-PersonAccountoftheScandalthatRockedtheNBA》一书中，多纳希证实贾维确实一直不喜欢艾弗森。
年1月艾弗森重返费城，签下一份不受保障的老将底薪。1个月后，76人宣布艾弗森因“个人原因”将不会出战剩下的比赛。这里的“个人原因”据艾弗森后来介绍是4岁的女儿梅塞亚患“川崎病”（皮肤粘膜淋巴结综合征）。