衛青的母親在其夫家做女僕，因丈夫姓衛，她就被稱爲衛媼。
注：顏師古在《漢書》的註解中寫明“媼者，後年老之號，非當時所呼也。衛者，舉其夫家姓也。”以漢高祖劉邦之母被稱爲“劉媼”爲例，衛青衛子夫的生母“衛媼”是以夫姓尊稱，即衛老夫人之意。衛媼的兒女們並非其父不詳，“冒姓”爲衛的只有衛青、衛步、衛廣三人（《史記衛將軍驃騎列傳》：後子夫男弟步、廣皆冒衛氏，也有認爲衛步廣爲一人）。
衛媼與衛姓男子生有一男三女：長子衛長君，長女衛君孺（《漢書》作衛君孺，《史記》作衛孺）、次女衛少兒、三女衛子夫。丈夫死後，仍在平陽侯家中幫傭，與同在平陽侯家中做事的縣吏鄭季私通，生了衛青。衛家的生活艱苦，於是衛青被送到了親生父親鄭季的家裡。但鄭季卻讓這個年幼的私生子放羊，鄭家的幾個兒子也不把衛青看成手足兄弟，隨意苛責（青爲侯家人，少時歸其父，其父使牧羊。先母之子皆奴畜之，不以爲兄弟數。《史記衛將軍驃騎列傳》）。
衛青稍大一點後，不願再受鄭家的奴役，回到母親身邊，並做了平陽公主的騎奴。有一次，衛青跟隨別人來到甘泉宮，一位囚徒看到他的相貌後說：“這是貴人的面相啊，官至封侯。”衛青笑道：“我身爲人奴之子，只求免遭笞罵，已是萬幸，哪裡談得上立功封侯呢？”
（青嘗從入至甘泉居室，有一鉗徒相青曰：“貴人也，官至封侯。”青笑曰：“人奴之生，得毋笞罵即足矣，安得封侯事乎！”《史記衛將軍驃騎列傳》）
摺疊年齡推測
史料沒有記載衛青確切的出生年份。但依幾種資料可以大致推測他年齡的範圍：
1，建元二年，18歲的劉徹（古時算的是虛歲）在平陽侯府做客，此時衛青的三個姐姐，均未出嫁。
漢朝法定女子過15歲不婚者，三十歲之前，分五等交稅，每升一等加徵一算，到三十歲加到五算，即一年要交六百錢（《漢書·惠帝紀》中就明文記載：“女子年十五以上至三十不嫁，五算。”）。
雖然平陽侯家的奴僕能免稅，但奴婢作爲王侯家的財產，婚育本身就是在增加主人的財富。即便三女都超過婚齡，也不應過大，三姐子夫更可能在14-16歲之間；而衛青是衛媼在丈夫死後和鄭季私通所生，至少比衛子夫小1-2歲。
保守推測 建元二年（前139年），衛青13--14歲 （同年霍去病兩歲）；
元封五年（前106年）， 衛青逝世時約46--47歲左右。
2，《史記》載，“青壯，爲侯家騎”（注：此處的‘壯’意爲 ‘長大一點兒’，如 ‘霍嬗字子侯，上愛之，幸其壯而將之。‘鉤弋子年五六歲，壯大多知’。）
侯家騎，即騎奴，可作古時王宮貴族的“童騎”，年齡都不能大。
[漢 王符 《潛夫論·浮侈》：“富貴嫁娶，車軿各十，騎奴侍僮，夾轂節引”]
[《漢書 蓋諸葛劉鄭孫毋將何傳》裡的何並傳中提到：（王）林卿既去，北度涇橋，令騎奴還至寺門，拔刀剝其建鼓。（何）並自從吏兵追林卿。行數十里，林卿迫窘，及令奴冠其冠被其襜褕自代，乘車從童騎，身變服從間徑馳去。（何並、王林卿是西漢哀帝時代人，王林卿是邛成太后喜愛的臣子。）
《風俗通史 秦漢卷》裡關於童騎記載：“‘童騎’即少年奴僕乘馬相隨在上層社會中十分普遍”]
摺疊人生轉折
建元二年（前139年）春，衛青的三姐衛子夫被因灞上掃墓做客平陽府的漢武帝看中，衛青相隨入宮‘給事建章’。
建元三年（前138年），入宮後被冷落了一年多的衛子夫再次獲幸有了身孕，引起了陳皇后的嫉妒，陳皇后是漢武帝姑姑館陶長公主劉嫖的女兒，漢武帝的太子妃，後立爲皇后，但一直無子。於是館陶公主派人捉了正在建章（後爲建章宮）當差的衛青，意圖殺害。（“大長公主聞衛子夫幸，有身，妒之，乃使人捕青。青時給事建章，未知名。大長公主執囚青，欲殺之”）。孰知這卻成了衛青命運的一大轉折點。衛侍中衛青的好友公孫敖聽到消息和幾名壯士趕往搶救，把他從死亡邊緣救了下來。漢武帝得知後，大爲憤怒，立刻任命衛青爲建章監、侍中，衛子夫爲夫人，衛長君爲侍中，數日間給衛青的賞賜便達到千金之多（《史記.衛將軍驃騎列傳》：“上聞，乃召青爲建章監，侍中，及同母昆弟貴，賞賜數日間累千金”）。公孫敖也因此顯貴。衛青的長姐衛孺嫁給了太僕公孫賀，二姐衛少兒嫁給了陳平的後人詹事陳掌。
這時候恐怕沒有人想到被改變命運的不僅僅是衛家，同時還有多年來漢匈之間的攻守易形。
衛青後又被任命爲太中大夫，秩比千石，掌議論。
史書沒有記載從建元三年到元光六年首戰這九年時間裡衛青的經歷和成長，但作爲侍中，衛青從皇帝左右，出入禁中，與聞朝政，後又成爲太中大夫，足見其才幹深得武帝信任，爲後來七徵匈奴、甚至任大司馬大將軍爲內朝參決政事，秉掌樞機打下良好基礎。