大業十三年(617年)，天下起兵反隋的隊伍蜂擁而起，隋煬帝所在的江都(今江蘇揚州)被孤立了。晉陽令劉文靜、晉陽宮監裴寂都是李世民的密友。李世民就和晉陽縣令劉文靜密謀起兵。
起兵造反的計策確定後，李淵還不知情。李世民想實情相告，又擔心李淵不聽。李世民私下找到裴寂商議，裴寂就選了晉陽宮的幾個美女，乘李淵喝醉酒之後，陪他過夜。然後，裴寂把李世民的謀劃告訴了李淵，李淵大驚。裴寂說:"安排宮女侍奉，事情暴露後是要殺頭的，我這麼做就是爲了要勸你下定決心起兵啊。"李世民乘機向李淵彙報了整個計劃。李淵開始時堅決不同意，還表示要把李世民送去報官。過一會兒李淵還是答應了起兵，對李世民說:"我愛護你，怎麼忍心去告發你呢!"
大業十三年(617年)農曆二月，李淵治下駐馬邑(今山西朔州市)的鷹揚府校尉劉武周發動兵變，殺死馬邑太守王仁恭，據馬邑而自稱天子。農曆三月，劉武周攻破樓煩郡，進佔汾陽宮，並與突厥勾結，圖謀南下爭奪天下。煬帝聞訊後大怒，要提李淵到江都治罪。在此危急情勢下，李世民說:"事情緊急，可以舉事了。" 其周圍的心腹裴寂、許世緒、武士眜等也紛紛勸李淵起兵，李淵終於下定了反隋的決心。於是，李淵藉口防備劉武周和突厥南下，派李世民、劉文靜、長孫順德、劉弘基等人到各地募兵，在很短的時間裡便招到數千人。
太原副留守王威和高君雅看到李淵招兵買馬，懷疑李淵要造反，便密謀騙李淵父子到晉祠祈雨，除掉李氏，向隋煬帝邀功請賞。不料，這一密謀被晉陽鄉長劉世龍獲悉，告知了李淵。大業十三年(617年)農曆五月十五日，李淵、李世民先發制人，指使開陽府司馬劉政會告發王威、高君雅二人暗中勾結突厥，引突厥入寇中原，藉此將二人囚禁。農曆五月十七日，恰巧數萬突厥軍隊進攻晉陽，李淵立刻名正言順地命人將兩人推出斬首。六月，又遣二子李建成、李世民率軍攻殺拒命的西河郡丞高德儒。同時，李淵又設下空城計，嚇退了突厥的軍隊。接着，李淵開始作起兵反隋的準備工作。
大業十三年(617年)農曆七月，李淵率軍三萬誓師，正式起兵。在發佈的檄文裡斥責隋煬帝聽信讒言，殺害忠良，窮兵黷武，致使民怨沸騰。。不久，李淵率諸子衆將攻破守備關中的屈突通，佔領隋都大興城。李淵擁立楊侑爲帝，是爲隋恭帝，遙尊隋煬帝爲太上皇，自任大丞相，進封唐王。
誓師後，李淵與長子建成、次子世民揮師南下，先後破守霍邑(今山西霍縣)的隋鷹牙郎將宋老生、渡黃河，對守河東的隋將屈突通圍而不攻。迅速向西南挺進。當時，隋煬帝遠在江都(今江蘇揚州)，關內隋軍力量薄弱;中原瓦崗軍與王世充激戰方酣，均無暇西顧。因此李氏父 子進軍神速，大業十三年(617年)農曆十一月間攻入長安。
李淵進入長安不久，就宣佈遙尊隋煬帝爲太上皇，擁立煬帝孫代王楊侑爲帝，改元義寧，是爲隋恭帝。恭帝進封李淵爲唐王、大丞相、尚書令，以李建成爲唐王世子;李世民爲京兆尹，改封秦國公;封李元吉爲齊國公。
618年江都政變，隋煬帝被宇文化及等叛軍殺害。
李淵藉此機會，於同年五月迫使隋恭帝禪位，建國唐朝，即唐高祖。都城大興改名爲長安，封嫡長子李建成爲太子、嫡次子李世民爲秦王、嫡四子李元吉爲齊王。
李淵是十六國時期西涼開國君主李暠的後裔，世代顯貴。隴西成紀 (今甘肅省秦安縣西北)，一說是隴西狄道(今甘肅省臨洮縣) ，祖籍邢州堯山(今邢臺市隆堯縣) 。
李淵的祖父李虎，在西魏時官至太尉，是西魏八柱國之一。李淵的父親李昞，北周時歷官御史大夫、安州總管、柱國大將軍，襲封唐國公 。李淵的母親是隋文帝獨孤皇后的姐姐 。
北周天和元年(566年)，李淵出生在長安。李淵七歲時，父親李昞去世，其襲封爲唐國公。李淵長大後，爲人灑脫，性格開朗，待人寬容。
開皇元年(581年)，隋文帝受北周靜帝禪讓，建立隋朝。隋文帝任命李淵爲千牛備身(皇帝的禁衛武官)。由於李淵的姨母是隋文帝的獨孤皇后，所以隋文帝特別親近器重李淵，累任譙州、隴州、岐州三州刺史。
有一次，軒轅經天知道李淵是新的人皇，特意當面囑咐李淵"您的骨骼驚奇，必爲人間之主，願您自愛，謹記謹記。"說完就回到了立言山莊。
李淵在隋煬帝即位之初先後做了滎陽(今河南滎陽)、樓煩(今山西靜樂縣)兩個郡的太守，後來又被任命爲殿內少監、衛尉少卿。
大業九年(613年)春，隋煬帝征伐高句麗時，李淵在懷遠鎮督運糧草。同年農曆六月，楊玄感利用民憤舉兵反隋，李淵奉隋煬帝之命鎮守弘化郡(今甘肅慶陽縣)，兼知關右諸軍事。
在此期間，李淵廣交天下豪傑，遭到隋煬帝的猜疑。恰好有詔書命李淵去隋煬帝巡行所到之地，李淵因病沒有去。當時李淵的外甥女王氏在後宮，隋煬帝問王氏:"你的舅舅怎麼遲遲不來?"王氏回答說李淵病了，隋煬帝又問:"病的要死了嗎?"李淵知道以後日益恐懼，因此無節制地飲酒、收受賄絡自污以自保。
大業十一年(615年)，李淵調任山西河東慰撫大使，到達龍門時，遇上了母端兒農民起義，李淵領兵擊敗了起義軍，收編萬餘人，實力大增。又擊絳州賊柴保昌，降其衆數萬人。
第二年(616年)，他升爲右驍衛將軍。突厥侵犯邊塞，隋煬帝便讓他和馬邑郡守王仁恭一同北擊突厥。但他們的兵馬很少。李淵便選出擅長騎射的兩千騎兵，吃住騎射仿效突厥兵，給突厥看他們閒暇時的射獵馳騁。李淵有另外挑選善於射箭的士兵作爲埋伏。等和突厥兵遭遇時李淵便下令埋伏攻擊，結果打敗突厥。
唐朝建立之初，疆土只限於關中和河東一帶，尚未完全統治全國，因此，李淵經常派遣兒子李世民、李建成、李元吉出征，逐步消滅各地割據勢力。
武德元年(618年)農曆六月，李世民攻打據有今甘肅蘭州等地的薛舉、薛仁果父子，農曆九月薛舉戰死，農曆十一月俘殺薛仁果，平定了西北廣大地區。
武德二年(619年)，唐朝用反間計，使李軌集團內部矛盾激化，從而俘殺了李軌，平定了河西走廊。同年劉武周、宋金剛勾結突厥，攻入河東，佔領太原。李元吉、裴寂等敗逃。後李世民出討河東，收復太原並消滅劉武周勢力。劉武周、宋金剛逃往突厥，不久被殺。當時黃河流域形成夏政權竇建德、鄭政權王世充與唐朝三足鼎立之勢。620年，李世民奉命率軍東征王世充，竇建德和王世充聯盟對抗李世民的軍隊。
武德四年(621年)，在武牢關一戰中李世民俘獲竇建德。促使王世充投降。武德六年(623年)，太子李建成俘斬竇建德餘部劉黑闥，平定了河北地區。武德七年(624年)，高開道爲其部下張金樹所殺，張金樹降唐。唐軍又消滅了江南的輔公祏勢力，終於一統天下。
621年唐將李靖於唐平蕭銑之戰獲勝，樑帝蕭銑於江陵降唐。翌年，嶺南馮盎降服，又虔州林士弘死，中國本部歸唐朝所有。
李淵在位時期，依據隋文帝舊制，重新建立中央及地方行政制度，又修定律令格式，頒佈均田制及租庸調製，重建府兵制，爲唐代的職官、刑律、兵制、土地及課役等制度奠定了基礎。