雀鼠谷與賈胡堡之所以顯得如此險要，是由汾水東西兩側的霍山（太嶽山）與呂梁山的夾峙而形成，而霍邑正處在這狹長隘路的南口，李軍若不將之拔出，根本無法繼續進軍，所以霍邑之戰，是不得不打的。
李淵怕宋老生不出戰而堅守霍邑，使得戰事陷入持久之中，便沒輕易下令進攻霍邑城，讓大軍安下營寨後，召集衆將商議進攻霍邑之事。
李建成、李世民似乎都有了定計，正要說話，李隱卻搶先道“宋老生有勇無謀，我們用輕騎向他挑釁，按理他不會不出戰，假使他堅守不出，我們就誣陷他對我們有二心，他害怕被左右的人奏報，怎敢不出戰？”
李淵聽後，拍手稱讚道：“吾兒說的有道理，在賈胡堡時宋老生未能迎戰我軍，我就知道他是無能之輩。”
李建成、李世民對此感到有些鬱悶，因爲李隱之言，正是他們兩個剛纔說出到嘴邊的話。
李淵立即調兵遣將，命李隱率本部的五千精銳騎兵，先到霍邑城東面幾裡外的地方等候戰機，然後派李建成、李世民率領幾十騎到城下，舉鞭揮旗就像要包圍城池的樣子，並且辱罵宋老生。
宋老生果然受不得如此侮辱，頓時大怒，親率三萬人從東門、南門分道出戰。李淵派殷開山立刻去召集後軍，後軍來到後，李淵就和李建成在城東列陣，李世民在城南列陣。
李淵、李建成所部率先與宋老生的人馬廝殺在一起，李世民所部也隨之在城南與敵軍展開交戰。
一時間，戰場上喊殺整天，血肉橫飛，決定李家命運的霍邑之戰正式打響。
李家的軍隊與宋老生的軍隊交戰一陣子後，李家軍隊戰鬥力畢竟稍遜宋老神這支從關中帶來的精銳，所以漸漸有些不支。
裴寂見了這情形後，一臉的驚懼，向李淵顫顫道：“大……大將軍，我們的人馬似乎頂不住了，要不……要不……”
裴寂原本是想勸李淵後撤一些的，但一旁的劉文靜卻對他怒視了一眼，裴寂心中一寒，說到嘴邊的話便被逼了回去。
李淵大聲喊道：“請各軍務必再頂住，我兒李隱定能在最後幫我們扭轉佔據！”
李淵對此戰的最大依仗，自然便是李隱親自率領的五千騎兵了。就在雙方交戰進入最膠着的時候，忽然之間轟鳴的馬蹄聲響起，李隱終於不負衆望，從南原率兵馳馬而下，衝擊宋老生的軍陣，出擊宋老生軍的背後。
李隱揮刀砍殺，親手殺死幾十人，兩把刀子都砍缺了口，飛濺的鮮血沾滿衣袖，李隱將衣袖上的血甩掉再戰。
原本已有些奔潰跡象的李家軍隊，見到此等情形後，兵勢又振奮起來，李淵還趁宋老神軍隊隊伍被李隱的騎兵衝擊得有些混亂之際，派人四處呼喊道：“李軍已經抓住宋老生了！”
宋老生軍於是開始出現潰逃，李淵精神一陣，指揮大軍掩殺過去，宋老生軍士氣大跌之下，最終抵擋不住，因此大敗而去。
李淵指揮軍隊迅速直抵城門，堵截宋老生，不讓潰軍進城，宋老生混亂中無處可逃，不得已下馬跳入壕溝，想在其中躲避一會再做計較，卻被路過的劉弘基一眼認了出來，劉弘基於是手起刀落，一刀將宋老生砍成了兩段。
這一戰，隋軍的死屍遍佈了幾裡。
這時天已黑了下來，但李淵立即命令大軍趁勝追擊，立即登城攻打霍邑，當時沒有攻城的器械，只要簡陋的雲梯，將士們赤膊登城，由於主將宋老生已死，霍邑城中士氣低迷，根本無心抵抗，於是李家軍隊很快攻下霍邑，霍邑之戰，最後以李軍的勝利而告終。
霍邑之戰無疑是至關重要的一戰，此戰過後，朝廷防範李家軍隊入關途中極爲險要的霍邑被李家攻佔，入關的大門再次被李軍打開了幾分。
霍邑之戰中李軍也受了一定程度的損耗，李淵便下令讓大軍暫時在霍邑休整。
休整的同時，李淵還開始獎賞攻取霍邑的有功將士，有些軍吏認爲奴隸身份應募的人不能和良人同樣論功。
李淵道：“矢石之間，不分貴賤，論勳之際，何有差別？出身無論是貴是賤，都應該同樣按功頒賞授官。”
如此獎賞頒佈後，李軍的士氣立即大漲了許多。
六月初八，李淵接見了霍邑的吏民，慰勞賞賜，如同西河郡一樣，並挑選霍邑強壯的男丁從軍。祖籍在關中的軍士要回鄉的，都授予五品散官，讓他們回去。
有人勸李淵說授官太多，李淵道：“隋氏吝惜勳位賞賜，因而失去人心。我怎麼能效仿他們？況且用官職來收攏衆人，不勝於兵乎！”
衆人聽李淵這樣說後，都覺得有道理，便不再相勸。
就在李家攻下霍邑的時候，佔據隴右地區的薛舉也準備要親率大軍去奪長安。不過薛舉的大軍還未集結，便又消息傳來，他底盤後方的河西地區，全都被一個叫李軌的人佔領了。
李軌是河西地區的著名豪望，爲人機智多謀，能言善辯，且家中富有，喜好俠義之舉，故爲鄉里稱讚，現在爲武威郡的鷹揚府司馬。
薛舉在金城作亂時，李軌和同郡的曹珍、關謹、樑碩、安仁等人商議道：“薛舉成勢後，必定前來侵犯河西地區，郡官昏庸、怯懦，看情勢抵禦不了薛舉的，但我們怎麼能毫不抵抗就讓自己和妻子兒女作人家的俘虜呢？不如大家同心協力共同抵抗薛舉，據保河西以等待形勢發生變化。”
大家都認爲這個意見很對。想推舉一個人爲首領，大家各自推讓，不肯出來爲首。
曹珍道：“我久聞圖讖上說李氏應當爲天子，今天司馬李軌也參加了這一謀劃，這難道不是天命嗎？”
於是大家一同向李軌跪拜，奉他爲主，李軌推辭幾下後，便也接受了衆人的跪拜。
由此可見，某個圖讖一旦流行起來後，確實是有着不一般的隱形力量的，因着“李氏當爲天子的”的這個圖讖，這時的天下，叛軍首領中姓氏最多的，便是李姓了。