楊玄感軍從四面進攻，主攻西城門，由於酸棗城小，所以守軍沒有太過分散，李隱帶着親衛隊四處走動，沉着調度。
潑滾水、扔落石、放滾木，守軍一開始還有些慌亂，但過了一會後，便慢慢變得熟練了。
由於楊玄感軍除了簡陋的雲梯外，和剛造出來的四輛撞城車外，再沒有其他攻城器械，加上他們基本沒什麼攻城經驗，所以酸棗守軍，打得還算輕鬆，一個多時辰後，楊玄感軍已死傷八百多人，但登上城牆的卻沒幾個。
“楚公，離開這個酸棗小城，去攻都城洛陽吧！”第一輪進攻無果後，李密再次向楊玄感勸道。
“如果連這個小小的酸棗城我們都攻不，又談何攻東都洛陽！”楊玄感雙眼通紅的道。
李密繼續勸道：“這怎麼能相提並論？一路收民而行，以楚公的威望，到了洛陽附近時定有十萬之衆，到時再收羅兵甲器械，大事可謂，但是如果在這酸棗城多待一日，我等的希望就會減少一分啊！”
在李密幾近哭泣的勸說下，楊玄感繼續攻城決心有些動搖了，但最後還是說道：“此時就這麼灰溜溜的離開酸棗，只怕會被天下人嗤笑，撤退之事，不要再提了。”
隨後，楊玄感一面命人制造大型的攻城器械，一面再次指揮軍隊對酸棗城發起第二次進攻。
縣令崔文軒本已弄好包裹行李，時刻準備着帶他的夫人和五個小妾逃命，當這天天色將暗的時候，崔文軒見街道上巡邏的還是自己的人，知道酸棗城算是暫時守住了，不由的大鬆了一口氣，這纔出府組織人犒勞軍隊去了。
經過一天的攻防，楊玄感軍在酸棗城下損失了近三千人，而李隱軍僅僅傷亡三百餘人，戰損比爲一比十。
雖然損失了不少人，但楊玄感還是打算明日繼續攻城，促使他繼續攻城的原因有兩個，一是經過晝夜不停的趕工製作，他們現在已造出了一臺攻城塔和、五臺投石車十幾架的雲梯，二是有一夥五千人的賊寇慕名前來投奔他，使得他的兵力反而比開打前多了兩千人，這讓他信心倍增。
然而李密卻因爲大軍在這無謂的酸棗城停留了兩天之事，對楊玄感有些死心了，產生了“豎子不足以與之謀”的感覺，想要立即離開，但又不甘心就這麼放棄一展抱負的機會，使得心情很是鬱悶。
“或許，只有我自己取得兵權，才能夠真正施展心中的抱負吧！”李密看着廣闊無垠的夜空，忽然如此想到。
此時夜已深了，李密正準備會營帳休息，卻猛然見到營寨的西側一陣火光沖天並隱隱有喊殺聲傳來。
李密愣了一下，“那位置，似乎是攻城器械的地方。”李密隨即不悲反喜，“這把火燒得好啊！”
楊玄感這時卻氣急敗壞的向人喊道：“發生了什麼事？快派人去救火！”
過了一會，楊玄感才知道，原來是酸棗城中的士兵不知幾時出了城，放火燒了他報以重望的攻城器械，火勢很大，當撲滅是，那些器械只剩下一點灰燼了，連製作器械的木材等物也一起被燒了個精光。
楊玄感看到這個情形後，氣得吐出了一口老血，“敵軍抓到沒有？”
“我……我們發現的時候，敵軍已經往城裡跑去了……”看管器械的將領顫顫答道。
“來人，給我拉出去斬了！”
“楚公饒命，楚公饒命啊！”
……
李隱帶着人馬平安無事的返回酸棗城後，喊了一聲：“各自回營休息！”
“謹遵將領！”衆將士答了一聲，有條不紊的離開了，李隱也隨即回到了自己在的住處。
守城之戰，一味的防守是不符合兵理的，善守者必然要善於尋找最恰當的時機出城侵擾敵軍，因爲這既能提升己軍士氣，又能打擊敵軍的士氣。
李隱今晚的突然出擊，一把火燒了敵軍的全部攻城器械，只是小試牛刀罷了，他打算明晚再次出擊，偷襲楊玄感的中軍！
不過李隱這個打算很快就落空了，因爲當第二天早上的時候，探子來報，楊玄感軍竟在天剛矇矇亮的時候，開拔離開酸棗城了。
“李郎將，我們要追擊敵軍嗎？”縣尉劉通眼神炙熱的向李隱詢問道。
楊玄感叛亂，天下震動，酸棗縣能成功拖住他們兩日，已是大功一件，要是趁勝追擊，擊敗楊玄感，那這功勞可就大得去了，到時他劉通肯定也能沾光升個大官。
但是李隱卻搖了搖頭，“敵軍雖退，但士氣仍在，且退而有序，不宜追擊。”
劉通聽後，感到十分的失望。
李隱拍了拍劉通的肩膀，笑道：“劉縣尉放心，我們還會與楊玄感交手的。”
……
楊玄感終究還是灰溜溜的率領軍隊離開了酸棗地界，他雖然恨不得繼續攻下酸棗城，將李隱千刀萬剮，但僅存的理智告訴他，不能再繼續耗在酸棗城了。
好不容易做好的大型攻城器械被燒，重新制造至少也要一天多的時間，再繼續圍攻酸棗，又得花費個三四天，到那時候，楊廣說不定已得知消息，開始率領大軍從遼東返回了，留給他的時間已十分緊迫了。
所以，在李密等人的苦勸之下，楊玄感這才心懷不甘的下達了撤退的命令。
楊玄感軍離開酸棗縣後，一路向西而行，經過原武、滎澤兩個大縣時，這兩縣的縣令均是楊素當年的門生故吏，與楊傢俬交甚厚，故而都爲楊玄感打開了城門。
楊玄感不僅從這兩縣補足了軍娘，還得了許多兵器、收納了五千多流民，使得全軍在酸棗城下的陰霾情緒一掃而空。
隨後，楊玄感率軍繞過防守嚴密的滎陽郡郡城滎陽城，繼續向洛陽進軍，最後到達了洛水之北的偃師（河南今縣），派他四弟楊積善率兵三千從偃師以南沿着洛水從西面進軍；再派三弟楊玄挺率軍四千五人，準備從白司馬阪越過邙山從南面進，而楊玄感自己則率領剩餘的一萬多人，跟隨其後，相隔約十餘里，自稱大軍十萬。