李世民徵求秦王府幕僚們的意見，大家都說：“齊王兇惡乖張，是終究不願意事奉自己的兄長的。
近來聽說護軍薛實曾經對齊王說：‘大王的名字，合起來可以成爲一個唐字，大王終究是要主宰大唐社稷。’齊王歡喜地說：‘只要能夠除去秦王，奪取東宮太子之位就易如反掌了。’
他與太子謀劃作亂還沒有成功，就已經有了奪取太子之位的心思。作亂的心思沒有滿足，又有什麼事情做不出來呢！假使這兩個人如願以償了，恐怕天下就不再歸大唐所有。
以大王的賢能，捉拿這兩個人就如拾取地上的草芥一般容易，怎麼能夠爲了信守匹夫的節操，而忘了國家社稷的大事呢！”
李世民仍然沒有決斷，大家又問道：“大王認爲舜是什麼樣的人呢？”李世民答道：“是聖人。”
大家說：“假如舜帝在疏通水井的時候沒有躲過父親與弟弟在上面填土的毒手，便化爲井中的泥土了；
假如他在塗飾糧倉的時候沒有逃過父親和弟弟在下面放火的毒手，便化爲糧倉上的灰燼了，怎麼還能夠讓自己恩澤遍及天下，法度流傳後世呢！所以，舜帝在遭到父親用小棒笞打的時候便忍受了，而在遭到大棍笞打的時候便逃走了，這大概是因爲舜帝心裡所想的是大事啊。”
李世民命人算卦以卜吉兇，恰好秦王府的幕僚張公謹從外面進來，便將占卜的龜殼奪過來扔在地上，說：“占卜是爲了決定疑難之事的，現在事情並無疑難，還佔卜什麼呢！
如果占卜的結果是不吉利的，難道就能夠停止行動了嗎？”於是便定下了行動計劃。
李世民命令長孫無忌秘密地將房玄齡等人召回，房玄齡等人不答應回秦王府，說道：“陛下敕書的旨意是不允許我們再事奉大王的。如果我們現在私下去謁見大王，肯定要因此獲罪而死，因此我們不敢接受大王的教令！”
李世民發怒，對尉遲恭說：“房玄齡、杜如晦難道要背叛我嗎！”
他摘下佩刀交給尉遲恭道：“明公前去察看一下情況，如果他們果真沒有回來的意思，可砍下他們頭回來見我。”
尉遲恭前去，與長孫無忌一起明示房玄齡等人說：“大王已經將行動的計劃決定下來了，衆位明公應該速去秦王府中共議大事。
我們四個人不能在街道上同行。”於是命令房玄齡和杜如晦穿上道士的服裝，與長孫無忌一同進入秦王府，尉遲恭則經由別的道路也來到了秦王府。
秦王密奏
六月初三己未日（626年7月1日），太白金星再次在白天出現在天空正南方的午位。傅奕秘密上奏道：“金星出現在秦地的分野上，這是秦王應當擁有天下的徵兆。”
高祖將傅奕的密奏給秦王世民看。於是這樣，李世民乘機秘密上奏父皇，告發李建成和李元吉與後宮的嬪妃淫亂，而且說：“兒臣絲毫沒有對不起皇兄和皇弟，現在他們卻打算殺死兒臣，這簡直就像要替王世充和竇建德報仇。
如今我快要含冤而死，永遠地離開父皇，魂魄歸於黃泉，如果見到王世充諸賊，實在感到羞恥！”
高祖望着李世民，驚訝不已，回答道：“明天朕就審問此事，你應該及早前來參見朕。”
張婕妤暗中得知了李世民密奏的大意，急忙告訴李建成。
李建成將李元吉召來商議此事，李元吉說：“我們應當管好東宮和齊王府中的士兵，託稱有病不去上朝，以便觀察形勢。”李建成道：“宮中的軍隊防備已很嚴密了，我與皇弟應當入朝參見，親自打聽消息。” 於是二人決定先入大內皇宮逼高祖表態。
不料在宮城北門玄武門執行禁衛總領常何名爲太子親信，實際上卻從武德二年起就隨李世民出征，武德七年的時候奉李世民的命令進入長安，領軍玄武門，並收買禁軍 ，因此宮中衛隊已經倒向秦王，李建成和李元吉卻不知道，還以爲宮中都還是自己人。
武德九年六月初四庚申日（626年7月2日），李世民率領長孫無忌、尉遲恭、侯君集、張公謹、劉師立、公孫武達、獨孤彥雲、杜君綽、鄭仁泰、李孟嘗（一說爲長孫無忌、尉遲恭、房玄齡、杜如晦、宇文士及、高士廉、侯君集、程知節、秦瓊、段志玄、屈突通、張士貴）等人入朝，並在玄武門埋下伏兵。
李建成、李元吉二人不知底細，也一起入朝，騎馬奔向玄武門。此時，高祖已經將裴寂、蕭瑀、陳叔達、封德彝、裴矩等人召集前來，準備查驗這件事情了。
李建成、李元吉來到臨湖殿，察覺到了變化，立即掉轉馬頭，準備向東返回東宮和齊王府。
李世民跟在後面呼喚他們，李元吉心虛，先張弓搭箭射向李世民，但由於心急，一連兩三次都沒有將弓拉滿，箭沒有射中。李世民卻搭弓射向李建成，將他射死了。
尉遲恭帶領騎兵七十人相繼趕到，他身邊的將士用箭射中了李元吉，李元吉跌下馬來。可就在此時，李世民的坐騎受到了驚嚇，帶着李世民奔入玄武門旁邊的樹林，李世民又被林中的樹枝掛住，從馬上摔下，倒在地上，一時爬不起來。
李元吉迅速趕到，奪過弓來，準備勒死李世民，就在這時尉遲恭躍馬奔來大聲喝住了他。李元吉知道不是對手，趕緊放開李世民，想快步跑入武德殿尋求父皇庇護，但尉遲恭快馬追上他，放箭將他射死了。
太子李建成的部下、翊衛車騎將軍馮立得知建成身死，嘆息道：“難道能夠在太子生前蒙受恩惠而太子一死便逃避禍難嗎！”
於是，他與副護軍薛萬徹、屈直府左車騎謝叔方率領東宮和齊王府的精銳兵馬兩千人，急馳趕到玄武門，準備爲太子和齊王報仇。張公謹臂力過人，他獨自關閉了大門，擋住馮立等人，馮立等人無法進入。
雲麾將軍敬君弘掌管着宿衛軍，駐紮在玄武門。他挺身而起，準備出戰，與他親近的人阻止他說：“事情未見分曉，姑且慢慢觀察事態的發展變化，等到兵力彙集起來，結成陣列再出戰，也爲時不晚。”
敬君弘不聽從，便與中郎將呂世衡大聲呼喊着向敵陣衝去，結果全部戰死。把守玄武門的士兵與薛萬徹等人奮力交戰，持續了很長時間，薛萬徹擂鼓吶喊，準備進攻秦王府，將士們大爲恐懼。
此時，尉遲恭提着建成和元吉的首級給薛萬徹等人看，東宮和齊王府的人馬頓失戰心，迅速潰散，薛萬徹與騎兵數十人則逃入終南山中。馮立殺死敬君弘後，對部下說：“這也可以略微報答太子殿下了。”
於是，他丟掉兵器，落荒而逃。 至此，政變以秦王李世民的勝利而告終。