李淵晚年寵幸的嬪妃很多，生了滕王李元嬰等近二十位小皇子，他們的母親爭相交結各位年長的皇子來鞏固自己的地位。
李建成和李元吉都曲意侍奉各位妃嬪，奉承獻媚、賄賂、饋贈，無所不用，以求得皇帝的寵愛。
也有人說他們與張婕妤、尹德妃私通，宮禁幽深神秘，此事無從證實。
當時，太子東宮、各王公、妃主之家以及後宮妃嬪的親屬，在長安橫行霸道，爲非作歹，而主管部門卻不敢追究。
世民住在承乾殿，元吉住在武德殿後院，他們的住處與皇帝寢宮、太子東宮之間日夜通行，不再有所限制。
太子與秦、齊二王出入皇帝寢宮，均乘馬、攜帶刀弓雜物，彼此相遇只按家人行禮。
太子所下達的令，秦、齊二王所下達的教和皇帝的詔敕並行，有關部門不知該聽哪個的命令，只有按照收到的先後爲準。
李世民不去討好諸位妃嬪，所以嬪妃們很生氣，爭相稱讚李建成、李元吉而詆譭李世民。
玄武門之變射殺李建成的唐太宗
玄武門之變射殺李建成的唐太宗
李世民平定盤踞在洛陽的王世充以後，高祖讓貴妃等幾人到洛陽挑選隋朝宮女和收取倉庫裡的珍寶。
貴妃等人私下向李世民索要寶物併爲自己的親戚求官，李世民回答道：“寶物都已經登記在冊上報朝廷了，官位應當授予賢德有才能和有功勞的人。”沒有答應她們的任何要求，因此妃嬪們更加恨他。李世民因爲淮安王李神通有功，撥給他幾十頃田地。
張婕妤的父親通過張婕妤向高祖請求要這些田，高祖手寫敕令將這些田賜給他，李神通因爲秦王的教令在先，不讓田。
張婕妤向高祖告狀道：“陛下敕賜給我父親的田地，被秦王奪去了給了李神通。”
高祖因此發怒，責備李世民說：“難道我的手敕不如你的教令嗎？”
過了些天，高祖對左僕射裴寂說：“這孩子長期在外掌握軍隊，受書生們教唆，已經不再是原來的那個兒子了。”
尹德妃的父親尹阿鼠驕橫跋扈，秦王府的官員杜如晦經過他的門前，尹阿鼠的幾名家僮把杜如晦拽下馬，揍了他一頓並打斷了他一根手指，說道：“你是什麼人，膽敢過我的門前不下馬！”
尹阿鼠怕世民告訴皇帝，先讓尹德妃對皇帝說：“秦王的親信欺侮我家人。”
高祖又生氣地責備李世民說：“我的妃嬪家都受你身邊的人欺凌，何況是小老百姓！”世民反覆爲自己辯解，但高祖始終不相信他。
李世民每次在宮中侍奉高祖宴飲，面對諸位妃嬪，想起母親太穆皇后死得早，沒能看到高祖擁有天下，有時不免嘆氣流淚。
高祖看到後很不高興。各位妃嬪趁機暗中一同詆譭李世民道：“天下幸好平安無事，陛下年壽已高，只適合娛樂娛樂，而秦王總是一個人流淚，這實際上是憎恨我們，陛下作古後，我們母子必定不爲秦王所容，會被殺得一個不留！”
因此相互對着流淚，並且說：“皇太子仁愛孝順，陛下將我們託付給太子，必然能獲得保全。”
高祖也爲此很傷心。從此高祖打消了改立太子的念頭，對世民逐漸疏遠，而對李建成、李元吉卻日益親密了。
太子中允王圭、太子洗馬魏徵勸說太子道：“秦王功蓋天下，內外歸心；而殿下不過是因爲年長才被立爲太子，沒有大功可以鎮服天下。
現在劉黑闥的兵力分散逃亡之後，剩下不足一萬人，又缺乏糧食物資，如果用大軍進逼，勢如摧枯拉朽，殿下應當親自去攻打以獲得功勞名望，趁機結交山東的豪傑，也許就可以保住自己的地位了。”
太子於是向高祖請求帶兵出征，高祖答應了。武德五年十一月初七甲申日（622年12月14日），高祖下詔命太子李建成帶兵討伐劉黑闥，陝東道大行臺及山東道行軍元帥、黃河以南、以北各州均受建成處置，他有權隨機行事。
齊王李元吉勸說太子李建成趁早除去秦王世民，他說：“我自當替哥哥親手將他殺掉！”
李世民隨從高祖前往元吉的府第，元吉命令護軍宇文寶埋伏在寢室裡，準備刺殺世民。李建成生性頗爲仁愛寬厚，連忙制止了他。
李元吉惱怒地說：“我這是爲哥哥着想，對我自己有什麼好處！”
李建成擅自召募長安及各地的驍勇之士兩千多人，充當東宮衛士，讓他們分別在東宮左右長林門駐紮下來，號稱長林兵。
建成還暗中讓右虞候率可達志，從燕王李藝那裡調集來幽州驍勇精銳的騎兵三百人，將他們安置在東宮東面的各個坊市中，準備用他們來補充在東宮擔任警衛的低級軍官，結果被人告發。
高祖召見建成，把他責備了一番，將可達志流放到巂州。
慶州都督楊文幹曾經在東宮擔任警衛，建成親近並厚待他，私下裡讓他募集勇士，送往長安。高祖準備前往仁智宮，命令建成留守京城，李世民與李元吉一起隨行。
建成讓李元吉乘機圖謀李世民，他說：“關係到我們安危的大計，就決定在今年了！”李建成又指使郎將爾朱煥和校尉橋公山將盔甲贈給楊文幹。
兩人來到豳州的時候，上報發生變故，告發太子指使楊文幹起兵，讓他與自己內外呼應。
還有一位寧州人杜鳳舉也前往仁智宮講了這一情形。 [29] 高祖大怒，藉口有別的事情，以親筆詔書傳召建成，讓他前往仁智宮。
李建成心中害怕，不敢前去。太子舍人徐師謨勸他佔據京城，發兵起事；詹事主簿趙弘智勸他免去太子的車駕章服，屏除隨從人員，到高祖那裡去承認罪責。
武德七年（624年）7月14日，李建成決定前往仁智宮。還沒有走完六十里的路程，李建成便將所屬官員，全部留在北魏毛鴻賓遺留下來的堡柵中，帶領十多個人騎馬前去進見高祖，向父皇伏地叩頭，承認罪責，身體猛然用力，自己摔了出去，幾乎暈死過去。
高祖的怒氣仍然沒有消除。當天夜裡，高祖將他囚禁在帳篷裡，給他麥飯充飢，讓殿中監陳福看守着他，派遣司農卿宇文穎速去傳召楊文幹。
宇文穎來到慶州，將情況告訴了楊文幹。
於是，楊文幹起兵造反。高祖派遣左武衛將軍錢九隴和靈州都督楊師道攻擊楊文幹。
武德七年（624年）7月16日，高祖傳召秦王李世民商量此事。李世民說：“楊文幹這小子竟敢做這種狂妄叛逆的勾當，想來他幕府的僚屬應當已經將他擒獲並殺掉了。
如果不是這樣，就應當派遣一員將領去討伐他。” 高祖說：“不能這樣。楊文乾的事情關連着建成，恐怕響應他的人爲數衆多。
你最好親自前往，回來以後，我便將你立爲太子。
我不願意效法隋文帝去誅殺自己的兒子，屆時就把李建成降爲蜀王。
蜀中兵力薄弱，如果以後他能夠事奉你，你應該保全他的性命；如果他不肯事奉你，你要捉拿他也容易啊。”
高祖因爲仁智宮建造在山中，擔心盜兵突然發難，便連夜率領擔任警衛的軍隊從南面開出山來。
走了數十里地的時候，太子東宮所屬的官員相繼到來，高祖讓大家一概以三十人爲一隊，分派軍隊包圍、看守着他們。
第二天，高祖才又返回仁智宮。
李世民出發以後，李元吉與嬪妃輪番替李建成求情，封德彝又在外朝設法解救建成。於是，高祖改變了初衷，又讓李建成回京城留守。
高祖只以他致使兄弟關係不和睦的過錯而責備他，將罪責推給了太子中允王圭、左衛率韋挺和天策上將府兵曹參軍杜淹，將他們一併流放到了巂州。
當初，洛陽平定以後，杜淹長時間沒有得到升遷，打算謀求事奉建成。房玄齡認爲杜淹狡詐的招數很多，擔心他會教唆引導建成，越發對世民不利，便向李世民進言，將杜淹推薦到天策上將府任職。
武德七年（624年）7月21日，楊文幹攻陷寧州，驅趕劫掠官吏與百姓出城，佔據了百家堡。
秦王世民的軍隊來到寧州以後，楊文乾的黨羽便全部潰散。七月初五癸酉日（7月25日），楊文幹被自己的部下殺死，他的頭顱被傳送到京城。李世民捉獲了宇文穎，將他殺掉。