李佑，李恪，李愔三人直接被金吾衛給拉着帶了下去，隨後李世民也是生氣的退了朝，跟着李世民就讓長孫無忌去查李佑的事情。
不過，查是查到了，僅僅查到了李佑的那位滕妾確實是府兵之後，其他的就沒有查到，至於李恪說的那位餘嫦嫦的師兄，連屍體都沒有找到，這件事情最後也就不了了之。
但是就在這個時候，以岑文本爲首的一些關於開始參李佑，李恪，李愔三人藐視朝堂，希望李世民將三人逐出長安，以儆效尤。
李世民一看，哎呦，這還正好是一個理由，跟着就直接下旨，李佑，李恪，李愔三人因爲藐視朝堂，被剝奪一級，跟着直接要求回給自的封地。
李愔回自己的益州，這個益州，也就是今天四川一帶，在唐朝時可絕對不是什麼香餑餑，“揚一益二”的說法還得等到安史之亂以後。
此時的益州，又句話就是蜀地難，蜀地自古地勢天險，古時候交通又不發達，想想當初唐高祖李淵私下許諾唐太宗要改立他爲太子時就曾說過，要將李建成改封在蜀地，原因就是“地既僻小易制。若不能事汝，亦易取耳”，可見蜀地在唐初時候人們的心中是怎樣一種存在了。
至於李恪他回安州，這個安州比益州要好一些，但是李恪兄弟倆的封地論地理位置的重要性連李惲的襄州都比不上...安州與襄州同在湖北地區，歷史上這個地區素來以襄州爲重，唐朝也不例外，李孝恭平江南蕭銑時擔任的就是襄州總管（襄州道行臺左僕射）的官職。
事實就是李恪李愔的封地連李惲都比不上，更不能與李慎三人相提並論了。
這就側面的說明了此時李恪和李愔兄弟得處境，至於李佑就更慘了，剝奪兩坊所有權，剝奪了虎賁衛的所有權，直接就像流放一樣，讓李佑前往登州，成爲登州刺史，連一個都督都不給。
唐朝的時候，州的長官稱爲刺史，相當於現在的高官，刺史下設司馬，屬於閒職，沒有什麼權利，都督權利更大，可管轄數州，相當於現在的軍區司令，也就是說李佑的權利只在登州，李恪的權利在安州，李愔的權利在益州。
三個人沒有其他的權利，這是一種悲哀呀...！
..............................
兩天之後，李佑，李恪，李愔三人從牢中被放出，李世民在牢門前下旨，讓三人在天黑之前，必須離開長安，帶上自己所有的東西，如果天黑之前不離開長安，就要被驅逐。
這是一點面子都不準備給自己的三個兒子去留呀。
甚至三個人連看望一下自己母妃的時間都沒有，楊妃和陰妃兩位苦命的母親這次相互抱暖的在一起哭了起來，李佑，李恪，李愔三人聽完了聖旨之後也是露出了慘然的笑容。
“兩位就此拜別了，不知道下次見面是什麼時候，但是我們都還活着，就一定會再次相見的。”
李佑率先對着李恪和李愔拱拱手。
“五弟...你要好好的發展登州呀，我還等着和你一起去遨遊大海呢...！”李恪笑着看向李佑。
“我也是，對了，五哥，你說過我們益州的蜀錦不錯，我回去就會開始蜀錦的提高，到那個時候你要將我的蜀錦都給收走呀...！”說完，李愔對着李佑一個拱手。
李佑呵呵一笑：“沒問題，三哥，六弟，告辭...!”
“告辭...！”李恪，李愔也是一個拱手，隨後兩輛馬車分道而馳，等李佑到底了敦化坊的時候，敦化坊中已經是哭聲一片了，所有的敦化坊百姓都捨不得李佑離開，但是李佑卻不得不離開。
權芷溪，春娘，薛仁貴等人已經將一起都打理好了，薛仁貴這次帶着自己的一師跟着李佑離開長安，虎賁衛的二師，三師還留在長安，有了他們，李佑纔會放心的離開長安，要不然李佑可不放心敦化坊和青龍坊的百姓。
而跟着李佑離開的除了虎賁衛一師五千人還有這些人的家人和李佑在敦化坊的冶鐵處和建房處的人，一共大約有五千人，也就是說這次跟着李佑離開的大約有一萬人。
也只有李佑擁有這樣的財力，可以帶着一萬人離開長安，要是其他人就不行了，李恪和李愔頂多帶個上千人，李佑這次帶萬人離開的時候，長孫無忌本來是要阻止的，他是想要將一切都給留下來。
不過，這個時候，李治發了狠，他在一次遇到長孫無忌的時候用兇狠的眼神看着長孫無忌希望長孫無忌不要斬草除根，不然他會向自己的父皇進言長孫無忌的可怕。
這讓長孫無忌有些忌憚，他不想自己的形象在李世民和李治的心中崩塌，所以最後還是沒有選擇斬草除根，但是長孫無忌不知道的是。
李治並沒有像長孫無忌想的那麼簡單，李治在隨後的時間中，幾乎都會悄悄的不經意的說着一些長孫無忌的壞話。
一開始李世民對長孫無忌是真的無比的信任，要知道李世民對長孫無忌的信任主要取決於兩點：一是早在李世民做秦王甚至更早李淵起兵反隋地時候，長孫無忌就已經開始跟隨在李世民左右了。後來則一直跟隨李世民經歷“玄武門之變”登上皇位之後，受封國公之爵位，同時身居要職。
二是長孫無忌的妹妹長孫無憂正是李世民的皇后，長孫皇后可以說是一代賢后，二人之間還有十分親密的姻親關係，而且在李治出生之後，李世民又早早地將其立爲太子，長孫無忌沒有可以生二心和爭權的理由。再加上李世民的用人風格也一向都是“用人不疑”，所以，自始至終李世民都應該沒有對長孫無忌升起過防範之心，這從他把長孫無忌列爲“二十四功臣”的第一位這件事中，便可以看出端倪。
但是李世民老了，後面的李世民也是多疑了起來，再加上李治一直都的不遺餘力說着長孫無忌的壞話，最終李世民還是對着自己的這位心腹，用了一明一暗的兩條制約：
一，明：許可長孫無忌清除異己的部分行動（但是對房玄齡這樣的老臣還是給予保護的），肯定長孫無忌的託孤大臣身份，並且讓褚遂良從旁相助，負責調解無忌和新皇李治的關係，只是褚遂良沒有這麼幹。
很多朋友說是太宗皇帝讓褚遂良護着長孫無忌，其實仔細想想是不可能的，長孫無忌是位極人臣，門生故吏遍及朝廷上下，褚遂良是秦王府十八學士褚亮的兒子，換言之是長孫無忌的小字輩，哪有力量去保護長孫無忌，他抱長孫無忌大腿得到保護纔對。
如果長孫無忌知進退，褚遂良調和得當，那麼高宗李治可以和這位舅舅比較和諧地相處。
二，暗：但是後來高宗年間，長孫無忌的權威卻不斷提升，嚴重影響了李治作爲皇帝的權威。
這個時候李世民身前所伏下的暗線就啓動了，那就是大將李績，也就是隋唐裡所說的徐茂公。長孫無忌權威日盛，但是偏偏有一塊領域是他無法企及和掌控的，那就是軍隊，這也是李世民敢於給長孫無忌託孤的底氣所在，而且李世民身前對李績也有託孤（後來出土的李績墓誌裡說起過此事），只是不像長孫無忌那樣明着下詔書而已。
長孫無忌是文官，在軍隊沒有什麼權威，一旦李治祭出這張牌，而且李績支持皇帝的話，那長孫無忌就無可奈何了。
事實證明確實如此，在廢王立武的政治事件中，李績對皇帝一句“此陛下家事何須問外人”的話算是表達了軍方的態度，一舉扭轉乾坤，長孫無忌的權勢從此日下。
長孫無忌根本就不知道，他的行爲會給以後的長孫家帶來什麼樣的災難，李治和李明達湊在一起之後，就會將自己五哥離開的事情，全部都歸咎到長孫無忌的頭上。
再看着長孫無忌那高高在上，頤指氣使的模樣，兩人的心中都對長孫無忌沒有一點的好感，他們沒有時間送自己的五哥，連最後一眼都沒有看到，你是不知道兩個小傢伙的怨念是有多深。
自此之後，李治和李明達看到長孫無忌之後再也沒有了笑容，而長孫無忌還後知後覺，認爲這兩個小傢伙只是小孩心性，以後就會好起來。
但是長孫無忌沒有想到的的，這兩個小孩，一輩子都沒有原諒長孫無忌，也不是李治，他在後期還會受到長孫無忌的摧殘，所以以至於後面長孫無忌沒有了活路，即使這邊李佑已經出面幫助長孫無忌求情，但是最終也是沒有求下長孫無忌的性命。
畢竟李治對長孫無忌的恨實在是太多了，雖然李佑也對李治說了很多，但是李治卻十分的堅定，最後李佑也沒有辦法，一切都是長孫無忌自己太過的囂張了。
這也側面印證了長孫皇后的高瞻遠矚，一開始就不允許長孫無忌權利太大，可是沒有想到，終究是功虧一簣。
...........................