聞聽此言，裴寂非常的沮喪。太上皇說：“爲了這一天，秦府的人已經準備了很久，朕捨不得你走，二郎卻容不得你不走……”這個時候陪妓才真正意識到此時此刻能夠左右他命運的不是太上皇，不是眼前這個纏弱的老人，而是那個待在東宮雄心萬丈的天子。太上皇說：“我覺得你應該親自找二郎談一談……”說到這裡太上皇的話戛然而止，因爲他也不知道究竟如何說才能夠讓裴寂躲過這一劫。裴寂回到家裡之後，準備了一套詞，然後來到東宮請求接見。皇上派太監告訴他，目前這個案子還沒有辦完，爲了不干擾下面的人辦案，在此期間不方便接見他。這件事讓裴寂感到非常的詫異，因爲根據他掌握的消息，這個案子已經辦完了，只是沒有正式對外公開而已。之後，綜合相關的文本，中書省起草了一份詔書，詔書被送到門下省之後，當天就被駁回。理由是用詞不夠精準，量刑不夠適當。
裴寂知道這個消息之後非常的興奮，在駁回這一份詔書的過程當中，魏徵起了關鍵的作用，不久之後皇上召見了他，說：“朕想聽一聽你的想法，你想怎麼做，從而讓裴寂擺脫眼下的困境呢？”魏徵說：“皇上的話臣聽不明白，臣沒有想要幫助裴寂擺脫困境，反而想要幫助朝廷擺脫困境。臣記得皇上繼位之初，曾經下旨要天下和解，如果此時在對裴寂進行報復，是人會怎麼評價皇上呢？”皇上說：“劉文靜當初死的太冤了，如果朕不能給他一個交代，有朝一日在九泉之下見到他，朕要如何面對呢？”魏徵說：“皇上，臣的意思是，裴公一把年紀，還讓他待在長安，讓他爲國事操勞。實在是有違善待老人的美德，爲此臣建議，讓他致仕回蒲州養老，這樣既不落下違背承諾的口實，又能夠彰顯善待太上皇舊臣的美德。同樣是讓裴公前往蒲州，這種說法會不會更加妥當了。裴寂若是離開了京城，太上皇就失去了支柱，這樣朝政大權就會更加集中到皇上的身上。”
魏徵把道理說得這麼透徹，皇上馬上就同意了。之後中書省按照魏徵的建議起草了新的詔書，之後，派空中大太監前往裴寂的府上宣旨，爲了彰顯優待太上皇舊臣，皇上特意給7天的緩衝期，不僅如此，還特意允許他的門生顧慮爲他送行，允許他想太上皇辭行。裴寂最後一次來到太極宮，說：“太上皇，這麼多年都是老臣陪着你，從今天開始老臣沒有辦法陪你了，希望太上皇保重貴體。”太上皇流着眼淚說：“朕捨不得你走，奈何上天已經不站在朕的一邊，希望你一路順風，也許下一次見面，你我就都在九泉之下了，到了那個時候你我一定要好好敘舊。”裴寂說：“太上皇，臣離開京城之後。你在宮外就沒有了支柱，所以希望你能夠選擇合適的時機從太極宮搬出去住。”太上皇說：“爲何？他都要趕你走了，你還想爲他做說客？”
裴寂說：“臣完全是爲太上皇着想，請你想一想看，武德朝的股肱一一凋零，現如今輪到房喬、杜如晦、長孫無忌等人指點江山了，太上皇如果繼續居住在太極宮，天下會有很多議論。”太上皇說：“人能搬到哪裡去住呢？”裴寂說：“臣以爲秦王的舊官邸就很不錯。”太上皇說：“你說的是二郎的潛邸弘義宮？”裴寂點點頭說：“太上皇，那裡山環水抱，是難得的好去處，那個地方距離皇宮比較遠，皇上監視起來也比較難，這樣太上皇生活的也就自在一些。”太上皇點點頭說：“你都已經到了這個地步，還在爲朕着想，而朕卻幫不了你什麼忙，實在是於心有愧。”裴寂說：“太上皇千萬不要這麼說，臣之所以有這樣的想法，正是因爲過去太上皇有大恩於臣，臣不過時投桃報李罷了。”
在最後的幾天，經過翻來覆去的思考，裴寂終於寫好了一份奏表。他希望用奏表的形式向皇上表明心計。但是就在他準備要把奏表遞上去的時候，卻突然將它撕了。家人都很不理解，裴寂說：“有些事還是當面說明白比較好。”於是他又一次請求皇上接見，不出所料又被拒絕了。可裴寂並不打算就此罷手，第3次請求皇上接見。然而出人意料的是這一次皇上接見了他，見面之後很快落座。但是皇上會以爲自己在裴寂的面前表現的有些不自然。然而這個時候他應對自如，沒有表現出任何不自然的痕跡。裴寂不慌不忙的說：“皇上是聰明人，關於劉文靜的死，相信在皇上的內心深處自會明斷。”皇上心裡想，這個傢伙是不是有意向外界釋放這樣一種消息，裴寂之所以被趕走，是因爲皇帝報復，於是皇上說：“你說的事情朕知道，從來沒有因爲這件事情有怪罪你的想法。”
裴寂說：“皇上能如此體恤爲臣，微臣非常感激，臣有一個不情之情，能否允許臣在長安致仕。”一聽這話皇上懵住了，說：“你說什麼？”裴寂說：“臣想在長安養老。”一聽這話，皇上的火氣蹭一下就上來了，站起來說：“裴寂，大唐開國，並沒有你的什麼功勞，而在武德年間，實際上你享受了第一等的待遇。武德年間法紀混亂、貪墨成風，毛病就出在你的身上。按照你的罪過，你應該被流放。朕念你是武德元勳，太上皇的愛臣，才允許你致仕還鄉。”裴寂說：“劉文靜之所以沒有辦法保全自己的身家性命，是因爲他身爲朝廷重臣，卻不在皇帝的身上，卻與皇子成爲莫逆之交，發願要把這位皇子推上皇位，這位皇子在當時又沒有被列爲嗣君。臣要向皇上請教，任何一個人這麼做能夠被皇上所容忍嗎？”皇上背過身去說：“事到如今，你還想詆譭劉文靜？”裴寂說：“臣想請問，爲什麼蕭瑀、陳叔達能夠保全自己，他劉文靜爲什麼就做不到了？其中的原因難道就是我要暗害他嗎？”
其實，劉文靜的死因，皇上內心是很清楚的，但是無論是皇上本人還是他的近臣們，不願意直接面對這件事，而希望裴寂來揹着一口大黑鍋。說到底他裴寂不過是太上皇手裡的一把刀而已，所以到底是刀殺了人還是人殺了人呢？裴寂頂撞了皇上，這是一向笑臉迎人的裴寂很少出現的情況。皇上讓人將他拖了出去，不久之後裴寂踏上了行程。在長安城外的十里長亭，爲他送行的人排成一條長龍，大部分都是他的門生故吏。裴寂說：“我在京城的時候，你們內心就有所依賴，現在我離開了，就算是我有心要幫助你們也鞭長莫及，從今往後你們要好自爲之。”一位門生拱手說：“我爲先生感到不平。”裴寂說：“人生本來就是如此起起伏伏，我不過是落葉歸根，又有什麼可抱怨的呢？”
看着裴寂在人羣中談笑風生，現場的氣氛漸漸變得歡快起來。裴寂說：“我離開之後，你們切記不要結成一夥，而是應該全心全意的爲百姓做主，爲皇上當差。我知道你們當中一些人抱怨自己懷才不遇，其實一個人並非有才就應該得到重用，你要在有才的同時有誠意把自己的所學用在自己的差事當中。用事務不斷的磨練自己，在辦差的過程當中不斷的感悟。其實無論在什麼朝代，官家都需要有人幫他幹活，只要你幹活的本事拿得出手，你就永遠有機會。與此同時你們要切記，萬萬不可養成嚼舌根的毛病，我在朝中多年，見過太多的人因爲言語失當而付出慘重代價。”們生們聽得非常的認真，裴寂終究還是上路了，爲了避禍，他選擇乘坐一輛簡單的驢車回家。
裴寂一路上都有人迎接，有人歡送，進入蒲州地界，當地的官民都顯得非常興奮，在本鄉露出這樣一個大人物，實在是太難得了。很多人爲了一睹裴司空的風采，帶着乾糧趕一連三天的山路。這件事情自然很快就傳入了皇上的耳朵，而且皇上聽到的有兩個版本，一個是地方衙門遞上來的描述這一情況的本章，另外一個就是沿途各地逐漸飄到京城的流言。長孫無忌非常的生氣，說：“真是出人意料，裴寂被免官之後還有如此的影響，看來這個人不能留。”皇上說：“他畢竟是太上皇的愛臣，這個情面朕不能不顧及。”長孫無忌說：“劉文靜的情面皇上要不要也顧及一下？”皇上說：“武德九年朕已經說了用天下和解，如果真出爾反爾殺了裴寂，豈不是要失信於天下？”長孫無忌說：“皇上蘭島一點也不在乎失信與劉文靜嗎？”之後房喬被請到了東宮，房喬說：“皇上的苦心臣明白，這是秦府的人未必都明白，臣以爲天下和解的宗旨不能變，但秦府舊人的感受也不能不顧及。”
皇上說：“房先生，你這是打算要兩頭討好？”房喬說：“如果讓皇上天下和解的誠意受到質疑，對於皇上的聲望就會受到影響。如果秦府的人受到了委屈，那些原本肯爲皇上賣命的人士氣也會受到打擊。所以臣才覺得，這兩方面都要被顧及。要做到兩頭都不落埋怨，其實是很難的，對秦府舊人，皇上要告訴他們，其實對裴公的行動並沒有停止，對天下人，特別是原本校中與建成和元吉的人，皇上要展示給他們，即便是對付曾經害死劉文靜的人，皇上也沒有逾越新法這是規定。”皇上說：“朕以爲只有長孫無忌能夠出這種主意，房先生真是讓人刮目相看。”房喬說：“皇上，如果你覺得這件事這麼做是妥當的，成就會這樣安排。”
皇上點頭說：“如此安排甚是妥當，就這麼辦吧！”自從裴寂離開京城之後，太上皇就變得墜墜不安。每次皇后向他問安，他都如同驚弓之鳥，以爲自己的末日到了。皇后把這件事情告訴皇上，說：“如此下去可怎麼得了呢？”皇上說：“你千萬不要低估了父親，他是經歷過大風大浪的人，怎麼可能被你驚嚇到呢？”皇后說：“你的意思是太上皇故意那麼幹？”皇上說：“太上皇這麼做就是要讓天下人都知道，你的性命正受到威脅，而如何能夠讓天下百姓打消這一疑慮呢？最好的辦法就是讓裴寂回到他的身邊。”皇后說：“父親這又是何苦呢？”皇上說：“爲了避免驚嚇到太上皇，以後你去問安，只需在門口行禮就行了，這樣禮數也盡到了，也沒有驚嚇到太上皇。”皇后說：“怎麼會驚嚇不到呢？如果太上皇故意這麼演的話。”
皇上說：“如果演出根本就不會有人看到，他還會接着演下去嗎？”果然太上皇停止了他的表演，但是沒有了裴寂的陪伴，沒有人跟他說心裡話，太上皇的孤單是真實的。一開始他只是一個人默默的難過，久而久之大家發現，太上皇竟然逐漸養成了對空氣說話的習慣。對於太上皇自己來說，這並沒什麼，可這看在別人的眼裡似乎就非常的恐怖。因爲太上皇精神不振，不久之後他老人家的龍體也出了問題。皇上找來御醫問診，御醫說：“心病還需心藥醫，解鈴還須繫鈴人。”於是皇上把自己心腹之臣請到御前，說：“如今太上皇，龍體抱恙，諸位都出個主意吧！”房喬說：“假如這一次太上皇如願，他一定不會放棄這個機會，一定會趁熱打鐵提出更多的要求。”皇上說：“可明擺着不尊父命似乎也不多，忤逆不孝的罪名，朕可擔不起。”房喬說：“皇上要給太上皇這樣一個訊息，這件事一方面可以商量，另一方面要讓他知道這件事並非皇上一個人可以左右。”
於是新一輪的表演開始了，皇上讓人草擬詔書，準備找裴寂進京，結果遭到了政事堂大臣堅決反對，皇上繞過政事堂直接發佈詔書，卻被門下省直接駁回，如是三次。太上皇仍舊堅持自己的表演，皇上就開始哭。到了這個時候，太上皇能夠明確的感覺到，皇上沒打算就這麼放過裴寂。其實太上皇也沒有這麼指望，他之所以這麼做，就是爲了減輕裴寂的壓力，讓他在蒲州的生活沒有那麼難。不久之後，秦府舊人紛紛上書，這一次沒說要把裴寂如何，只說一定要嚴懲害死劉文靜的人。這麼一來，可把太上皇給嚇到了，竟然破例主動要求接見皇后，說：“二郎真的打算爲劉文靜報仇嗎？”皇后說：“據兒媳所知，皇上一直有這個想法，只是礙於有律法在，不得不有所隱忍。”
太上皇說：“如果是這樣，下次來看朕的時候，最好帶上鴆酒。朕記得隋煬帝在臨死之際說過，天澤要有天子的死法，朕不想窩窩囊囊的死在太監的手裡，也不想死在粗鄙的屠夫的手裡，如果二郎要報仇，朕希望能自行了斷。”皇后說：“這一次秦府的人鬧得這麼兇，完全是衝着裴寂，太上皇不必擔心，秦府的人斷沒有膽子要求皇上爲難自己的父親。”太上皇仍舊堅持自己的想法，皇后說：“請太上皇放心，如果太上皇真的有性命之虞，皇上一定會在第一時間跳出來與那些試圖傷害太上皇的人決鬥。”太上皇說：“朕想見皇帝一面，你看行嗎？”皇后說：“太上皇要見自己的兒子，當然沒什麼不行。”回到東宮之後，如此這般一說，皇上面露難色，說：“我知道這一次太上皇的葫蘆裡賣的什麼藥？”皇后說：“無非是要爲裴寂求情。”
明日一早，皇上就來到了太極宮，太上皇聽說皇帝來了，顯得既激動又緊張。皇上來到龍榻邊，說：“兒子來看望父親，希望父親能早日康復。南山的野獸這些日子應該長得差不多了，朕希望能夠有父親一起去南山打獵。”一聽這話，太上皇卻顯得極爲悲傷，說：“春天的時候南山的野獸和禽鳥都在爲繁衍後代而忙碌。可有了後代又能如何呢？不知道哪一天因爲什麼變故，後代轉眼之間就沒了。”一聽這話，皇上既羞愧又惱怒，太上皇當然注意到皇上臉色的變化，突然抓住皇上的手腕說：“二郎，朕只希望你能夠放過裴寂。”皇上說：“父親這話不知道從何說起，朕從來沒有爲難過裴寂，相反一直以來都是他在爲難朕。當初建成和元吉屢次陷害朕，可裴寂從未說過一句話以幫助朕脫困。”太上皇說：“可你不是那種小肚雞腸的人。”皇上說：“朕只是一個有恩報恩有仇報仇的人。”
太上皇說：“你是一定要把劉文靜死被殺這筆賬算到他的頭上？”皇上說：“太上皇難道不覺得當年劉文靜死的很冤嗎？”太上皇說：“你已經是皇帝了，不久之後你就會體會到做皇帝的難處。你已經立了嗣君，可朝中的一位重臣既沒有支持皇帝，也沒有支持嗣君，而是支持一位有軍功的親王，你翻開史書去查一查，有任何一個人敢這麼做沒有身首異處的嗎？實話告訴你，裴寂那麼做不過是奉旨行事，這件事的元兇首惡是朕，好漢做事好漢當。朕願意一命賠一命。”你聽這話皇上說：“如果父親因爲這件事情出了任何問題，朕就會用裴寂一家老小的命來抵償。”這話一出太上皇目瞪口呆，不久之後，長孫無忌在御前說：“皇上，有一位算命先生說裴寂有皇帝之命，而裴寂知道這件事情居然沒有上報，應該斬首。”
皇上說：“這事有根據嗎？是哪一位算命先生姓甚名誰？他這麼說的依據是什麼？”房喬說：“據說是一位神人，他去裴寂的府上拜訪，說出了那一番驚人之語，之後這個人就杳無蹤跡。臣還聽說裴寂在蒲州的府邸是風水極佳之地，你說蒲州至於裴寂，猶如晉陽至於太上皇。”說着他就把下面遞上來的一份本章前後給了皇上。皇上一邊翻閱着一邊還是緊張起來，說：“如果裴寂真的是天命所歸，朕該如何應對這件事呢？”長孫無忌說：“很簡單，應該殺了裴寂。”房喬說：“龍如果不在天上，魚如果不在水裡，他們都沒有辦法施展自己的抱負。裴寂不在蒲州，太上皇如果不在晉陽，他們都沒有辦法成爲潛龍。”皇上說：“那就這樣吧！將裴寂居住的地方從蒲州遷到交州。”聖旨到了蒲州，裴寂一家人一下子慌了神。裴寂本人仍舊看上去氣定神閒，從容不迫的準備搬家。
這一次皇上沒有給他緩衝的時間，讓他馬上離開蒲州。這一次因爲裴寂牽涉到謀反案，再沒有人敢去送行，沒有人敢因爲裴寂的離開而表現出悲傷的情緒。就連太上皇也不例外，擔心有人將裴寂謀反的事情和他聯繫在一起。路上沒有人接應，而且越南邊天氣越熱。沒過多久陪着就生病了，到了靜州境內，裴寂的病情已經加重了。在此之前，裴寂已經託人給皇上遞了奏本，表示自己可能到不了交州，就死在途中了。看到奏本之後皇上馬上開恩，表示將裴寂遷居之地從交州改到靜州。當時裴寂一家人在靜州已經徘徊多日，當地官員多次催促他們上路，就在他們終於準備出發的時候聖旨到了，一家人歡天喜地自不必說。轉眼已經到了2月，皇上說：“三年無改於父之道，可謂孝。現在三年已滿，如今該讓天下人看到貞觀朝真正的樣子了。”於是下令，任命房喬爲尚書左僕射，杜如晦爲尚書右僕射，蕭瑀爲御史大夫。