李世民認爲父親對這位大功臣懲罰有失偏頗與公正，便極力向父皇求情，以減輕對他的處罰，至少得保住其相位。然而不知爲何，這一回李淵全然不念及劉文靜的功勞，處罰他的態度非常堅決。因此，不論李世民及朝中大臣如何進諫，李淵就是不鬆口。末了，李世民也只好作罷。
劉文靜做夢也沒想到李淵會這樣對待自己，這令他十分難受，也十分鬱悶。然而，他不敢與貴爲天子的李淵理論，怕他龍顏一怒，將自己一刀斬了。爲此，他只能呆在自己府裡喝酒解氣。
一日晚上，裴寂突然笑呵呵地出現在劉文靜府中。他的不請自到令劉文靜深感意外，而又滿心歡喜。當下，劉文靜就令人準備好酒好菜，打算與自己的好友痛飲一番。裴寂也不客氣，道了聲謝，就在椅子上坐定。
不多時，兩人就一邊喝酒，一邊閒談。聊的自然是有關高墌戰事以及由此而來的發落。說着說着，劉文靜又替自己鳴不平。呷了口酒，他忿然說道：
“玄真，你說皇上處罰我是不是過分了些？我不否認，當初是我勸秦王出戰，可我這樣做也是爲了能一舉消滅薛舉，爲國效命。今高墌大敗，我作爲行軍總管自然有不可推卸的責任，同時也得爲自己的錯誤進諫負責。所以，皇上懲罰我，我沒任何意見。只是這除名，的確讓我難以接受。我真不明白皇上爲何要如此這般對待我，難道皇上已忘掉我所立下的汗馬功勞嗎？”
“怎麼會呢？”裴寂放下手中的酒杯，兩眼含笑地望着劉文靜說句，“肇仁兄，不瞞你說，今日皇上還對我說你是太原舉事的第一功臣哪。你看，皇上對你立下的功勞一直念在嘴上，又怎會忘掉呢？”
劉文靜從裴寂嘴裡獲知李淵心念自己的功勳，心裡頭多少舒坦了些，臉上的怨氣也隨之消失了。不過令他納悶的是，李淵既然念念不忘自己把他扶上皇位的莫大功績，那他又爲何要因這點過失而重重處分自己呢？一時間，他想不通，便問裴寂：
“皇上既然心裡還有我劉文靜，你說皇上爲何還要除我的名，罷我的相呢？這處分可比誰都重呀!”
裴寂沒有立即爲劉文靜解惑，他低頭慢慢啜飲了口酒，方眼神異樣地盯住劉文靜，低聲問句：
“肇仁兄，你這麼個聰明人，難道就沒有看出箇中原由嗎？”
“什麼原由？”劉文靜詫異地望着裴寂，忙問道，“文靜愚鈍，請玄真老弟明說吧！”
“高墌一仗，秦王是統軍元帥。”想了想，裴寂說，“現今皇上即位不久，自得建立威信，以服衆臣。高墌一戰乃大唐首敗，且敗得如此之慘，皇上豈能不嚴懲帶兵將領？秦王乃皇上愛子，且戰功赫赫，豈可重懲？故而，皇上只能拿你問罪了。”
“這麼說……我倒是替秦王擔當重罰了！”劉文靜聽罷，非但不生氣，神色反倒漸漸開朗起來了。
裴寂注意到劉文靜的表情變化，他深知劉文靜跟李世民之間那層關係，也就不奇怪了。沉吟一下，他挑撥似的說：
“肇仁兄，你替秦王擋了箭，非但不生氣，反倒看上去很高興。嗯，看得出你跟秦王的交情非同尋常哪！”
“那是，我跟秦王乃生死之交，別說替他擔當罪責，就是死也願意。”劉文靜正色道，“秦王待文靜不薄，文靜豈能不忠於秦王！”
“是嗎？”裴寂心頭一動，臉上掠過一絲詭異的笑。默然片刻，忽然莫名其妙地補上句，“秦王的確精明能幹，在這麼短短的時間內就籠絡到了一大批能人賢士，迅速壯大了自己的勢力。這……不過，皇上對秦王這樣做不大滿意呀。”
劉文靜當下就聽明白了裴寂的弦外之音，他知道李淵對李世民心存忌憚，擔心秦王府的勢力超過東宮，這樣就會威脅到太子李建成的地位。而太子乃天下之本，是不可輕易動搖的。因此，李淵必須竭力維護太子既定的儲君之位，以穩定國家大局。李淵的確是深謀遠慮，善於未雨綢繆，現在就開始着手消弱和剪除威脅東宮的勢力。這次李淵借戰事不利嚴辦劉文靜，恐怕與此密不可分。劉文靜意識到了這一點，內心不由生出股寒意來。沉默半晌，他苦笑了下說：
“玄真，聽你這麼一說，我算是明白自己被除名的真實原因了。既然是這樣，那我就不用過多自責了。不過，我還是要說句公道話，不論是能力，還是戰功，秦王都在太子殿下之上。太子能入主東宮，僅僅是因爲他是嫡長子而已。唉，我真爲秦王惋惜，甚至鳴不平哪！”
“肇仁兄，你怎麼敢這麼說呢？倘若給皇上和太子殿下聽到了，那可不得了啊！”裴寂故作吃驚狀，壓低嗓門說，“我知道，你對皇上這次處置有意見，甚至是頗爲不滿，可也不能說這種氣話。好在這兒只有你和我，若有旁人在，傳到皇上耳朵裡，那你就得出大事了。”
劉文靜意識到自己言語確有不妥之處，也就不再往下說了，只舉杯邀裴寂飲酒。乾過杯後，彼此又沉默了陣，隨後裴寂方開口說道：
“肇仁兄，你我是多年至交，情同手足，有句話我當你面直說了。說真的，皇上非常賞識你的才幹，打心裡就希望你能同我一道輔佐太子殿下，不知你意下如何？”見對方沒立即給出答覆，又趕緊補上句，“肇仁兄，你是個明白人，要是你能令皇上滿意，那很快就可官復原職了。”
“請恕我直言，要我離開秦王，那除非日出西方，否則決無可能！”劉文靜不假思索，斬釘截鐵地回答道。
裴寂見劉文靜這麼一說，先是哈哈一笑，接着又動之以情曉之以理地勸說對方。然而，劉文靜深深爲李世民的傑出才幹和人格魅力所折服，決不肯做出背叛他的舉動。末了，裴寂也很無奈，搖頭苦笑道：
“人各有志，好吧，肇仁兄，我也不再多說了。你我朋友一場，那我就奉勸你一句，往後處處小心，儘量少露鋒芒，否則對你不利呀。”
“多謝提醒！”劉文靜不冷不熱地回句，呷了口酒，接着又慨然長嘆一聲說，“想當初在太原你我都是皇上身邊最信得過的人，皇上平等相待你我二人，可如今……唉，玄真你可成了皇上最寵幸的大臣，上朝同座，出入臥內，且對你言無不從，滿朝文武，誰能比得上你？而我呢……我自以爲功勞不在你之下，然地位和恩遇遠不及你，這是何道理？”
說到後頭，劉文靜眼神裡禁不住流露出些許怨憤與不滿，同時又似乎在譏諷裴寂。這令裴寂很不爽，他忍不住氣說句：
“肇仁兄，你何出此言？我的功勞有多大，自有皇上明察，何須你妄加評斷，你是不是多喝了幾杯？”
“何爲妄加評斷？”劉文靜冷笑聲說，“當初若不是我劉文靜勸說，你豈會力諫皇上起兵舉事，又哪能有今天？”
裴寂原是個心胸不夠寬廣之人，容不得別人在自己面前說三道四，何況現今爲皇上寵幸的權臣，自然更不容他人對自己有絲毫不遜，即便像劉文靜這等要好的朋友也不例外。因此，當他聽到劉文靜用言語挖苦自己時，不禁勃然作色，氣哼哼地答道：
“簡直是一派胡言！”
說着，裴寂就拂袖而起，悻悻然離開了劉府。
劉文靜認爲自己沒有錯，也就不打算追上去向裴寂賠禮道歉，這更令裴寂氣憤不已，暗自決定疏遠這位志不同道不合的老友。真的，自那以後，裴寂對劉文靜很冷淡，而劉文靜見自己熱臉貼在冷屁股上也不是個滋味，也就不再把這位昔日好友當知音了，而是來了個一百八十度大轉彎，將他劃到政敵一邊。於是，從此以後，兩人於朝中議事時常常意見相左，鬧得越來越不開心了。