徐衛真的走了，走得非常乾脆麻利，絲毫不拖泥帶水。交割公務、變賣地產、舉家遷居，沒有拖延不前，沒有討價還價，沒有旁枝末節，如果說他是以辭職要挾朝廷或者有其他什麼圖謀，能這樣麼？
所以，當杭州清楚這一切後，皇帝大臣都放了心。自然的，還有一些不解。但這種不解幾乎可以忽略掉，太祖皇帝陳橋受禪後，就不動干戈，以一種非常平和的方式，解除了開國功臣們的兵權。當時，那些追隨他打天下的老弟兄，也不曾見有誰反抗或者說牴觸？在一個“文治”的國家裡，武臣就應該是這樣。
甚至連秦檜也終於相信了，徐衛不但辭職，而且非常自覺地選擇遷居四川，離開陝西，他的根據地，一切都好似在爲朝廷考慮一般。秦檜當然不相信徐衛有這種高風亮節，他將徐衛這一系列的舉動解讀“識時務”。天下太平，就該刀槍入回，馬放南山，這是大勢所趨，任何人都不可能逆潮流而動，包括徐衛。識時務者爲俊傑，所以，徐衛也算是個俊傑吧。
但是，秦檜認爲這並不意味着，徐衛這個潛在的威脅從此消除了。他雖然去職，放下了權力，但其在川陝無與倫比的影響力仍在。對待徐衛，還要聽其言，觀其行，一直盯着他，不能放鬆警惕。
有鑑於此，他提醒權代宣撫使職權的劉光世，要隨時注意徐衛的一言一行，但有什麼風吹草動，馬上報告朝廷。
秦檜雖然不打算就此“放過”徐衛，但就個人角度而言，徐衛對他沒什麼威脅，反而是出知泉州的徐良，纔是秦會之的心腹之患。徐良雖然出朝，他的黨羽也散了，但是和他的堂弟一樣，餘威仍在。
而且徐良顯然不如他的堂弟低調，雖然人離開了中樞，離開了權力核心，但“心”還在朝廷。正如范仲淹所言“居廟堂之高則憂其民，處江湖之遠則憂其君”。徐良離開杭州之後，半道上都還在向皇帝上書，闡述方略。他堅持認爲，大宋應該趁現在將士還未懈怠之時，一勞永逸地解決問題，而不是拖延。更不可對金國抱有幻想，女真人的反覆無常，國朝早就領教過了，必須得長長記性。
同時，他又論述了宋、金、遼三足鼎立的情況下，大宋應該何去何從。其看法，深受徐衛影響，那就是坐等實力的此消彼長。此外，徐良很不明智地在上奏中多次規勸皇帝，不要任用宦官，不要放縱後宮。
他的這些上奏，皇帝或許沒有當回事。但劉皇后、沈擇、秦檜之流卻深恨之。你都已經混成這模樣了，都去作個知州了，怎麼還這副德性？是嫌不夠慘麼？正因如此，這夥人打定主意，徐衛已經下野，且不管他，集中精力處理好徐良的事。
在中宮的授意下，前朝聞風而動，秦檜一手改組的臺諫，立馬火力全開，炮轟徐良。先還是就事論事，斥責徐良包藏禍心，中傷後宮，倚仗往日的功績，不把朝廷，不把皇帝放在眼裡。後來就扯遠了，幾乎把徐良的老底都翻過來。
你說，一個在臺面上執政多年的人，一個搞政治的人，怎麼可能白璧無瑕？要是較真，誰敢說他完全乾淨？於是，言官們抓住一些小問題，大肆攻擊，非要把徐良塑造成一個結黨營私，敗壞朝綱的奸侫。
最後，秦檜出面，奏請皇帝要處置徐良。趙謹雖然是個沒譜的人，也不太有主見，但還算是一個念舊的人，總想着徐良當年擁立他繼大位，多年來又苦心經營，正是在他執政期間，大宋才得以扭轉局勢，功勞還是主要的。
因此，心裡是不同意秦檜等人對徐良的定義的。但朝中言之鑿鑿，衆口一辭，你不能沒點表示吧？於是，下詔斥責了徐良。秦檜把上拿這根雞毛當令箭，徐良所在的泉州，屬於福建路治下。他查到，現任福建路的憲司漕司等負有監察現任部門的長官，都是徐良在臺時任命的。遂立即動用中書的人事權力，撤換了福建轉運使，委派他的親信。並告誡對方，此去福建，本職工作還是次要，主要任務，則是監視徐良，不管有事無事，每月彙報一次。
想徐良深受其父影響，以中興大宋爲己任，即使不在相位上，仍關心國事。沒想到，皇帝居然下詔斥責，感情上很難接受。在泉州任上，根本不理公事，一切都委給通判和參軍。終日在家中讀書作文，仍不忘給朝廷上書。不久，徐衛辭職的消息傳到泉州。徐良去職之時，便已經猜到朝中異己勢力不可能僅僅只針對他一人。一旦自己下臺，下一個目標就是徐衛。
到泉州這些日子，他一方面爲自己的遭遇感到悲憤，另一方面，更放心不下堂弟徐子昂。誠如他對徐四所說，倘若老九被逼急了，放不下權位，作出出格的事情來，那麼徐家就真的萬劫不復了。現在，徐衛既以辭職，那顯然是把他的話聽進去了。至少在這一點上，他算是放了心，剩下的，不過就是抒發自己憂國憂民的情懷而已。
徐良徐衛兩兄弟都下野，但還是有較大的區別。徐良雖然是主動辭職，但當時情況已經逼得他退無可退。而徐衛，則是“聞風而動”，不等朝廷開口，主動閃人。秦檜曾經說過，對川陝要徐徐圖之，先是收權，然後掣肘，再後是分治，最難的就是收徐衛兵權，這恐怕不是三年五載能辦成的事。所以，如果徐衛不自己下臺，那他十年以內都還可能握着西軍兵權。
其次，徐衛下野，是以退爲進，有自己的考慮。說白了，總有一天，我胡漢三又回來了！但徐良不同，自決定辭職之日起，他就認爲，此生恐怕是無望再回中樞了。也正是爲這個想法，所以，他纔沒有顧忌，想說什麼說什麼。反正，我也沒有權力了，沒有地位了，該奪的你們都奪去了，還能把我怎麼樣？