徐階力主放寬言論，言官們都很興奮，此次一個說要予重罪，一個說應削職爲民，不是又倒退了？言官大譁，抨擊高拱泄私憤。見高拱、郭樸憤憤不平，不得已，徐階來了個折衷，調胡應嘉爲建寧（今屬福建）府推官。
徐階用心良苦，但高拱、郭樸認爲罰輕了，愈加仇恨徐階，而朝中言官們，同樣不滿意，不是推行放寬言論的新政嗎？出爾反爾！
這就不得不說一說這位高拱，客觀地說，這是一個半神半魔的人物。對高拱的評價有人說他有才能，能施政，有政績；也有人說他專橫暴戾，氣量褊狹，剛愎自用。貶褒不一，衆說紛紜。
徐階引進了他，他想拱走徐階不成，只能自己走人；後來張居正又引他入閣，他又與張居正水火不容，最後被逐出內閣。內閣分裂，這就給朝臣中的小人制造了竄升的機會，他們像賭徒下注一樣，押準了不就飛黃騰達了？
果然有這類人，而且不止一個。
廣東道御史齊康跳了出來，此人是永年人（今屬河北省），考取舉人，高拱是主考，嘉靖四十一年（公元1562年）中進士。齊康彈劾徐階至關要緊的罪狀是嘉靖要立太子，徐階一直阻攔，先帝想傳位當今皇上，徐階又橫加阻攔。齊康列舉的罪狀非常離奇，其目的就是引起新君的憤怒，罷黜或處死徐階，而藏在深處的動機則是，高拱是新君的講師，新君必褊袒高拱，高拱當首輔，自己必高升。
但也因爲“罪狀”太離奇，沒人信，衆多言官羣起而攻之，圍在朝門大罵高拱唆使門生陷害首輔。高拱受不了，請求罷職。
徐階本有器量，處處避高拱鋒芒，維持大局，但如此不堪的誣陷，就在嚴嵩主持內閣時也不曾有過，他憤怒至極，立即撰寫《被論自陳》疏，要求罷職。
他在疏中說：其他罪狀不足辯，至於冊立太子一事，臣任禮部尚“書，曾四次奏請先帝冊立太子，先帝不予理會。至於傳位一事，則臣恐怕引起更大的風波，確實不敢贊同。四十三年十二月十三日、十二月十六日，兩次奉先帝詢問，臣懇切地爲先帝陳述皇上（指新君朱載垕）賢明孝順，先帝詢問的聖諭，臣奏請冊立的奏章都已歸檔可查。請將臣並臣男璠削職奪官，放還田裡。”徐階終於撂擔子了。
徐階撂擔子，不是作秀，確實出於內心。應付嚴嵩十幾年，耗盡心智，而今高拱內鬥的手段比嚴嵩更卑劣。由於內閣分裂，大臣們又漸成兩派，又開始惡鬥，當年張璁攻擊首輔楊廷和時朝廷兩派惡鬥的場面又將出現。徐階不免苦笑，大明政局的走勢，怎麼過了三十年，又拐到原處？
這一次風暴，以朱載垕允准高拱離職，“去政還鄉調治（疾病）”，齊康降兩級調地方而平息。
在此情況下，徐階連上《三乞休》、《四乞休》兩道本章，去意堅決。
然而滿朝文武挽留，新君又連下兩道聖旨，“希望體會朕的誠意，繼續贊輔，慎毋固辭” 。
身不由己的徐階無法選擇，於隆慶元年（公元1567年）四月底，復任首輔。復出之後，平反了前薊遼總督王忬、總督胡宗憲兩宗冤案。
日曆翻到了隆慶二年（公元1568年），高拱去職，郭樸心中不安，也請求還鄉獲准，內閣連去兩人，只剩四位，排位是徐階（首輔）、李春芳（次輔）、陳以勤（少傅兼太子太傅）、張居正（少保兼太子太保）。
徐階雖然出任首輔，但對首輔的職位已經興味索然了。他感到沮喪，高拱的蠻橫不可理喻，齊康的無恥醜態畢露，都令他厭惡。而自己再三乞請增內閣成員以圖共襄朝政，內閣成員卻勾心鬥角；努力創建寬鬆的輿論環境，言官中卻又開始了羣毆。自己雄心勃勃開一代新政，結果是亂紛紛一片。
自然，對策也是有的，他儘可利用首輔的權力和朝中多數大臣的擁戴讓對手萬劫不復，就像張璁對待廷臣，嚴嵩對政敵採取的**消滅手段一樣。但他不是張璁，不是嚴嵩。他崇尚的是陽明心學，要“致良知”，下流手段不屑一顧；他家世代崇佛，慈悲爲懷的精神也深入骨髓。入閣十幾年，總是力圖保護正直大臣；擔任首輔五年多來，也從未動刀殺過大臣，嚴世蕃案例外，怎麼能大開殺戒？連廷杖也沒發生過一次。尤其是當他想起自己的前任，楊廷和把先帝扶上皇位，結果是罷歸，斥爲民；楊一清又怎樣，被冤致仕，怨氣沖天而死；夏言呢，掉了腦袋；翟鑾，斥爲民；嚴嵩自然不必說……想到這些，徐階不寒而慄，還是祖父說得對，“保我族類”；還是可久說得對，自身安危都沒保障怎能勵精圖治？當年楊廷和將自己留作種子，而今自己也留下了張居正這顆種子，可以退了，不如歸去。
由於徐階壓抑宦官參政，得罪了隆慶身邊的宦官，引起“中官側目”。隆慶貪玩巡幸南海子，徐階諫阻，不聽。再加上給事中張齊又來了個彈劾，徐階奮然求去，連上九道奏章“乞休”，終於獲准。二十歲出仕，四十五年後，徐階又回到了生他養他的故鄉。