徽宗皇帝即位後，朝會大殿上，最吃得開的便是蔡京；朝會外，最吃得開的乃是殿帥府太尉高俅了。
那是蔡京擔任朝廷宰相的第三年正月，天生異象，彗星出現西方，光長竟天。羣臣大驚，天監官急將天氣異象報告給了徽宗皇帝。徽宗皇帝聞報，因星象告警，避殿損膳，心中驚慌，起息不安。
朝中大臣趙挺之、劉逵，素與蔡京不和。兩人心想，既是天生異象，必有妖孽作怪。遍觀朝中，要說妖孽，最是蔡京莫屬。這兩人琢磨良久，暗中商議，便將矛頭對準了蔡京，覺得利用天生異象，而聖上又甚是迷信的機會，搬倒蔡京，實乃再好不過的辦法。
這兩人商量好後，遂趁機在徽宗皇帝面前進言，請求徽宗皇帝放開言路，寬鬆環境，不拘一格，發現人才，使用人才，創造良好的行政環境。
趙挺之、劉逵之所以會有如此建議，乃是因爲蔡京在朝殿門外及各州縣衙門樹立“元祐黨人碑”，致使言路閉塞，有礙觀瞻，限制了人才使用，阻礙了朝廷的行政能力，損害了朝廷形象；故此，兩人有針對性地對徽宗皇帝做了這番進言。
徽宗皇帝聽了趙挺之、劉逵的進言後，覺得很有有理，“元祐黨人碑”立於朝殿門外，的確有礙觀瞻，的確蔽塞了言路，影響了人才的涌現和使用。徽宗皇帝大爲欣喜，便提拔趙挺之爲右相，提拔劉逵爲中書侍郎。時任左相的乃是蔡京，徽宗皇帝提拔趙挺之爲右相，乃是用與蔡京不和的大臣來牽制之。
至於元祐黨人碑，徽宗皇帝準備在適當的時候，銷燬了事。
趙挺之、劉逵實現了他們的第一步目標。
因爲謀着要搬倒蔡京呢，所以，趙挺之、劉逵緊盯着黨人碑不放。
又過了幾日，被徽宗皇帝任命爲中書侍郎的劉逵，撩衣跪地，復求告道：“吾皇萬歲，臣以爲，朝堂及各州縣衙門前，高豎元祐黨人石碑，有礙寬鬆言論，不利朝廷觀瞻。聖上，現如今，政通人和，人民和樂，國泰民安，處處繁華錦繡，唯元祐黨人碑，突兀朝殿及各州縣衙門前，甚是不雅，有礙觀瞻，臣懇請毀去。”
徽宗聞言，深有同感，有意毀去，卻猶豫不決，認爲時機尚不成熟，恐蔡太師不悅。
趙挺之也跪地請求道：“聖上，劉侍郎所言不虛，情況的確如此，不毀去元祐黨人碑，言路無法打開，下情不能上傳，聖上玉音也不被兵民知曉，唯有毀去元祐黨人碑，才能營造寬鬆之環境，復造和諧之氛圍。”
徽宗聞奏，點頭說道：“卿等所言極是，朕也有此意；然元祐黨人碑，乃蔡太師一意主持栽立，況且是由蔡太師撰稿，朕御筆親書的，如今毀去，恐生議論，”
趙挺之復奏道：“吾皇萬歲！世間萬事，皆當時環境使然，豈有一成不變者乎？如今，時過境遷，環境變換，當另行舉措，以應對時局，毀碑實乃當務之急，若毀去元祐黨人碑，更顯吾皇英明聰聖。”
徽宗沉吟片刻，終於下了決心，說道：“既是要毀碑，也當暗中進行，不得讓蔡太師知曉。”
趙挺之、劉逵高聲喊道：“吾皇英明！吾皇萬歲、萬歲、萬萬歲！”
當夜，萬籟俱靜，徽宗遣人，潛至朝堂，偷偷砸毀了元祐黨人石碑。徽宗皇帝連夜另行傳旨，各州縣均如此照辦，速將立於衙門門前的元祐黨人碑悉數毀去，不得有誤。
徽宗皇帝聖旨連夜下達京師附近州縣。
次日早朝，蔡京大搖大擺地入朝，來到大殿門口時，忽然感到少了什麼，仔細一想，乃是自己頒令樹立在朝殿門前的元祐黨人碑沒了，顯然是被人給毀去了。
蔡京見狀，頓時勃然大怒。
然而，蔡京並不知道立在朝殿門前的元祐黨人碑乃是徽宗皇帝遣人摧毀的，故此，無所顧忌，怒氣衝衝地，急趨入殿，也不看兩邊站立的衆大臣，也未向徽宗皇帝行禮致敬，突兀地高聲詢問高坐於龍椅上的徽宗皇帝道：“吾皇萬歲，不知是何人如此膽大，竟敢毀去朝殿門前奸人黨碑？！如此行徑，置朝廷法度何在？！當予以嚴懲。”
徽宗見狀，面子上有點難看，但想到此碑乃是揹着蔡京，自己遣人悄悄拆毀的，故此未責怪蔡京的失禮，反而勸慰蔡京道：“太師息怒。昨日你未早朝，有大臣諫言，宜拆毀黨人碑，寬鬆言路。朕意亦宜從寬大，故此令人毀去此碑。”
蔡京聞言，方知元祐黨人碑乃是徽宗皇帝指使人毀去的，心裡雖是不想再爭辯，但當着衆大臣之面，大話已說出，怎好收場，遂怒睜雙眼，厲聲喝道：“何人有此諫言？！”
衆大臣皆被蔡京氣勢所鎮住，沒有敢出班言明。
蔡京怒氣未休，往上吼道：“碑可毀，名不可滅！”
蔡京聲音之高，響徹朝堂，滿堂大臣盡皆驚詫。
徽宗皇帝也被蔡京此舉嚇了一跳，頓覺掉了面子，遂不滿地看了蔡京一眼，微露怒容，起身離座，拂袖而去。
當日朝會隨即結束，衆大臣皆退出大殿。
蔡京也打道回府。回到府中，蔡京尤滿腹怨氣。對蔡京來講，黨人碑被拆毀，就等於他本人被否定了。
回到內宮的徽宗皇帝，也因蔡京當殿頂碰，心中甚是不悅。
不過半日，陸續有大臣進本參奏，奏請罷免蔡京宰相職務。趙挺之、劉逵也聯名進本參奏，斥責蔡京，請求罷免。奏摺道：“蔡京奸佞，擅權專橫，目無君父，黨同伐異，陷害忠良，興役擾民，損耗國帑，擅招敵國邊民，輕開邊釁， 當亟加罷黜，定國安民。”
徽宗覽奏，心中甚是痛快，遂有意罷免蔡京左相職位；然而，徽宗皇帝念在蔡京書畫絕倫，才華出衆，心裡雖怨恨蔡京魯莽，當殿頂撞自己，但喜蔡京之才，對罷貶蔡京，猶豫不決起來。
快至傍晚時，蔡京怒氣漸消，想到自己當殿頂撞徽宗皇帝，那徽宗皇帝定然惱怒不堪，定然要罷免自己的宰相職務。如此一想，蔡京又後悔不迭，想着如何挽回此事的影響。想來想去，蔡京覺得必須連夜去覲見徽宗皇帝，當面解釋清楚，否則後果十分嚴重，說不定自己的相位便沒了，就成別人的了。
於是，蔡京連夜進宮，覲見徽宗，跪伏於地，涕淚齊下，哭訴自己不該頂撞聖上，自己實乃是怕舊黨得勢，阻擾各項法規順利實行，一時急迫，有了朝會上不恭之舉，萬望聖上饒恕。
徽宗見蔡京哭得悲切，言辭誠懇，遂打消了罷免蔡京的念頭，對蔡京說道：“蔡太師且起。卿今日之舉，實在是過於孟浪，以後絕對不可了！”
蔡京聞聽到徽宗皇帝並無追究朝會上不恭之罪，感動得涕淚橫流，跪趴在地上，連扣着響頭，高聲喊道：“臣謝主隆恩。祝吾皇萬歲、萬歲、萬萬歲1”
徽宗見狀，離了龍椅，下到殿中，來至蔡京身邊，親手扶起蔡京，又是一番撫慰。
蔡京見徽宗皇帝已無怨氣，遂放心告辭回府。
又是接連幾日，對奏請罷免蔡京之事，徽宗一直沒有表示。羣臣不服，便又有奏摺遞入宮中，請求徽宗皇帝，罷免蔡京。
徽宗皇帝接奏，猶豫不決。
又過了幾天，有天監官入殿，奏稱太白晝見，恐非吉兆，應加修省。得知這個情況，趙挺之、劉逵也趕忙進宮，覲見徽宗，請求罷免蔡京，以寬鬆環境。
徽宗聞奏，乃赦免一切黨人，盡還所徒，暫罷崇寧諸法，並免去蔡京左相職務，貶爲太乙宮使，留居京師。
雖是如此，徽宗心裡尚覺愧對蔡京，乃將蔡京所寵愛的私人，擢爲龍圖閣學士，兼官侍讀，以籠絡蔡京之心。
擢爲龍圖閣學士的蔡京私人是誰？乃蔡京的長子蔡攸也！
徽宗尚是端王時，每退朝遇到蔡攸，蔡攸都急忙下馬，立於路旁，趨身弓腰，雙手抱拳，對端王極爲恭敬。
端王喜其有禮貌，乃問其曰：“你乃何人？”蔡攸遂答曰：“端王在上，下官乃蔡學士長子蔡攸是也。”
趙佶嘉獎其有禮，由此將蔡攸記在了心裡。現在，徽宗皇帝因罷了蔡京左相職務的原因，想到了蔡攸，遂提拔蔡攸升職爲龍圖閣學士，兼官侍讀，以此作爲對蔡京被罷相的補償。
此是蔡京被初次罷相。
其實，蔡京初次被罷相，也非是犯了多麼重大的錯誤，實是因了徽宗皇帝迷信，看重天象之故，加之其他大臣的彈劾，徽宗皇帝無奈，方罷免了蔡京的宰相職務，蔡京給徽宗皇帝皇帝甩臉子，只是個藉口而已。
蔡京被罷相後，並未失去徽宗皇帝對他的信任，雙方在書法及繪畫方面，常有切磋；況且蔡京罷相後，還留下了大批餘黨充斥在朝廷中，只要有機會，蔡京餘黨皆在徽宗皇帝面前說蔡京的好話，向徽宗進諫，請求啓用蔡京。