趙昺雖然在心中不斷的爲自己的優柔寡斷而氣惱，意欲爲皇后開脫，但他也知道罷黜皇后的成本太高。這不僅僅是因爲重新立後需要消耗鉅額的金錢，當然實際上以當前的財政狀況他也實在沒有能力和精力再重來一次；另外政治成本也不小，這將有損自己的聲望不說，且會讓力主立吳曦爲後的臣僚們惶恐不安，他們一定會極力阻止，從而引發新的危機。因爲在士大夫階層看來，這件事不僅僅是廢后那麼簡單，而是要打破他們爲皇帝設立的柵籬。
雖然對於儒家的理論趙昺多有反感，也不喜其中的條條框框，但是十年來師傅們的耳提面命，以及每年數個月的經筵灌輸，即使他本能的牴觸，洗腦似的教育也讓他不得不被動的接受。可他終歸不是那個真正的趙昺，卻是有着現代思想和成人思維的‘新人’，可以獨立的思考，以自己的思想來分析和判斷優劣，且加以利用。
隨着對這個時代的瞭解，趙昺也開始利用學到的東西重新解讀這個世界，並從中尋求破綻，找出一條適合自己發展的道路。他有時會想，若是自己的幾位師傅和那些開講的名儒發現自己存着這種心思來聽他們叨叨，會不會被氣死，而這也是趙昺突然轉了性子開始主動學習經史的原因，畢竟知己知彼才能百戰百勝。
趙昺仔細考究過宋朝歷代君主所受到的種種約束，其完備性可謂爲歷代所不及，其中既有其他王朝共有的，也有其他王朝所無的。兩宋三百餘年，從未誕生過一個獨裁的君主，倒是著名的權相出現了一大串，能列出一個長名單：丁謂、王安石、蔡京、秦檜、韓侂冑、史彌遠、賈似道，等等。
從中可以發現宋代沒有很好地解決權相專政的問題，但君權則是受到了有效限制。而趙昺通過理論和實踐相結合，發現自己的列祖列宗之所以和自己一樣不能‘快意行事’，並非只是懼於祖宗家法，而是士大夫階層通過一系列的措施和手段完成了對皇帝的圍堵，在權力的運用間築起了一道無形的柵籬，使得大宋的皇帝們難以獨斷朝綱，賞戮隨心。
首先對於皇權造成約束的東西在現代人看來是極爲可笑的，那就是虛無的‘天’。在秦始皇建立帝制之後，皇帝是至高無上的，漢代時董仲舒提出“屈民而伸君，屈君而伸天”的理論，在皇權之上設置了一個更高位階的“天道”，從而將絕對皇權改造成相對皇權。
趙昺實在無法想象古人對於“天”的敬畏感是如何的強烈，但在秦後各個王朝，天命、天道確實對人間的君權產生了約束。古代的君主們都堅信不疑的相信上天有一雙眼睛在盯着他，並通過災異向失德的統治者提出警告。當然君王們也成功的藉助君權天授和上天之子的名義來加強自己的統治，強調自己的正統性，在這種心理下敢於挑戰‘天’的權威的人少有好下場的。
熙寧年間，王安石爲說服宋神宗壓制異論，厲行新法，則放言“天變不足畏，祖宗不足法，人言不足恤”，其實就是蠱惑皇帝擺脫天、祖宗成法與輿論的三重束縛。這是一種很危險的做法，因爲結果很可能導致皇權專制主義的生成。也因此，當宰相富弼聽聞王安石向神宗說“災異皆天數，非關人事得失”的時候，就坐不住了，上書稱：
“人君所畏惟天，若不畏天，何事不可爲者！此必奸人欲進邪說以搖上心，使輔弼諫爭之臣無所施其力，是治亂之機，不可以不速救。”結果大家都看到了，王安石被貶嫡，神宗暫罷新法，這很大程度上也是出於對“天命”的敬畏，一場足以改變歷史的革新就此被虛無的上天所改變了。顯然君主敬天，所以不敢一意孤行，使天作爲節制人間君權的神秘力量，在宋代政治運行過程中的作用顯然是不可忽視的。
不過當下趙昺還是天道的受益者，他成功的利用此鞏固了自己的地位，並讓人相信自己與上天有溝通的能力，所行之事皆是受上天指引。而他知道事情往往是勝也蕭何敗也蕭和，若是自己就此廢后，當下不論是出現什麼天文異相，還是大災小情，都會將此歸咎於自己逆天而行，從而遭受天譴。
趙昺發現此又與太祖誓約聯繫到了一起，可能有人以爲即便真有“誓約”，也意義不大，不過是一份秘密的遺詔而已。但更準確地說，這其實是宋皇室與上天之間的立約，趙宋的君主如果違背“誓約”，則“天必殛之”。在天受到人間敬畏的時代，這樣的“誓約”具有比一般的遺詔更大的約束力，如此也讓士大夫們平白得了一道免死金牌，讓他們可以‘恣意’制約皇權。
另外趙昺覺得太祖算得上是個明君，但是單純的對於自己的子孫有點關心太過，總擔心他們難以保住自己打下的江山，因而給後代們立下諸多的規矩，想借助士人的力量來協助他維護趙家統治。如果將誓約只是視作宋朝的特別約法，此外還有一系列日常制度與程序要求君主遵循，在宋代，這叫做“條貫”。
開國之初，太祖意識到條貫乃是預防後世君主肆意妄爲的“妙法”，因而大力制定了諸多規矩。趙昺以爲從源頭來看，這些制度確實起到了防止後代出現敗家子丟掉江上的作用，可從另一個角度來說也限制了有爲君主進取的渠道，把兒孫們都裝在了自己設定的套子中，想動動都難以做到。前時自己因爲裝修房子受到彈劾，那些人便是依據太祖制定的條貫，好在他一手以武力相脅，一手胡攪蠻纏算是度過了此劫，可以後呢？
此外，趙匡胤還做了一件趙昺以爲大不妥的事情。其有次與趙普答對，問其“天下何物最大？”，趙普對曰“道理最大！”太祖認爲極好。這也許就是其一時的想法，但是士大夫們就乘勢而入，並自以爲開國皇帝認同了道理最大。這就意味着皇帝同時承認權力不是最大、皇權不是最大，皇帝的話並不是永遠正確的，也不是不可違背的。正因爲君臣間達成了道理最大的‘共識’，所以他們不認爲臣要絕對服從於君。
在趙昺看來太祖混亂髮言固然有過，但是士大夫們也非是什麼君子，他們將此進行過度的解讀，使之成爲有利於自己的規矩，等同於耍無賴一般。當然他心中也是埋怨自己這位祖宗，說話怎麼不過腦子，也不想想道理是什麼東西，能是他所能決定的嗎，該由誰來評判呢？
明眼人都能看得出來，當然並非由君主自己來闡釋。確切地說，道理並不是掌握在哪一個人手裡，而是蘊含在人心、天理與世代相承的傳統中，並由受過良好教育的士大夫羣體發現、闡述出來；或者通過公議彰顯出來。而公議在趙昺看來就是另一個坑。以他的理解公議就相當於歐美國家的議會制，有事大家商量着來，是一種民主共治的體現，但這個在大宋卻有不同的解讀。
在朱熹看來，君主不可專斷，即使君主作出的裁斷是正確的、“悉當於理”，這樣做亦非爲治之體，爲治之本乃是服從於公議；蘇軾的解釋是：“此言威福不可移於臣下也。欲威福不移於臣下，則莫若捨己而從衆，衆之所是，我則與之，衆之所非，我則去之。夫衆未有不公，而人君者，天下公議之主也，如此，則威福將安歸乎？”這麼一解釋，還有幾分“民主政治”的意味。
他們的意思無外乎是說，君主專行賞罰、獨攬威權，就是君主獨裁。但君主如果服從於公議，自然談不上君權獨裁，而且同時，也避免了威柄爲左右一二權臣所擅。所以趙昺以爲這種制度從面上看確實不錯，但是沒有集中的民主顯然就是一道限制皇權的繩索，否則說的對也不遵行，這又是哪門子道理呢？
在實際實施中，宋代君主未必都能做到“捨己而從衆”，不過皇帝們確實比較尊重公議的力量，如果君主行事不合法度，立即就會受到公議的圍攻。簡單的說就是你一張嘴在與幾十張嘴，甚至是上百張嘴在爭辯，別說磨破嘴皮，就是將舌頭都磨沒了也勝不了啊！結果就是道理都掌握在士大夫們的嘴裡，皇帝就只能聽從他們口中的道理。
更爲嚴重的是，趙昺發現宋代的仁君往往都是最遵紀守法的。君臣之間有所謂“法者，天子與天下共也”的共識，假如天子徇私枉法、偏袒私臣，就會受到士大夫集團的激烈反對，他們會搬出此來跟皇上爭辯：“天下之法，當與天下共之，有司守之以死。雖天子不得而私也，而後天下之大公立。”
由此可見，至少在理論上，宋代的皇權絕不是至高無上的，在它的上面，還有天，還有法，還有道理，皇權受到了種種約束，也是一個強調天子亦必須服從於法的朝代。如果君主意欲攬權，則會被視爲越俎代庖、侵佔政府的正當權力，因而免不了要遭受羣臣抗議：“今百司各得守其職，而陛下奈何侵之乎？”“天子而侵宰相之權，則公道已矣！”
“誓約”、“條貫”、“道理”三者的權威，均爲開國皇帝太祖所確立，但趙昺亦早已發現所謂祖宗之法，未必都是前任皇帝本人的意思，而是一個包含了一系列習慣法、慣例、故典，並且經儒家治理理想塑造過的制度體系，因爲以“祖宗”的名義保存下來，其權威大於現任君主的權力，當現任君主做出不符合儒家理想的行爲時，士大夫集團就會搬出“祖宗法”，令君主不得不作出讓步。
如果說這些條條框框是士大夫集團藉以挾制皇帝，迫使其不得不與他們實現共治。那麼還有一手就是古老的史官傳統與起居注制度，此也是君主不敢不敬畏的力量。你想皇帝的一言一行、做的任何事情，都會被起居注官記錄在案，而且起居注官怎麼記，皇帝是管不着的。
因此如果君主若是在乎身後的歷史聲名，行事就不能不有所顧忌。當然要讓君主對歷史心存敬畏，史官的獨立性非常重要，而在宋朝保持史官的獨立性亦是士大夫的一項共識。且按照宋代史官的傳統與慣例，君主與大臣議事的任何場合，都需要有史官在場。
這跟現代政治中的電視直播有着類似的功能，都是政治透明度的體現，只不過一個是即時公開，一個是留給歷史與後人。不過這項制度對於趙昺當下來說，起居注制度影響並不很大，因爲史官並沒有預政的權力，也就是說他只要對歷史聲名全然不在乎，史官除了秉筆直書，是拿自己沒一點兒辦法的，只能算是一種消極的約束力量。
不過趙昺行事一向謹慎，在朝堂上避免說過頭話，而重要的話都是在私下中議論的，且往往以涉及機密爲名將所有閒雜人等皆拒之門外，史官能咋記，留給後人的不過是一本糊塗賬。再說記下又能怎樣，自己不過是大宋朝的過客，根本不屬於這個世界，當了皇帝不過是偶然，還在乎後人怎麼評說！
如今讓趙昺清楚現在的局勢，若是自己一意孤行強行剷除吳家，廢黜了皇后，定然會遭到士大夫集團的反撲，這會使本就不穩的朝局更加混亂，進而有亡國之危。吳家也清楚趙昺面臨的尷尬局面，算定他會在己方讓步後作出妥協，可讓他氣悶的明知如此也不能不退讓一步，但是將氣撒到一個女人身上，他還是覺得自己太LOW了……