一入江湖身不由己，趙昺雖然聲稱要強行離開，但是他知道自己也就是說說而已，鬧鬧脾氣罷了。最後兩廂妥協，衆宰執同意陛下前往文昌行宮避暑，每日由中書省將一般事宜進行彙編通報給皇帝，重要事項另行呈文請他批閱。這個條件已經很寬泛了，趙昺點頭同意。
趙昺雖然想早些離開，但是想動下也是十分繁瑣。安全當然是第一位的，先着令倪亮及劉靈率三營護軍和二十多個內侍前去行宮打前站，佈置警戒，整理房屋。同時令右軍派兵前往文昌負責外圍警戒，白沙水軍出動船隻巡視周邊水面，而家裡則忙着打點行裝，常用的、不常用的，萬一用的上都要帶上。
既然趙昺還要處理公務，幕僚班子也不能少，便由應節嚴率隊隨扈同去。經過五天的準備，選定了吉日，隊伍才得以成行。瓊州府城距文昌縣6路二百餘里，按照正常行軍度也要七天，趙昺考慮從驛道前往各個州縣還要迎駕，安排護衛，準備大隊人馬所需，如此太過擾民。於是決定走海路方便，那樣幾條船便解決了所有問題，且行船不過一日夜就到，自己也免了勞頓之苦。
八月初六，趙昺辭別太后，在城外碼頭登上社稷號，隨行的只有兩條輜重船和五艘龍船。沿南渡江至海口出海後，白沙水軍派出二十艘戰船護航，經過一天一夜的航行後，次日到達博鰲，在島南的碼頭靠岸。說起來這也是他第二次來此了，但上次沒有登島，這裡也只有幾十戶疍民在島上居住，而這次卻熱鬧許多。
但是當初把避暑行宮建在這裡並非趙昺的主意，但是開博鰲卻是他的命令。自入瓊以來，連番打了幾場大仗，而每次戰鬥之後都會有大量的傷兵。他考慮到這些傷病多是孤身一人，且許多人會落下殘疾難以重新入伍，因而決定在瓊州之外選一處風景秀麗之地建立軍人療養院，即可讓傷病員在此休養，也可讓官兵輪流到此放鬆療養，於是便選中了博鰲。
在趙昺前往崖山的時候，應節嚴便調動輜重軍上島修房建屋。他不知道博鰲在後世的名氣如何之大，但上島選址之時現此地正處於白泉河與南海的交匯處，不僅水產豐富，且有融山、河、湖、海、島嶼於一體，集樹林、沙灘、溫泉、奇石和田園於一身的美景；還有綿延長達十數裡的海灘，衆多造化神奇的島嶼與河汊。於是他也被風景所吸引，想着自己那寶貝徒弟只要不死，府城那所狹小的宮殿肯定是關不住他的，便做主修建了避暑行宮。
趙昺還未上島便看到了自己的行宮，噗嗤便樂啦！老頭也太能搞了，這可能是世界上最獨特的宮殿了，分明就是座土樓，像一座巨型碉堡矗立在海岸上。其明顯是在糊弄自己是個城裡娃，沒有見識，在船上還洋洋得意的向自己諞乎，說行宮修建如何奇特，功能如何齊全！
不過老頭也說得不算錯，登岸後走不過兩百步便到了行宮門外，從外表看整個建築就像一座圓形的大糧囤，佔地約有二十畝地。面南背北，建在一個高地之上，循門而入迎入眼簾先是個半月形的池塘，裡邊放養着魚鱉，巧妙的是池塘正建在一個泉眼之上，不需另外引水便可得到充足的水源，即可放眼魚蝦，澆灌花草，還可蓄水防旱、放火，匯聚雨水。
池塘相對的另一半則是房舍建築，兩個半部的結合處由一長方形空地隔開，以三合土夯實鋪平，洽可作爲護軍的演武場，正中爲方形主體建築，也就是趙昺的生活之地了。應節嚴說這是取天圓地方之意，而他看着卻像一個巨大的銅錢，自己就鑽在那錢眼兒裡。
邊走邊看，以趙昺前世所知，整棟土樓採用的是三棟兩橫圍龍屋的建築模式，有上、中、下三廳，各廳之間均有一口天井，並用木製屏風隔開，屏風按需要可開可閉。廳堂左右有南北廳、上下廊廁、花廳、廂房、書齋、客廳，居室等，錯落有致，主次分明。建築結構前低後高，這樣就有利於採光、通風、排水、排污。
橫屋外層便是半月形的圍屋層，高有四層，拱衛着正殿，形成一道防禦屏障。弧形的圍屋間共有幾百間之多，即可住人，也可儲存物資。圍屋間一、二層不設朝外的窗子，三樓四樓和每個房間都有朝外的大窗，既利於採光，流通空氣，又成了瞭望敵情和向外射擊的槍孔。窗戶一般不大，可以作爲瞭望孔、射擊孔抗擊來攻之敵。另外圍屋之上還相間築有角樓，用以警戒瞭望。
趙昺敲打下牆壁，手砸的很疼卻沒有迴音，以他估計牆壁至少也有五、六尺後，從露出的牆體看，基礎部分皆是用條石壘砌，上面是用生土夯築。如此厚的牆體使保溫性大大增強，做到冬暖夏涼，且還能抵禦敵兵的攻擊。而他覺着，應節嚴修建行宮時肯定想到這裡臨近大海，容易遭到海上敵人的襲擊，因而在防禦上也做了諸多的考量。如此大的建築只開有一道正門，有敵來襲封閉大門後就成了一座堅固的堡壘。
大門的門框，門檻都是條石，門板厚約一尺，包着鐵皮。大門上斜挖了幾個嵌有竹筒的護門孔，倘有敵攻門，則可往下射擊和澆開水。爲防敵放火，大門上方還安裝了防火水櫃、水槽，只要一按開關，水便順門而下，以滅火護門。另外外層圍屋還夯築了夾牆，萬一外牆被拋石機轟開，樓內仍有夾牆支撐，可保安然無恙。
轉了一圈後趙昺暗自苦笑，這行宮太嚴實了，能防禦外敵入侵的同時，自己這也成了從一所開放式監獄又轉到了一所封閉式的監獄了，若想偷偷溜出去比瓊州的皇宮難度可大太多了！看看捋着鬍子笑的得意的老頭兒，他有些後悔來這裡啦……