整個含元殿內此時安靜下來，數百名朝廷大員沒有一個人大聲出氣，所有人都明白趙子良這麼做除了擔心遭遇像皇甫惟明、王忠嗣等這些人一樣的下場，索性辭去了所有官職之外，還要一個原因只怕是已經心灰意冷，三番五次受到不公正待遇，屢次遭貶，還有什麼是比這更大的打擊？這下好了，人家不玩了，讓你們自己去玩！
大殿上安靜了一陣，但很快就如同菜市場一般，數百名官員嘰嘰喳喳開始議論起來。
這是宰相崔圓站出來大聲道：“陛下，趙子良太放肆了，陛下的旨意是讓他回長安主持吐蕃之事，他不但不奉詔，反而還辭去官職，甩臉色給陛下和朝廷，如此狂妄如何得了？請陛下下旨治趙子良大不敬之罪！”
宰相張鎬站出來說道：“崔大人，你這理由有些牽強了，如今趙子良辭去一切官職，無官職在身就沒有不奉詔的說法，那又何談大不敬之罪呢？除非現在陛下重新下詔給他任命官職，只不過他願不願接受就難說了，人家不願意當官，你總不能去強迫他當官吧？”
崔圓怒氣衝衝道：“照你這麼說，難道朝廷還拿他沒辦法了？任由他這麼猖狂、肆無忌憚嘍？”
宰相房琯站出來道：“崔大人，你這話說得有些重了吧？人家不願意的當官就是猖狂、肆無忌憚？你這是什麼邏輯？不要總是往別人頭頂上扣帽子！還有，如今安慶緒手裡還有七八十萬叛軍，這些人正對朝廷的統治虎視眈眈！你爲什麼就容不下一個能領兵打仗的人呢？如今他願意交出兵權，這對於你們這些人來說就應該謝天謝地了，讓他回家休息休息爲什麼就不行呢，爲什麼要趕盡殺絕呢？難道你非要逼反了趙子良才甘心？”
崔圓聽了這話頓時大叫：“你放屁，我什麼時候要逼反趙子良了？你簡直胡說八道！陛下啊，微臣都是爲了朝廷着想啊，絕沒有個人私心啊！”
玄宗對於趙子良辭職一事本就已經很是震驚了，現在這些大臣們吵成一團，更讓他心煩意亂，當場就一拍御案起身大怒道：“夠了，今日就到這裡，退朝！”
大殿頓時爲之一靜，大臣們目瞪口呆地看着玄宗皇帝怒氣衝衝拂袖而去的模樣，都猜到趙子良辭職離去的事情對玄宗打擊很大。
趙子良既然願意交出兵權，卻不願來長安，寧願辭職返鄉種田，這是爲什麼？只要不是傻子都猜得出來，趙子良在擔心自己遭到迫害，他已經對朝廷和皇帝產生了不信任感，如果是一般人，皇帝和朝廷對此肯定是無所謂，但是趙子良不是其他人，他的份量太重了，軍方最高將領都對皇帝和朝廷失去了信任，那麼下面的將校和軍隊呢？這意味着什麼？所有人想到這裡都感覺不寒而慄！
玄宗感覺極爲失落，他一路心亂如麻地走進御花園，在一座涼亭內坐下一動也不動，太監和宮女們只能給他不停地扇着扇子。
楊玉環很快從太監們的嘴裡得知皇帝的心情很不好，急忙趕了過來。
“三郎，你怎麼啦？出了何事？”
玄宗回過神來道：“趙子良上書請辭回鄉了！”
“哦······什麼？請辭回鄉？什麼意思？他不是在洛陽領兵平叛嗎？怎麼好端端的請辭回鄉？三郎，這到底怎麼回事？”
玄宗嘆道：“十幾天前，朝臣們認爲如今平叛大局已定，叛軍只是秋後的螞蚱，蹦躂不了多久了，恰巧如今吐蕃與我大唐在邊境通商貿易之事的談判陷入了僵局，韋見素、崔圓、崔渙和苗晉卿等宰相就建議把趙卿調回來主持吐蕃之事，讓王承業代替他指揮大軍繼續平叛，朕也考慮他手裡的兵權過大，當然朕是相信他的忠誠的，但難保他不被部下慫恿和脅迫，所以朕也是爲了保護他才同意了韋見素和崔圓等人的提議給趙子良下了詔諭，沒想到事情會變成這樣，哎······”
楊玉環有些生氣，說道：“三郎，你是皇帝啊，你不能全聽那些大臣們的，他們都是有各自的政治利益，誰知道他們心裡打的什麼算盤？你下這聖旨是一番好意，但是你想過趙子良心裡會怎麼想嗎？你前面殺了麼多忠臣良將，他擔心到了長安重蹈那些人的覆轍也是情理之中的！”
玄宗彷彿一下子遭到了很大的打擊，他現在才知道不被人信任的感覺竟然是如此的糟糕透頂。
“哎······難道朕真的這麼可怕嗎？”
思索良久，玄宗招來待詔翰林，下旨給趙子良，爲獎勵他的功勳，賜給他一千戶食邑、良田三千畝、黃金一千兩、綾羅綢緞兩百匹、東珠一斗、翡翠玉器一箱，同時下旨給江陵郡守，撥付錢款給趙子良建造江陵郡王府，以表示他並非是刻薄寡恩。
事情到了這個地步，再是後悔也沒有用，玄宗只能期望王承業上任之後能打幾場漂亮的仗，證明他的決定沒有錯，否則的話，局面只怕會難以收拾。不過王承業剛剛上任，想要對叛軍主動發起攻擊還不行。
七月底，趙子良一行人回到江陵老家桑樹村，卻沒想到村子旁邊正在大興土木，找村民一問，才知道這是江陵郡守府派人在這裡修建郡王府，原來朝廷派人送來的聖旨先一步送到了江陵郡守府。
原來的磚瓦房屋經過十多年的風吹雨打早就垮塌而不能住人了，趙子良只能讓親兵們把垮塌的房屋清理一遍，在旁邊暫時搭建一些帳篷作爲臨時住所。
鑑於孟夫人已經有了**個月的身孕，不能睡在地上，只能暫時住在馬車上，但也不能一直住馬車，於是趙子良讓親兵們購買木料、請來周邊幾個村子的木匠和泥瓦匠們立即在原來房屋地基上建造一些小木屋，在郡王府還沒有建成之前就住在這些小木屋之中。
由於有親兵們幫忙，加上有木匠和泥瓦匠，一個大大的四合院只用了十來天就建成了，這個四合院全部是用木料建成，屋頂蓋上木板、鋪上一層油布之後再蓋上紅瓦，用木板做成的雙層牆壁被刷上了桐油進行防雨防風，成本雖然大了一些，但這種木製建築美觀大方，也耐用，關鍵是建造速度快。
只曬了幾天，刷上的桐油很快就幹了，趙子良當即讓所有人都搬進去住，這個大四合院有一百多個房間，有三進院子，趙子良和孟夫人以及一些女婢住在第三進院子，親兵們和杜甫住在前面兩進院子，護衛長努爾負責安全。
這些天以來，江陵郡守姚知遠三番五次親自過來請趙子良進城赴宴，趙子良都以要建房爲推脫，拒絕了對方的宴請，他是回來種田養老的，不想跟這些地方官牽扯不清，最後被煩得沒辦法了，只好去了一次。
“來來來，郡王爺，下官敬你一杯！”
郡守姚知遠幹了一杯，對趙子良說道：“郡王爺，朝廷的事情下官也略有耳聞，這也不怪郡王爺一氣之下辭官不做了，換做是下官，下官只怕也早就撂挑子不幹了，憋屈啊！郡王爺是我們江陵人氏，曾幾何時郡王爺一人身負天下興亡之重任，這是何等氣魄？這次王爺能榮歸故里，我們江陵所有百姓們都很高興，有王爺在江陵地面上，一些屑小、盜匪、叛軍都不敢在這裡放肆了！”
姚知遠很會說話，最起碼趙子良聽着很舒服，當即和他碰了一杯，說道：“我趙某這次回鄉只怕要常住了，日後肯定還有許多時候需要父母官多多照應！”
姚知遠連忙道：“郡王爺言重了，這事好說，只要我姚知遠還在這裡做官，郡王爺有什麼事情只管說！”
說到這裡，姚知遠斥退左右，對趙子良低聲道：“郡王爺，別的我姚某不知道，但我知道王承業這個原來的羽林大將軍根本就沒有打過仗，聽說叛軍進長安的時候他還差點被俘，帶着他的人馬逃到了鳳翔才躲過了一劫，這樣人去當統兵主帥？說實話下官對他不太抱有希望，這人能守住郡王爺先前的成果就很不錯了，下官推斷，如果王承業對不了叛軍，弄得局面難以收拾，朝廷只怕還要啓用郡王爺的！”
趙子良笑了笑說道：“這日後的事情，誰又能說得準呢？對了，姚大人，朝廷如果有什麼消息，麻煩姚大人派人說一聲，或是有什麼邸報，也請派人送來一份，你看如何？”
“這事好說！”姚知遠想了想，說道：“這樣吧，不如郡王爺派一個親兵過來在郡守府兼職做一個捕快小頭目，如果有什麼消息，郡王爺也可以隨時得知，邸報什麼的，下官會派人抄錄好之後立即送給郡王爺！”
趙子良很高興地答應：“好，就這麼定了！”
這次返鄉，王燦也跟着一起來了，其實趙子良並不缺乏得知消息的渠道，不過官府渠道有其特殊之處，可以隨時調動沿途驛站的資源，即便是在酷暑和嚴寒的冬日，消息都可以很快送到。