玄宗的決定讓李林甫心裡涼了半截，他身兼中書令和書左僕射，這兩個官職只要還當任其中任何一個，他都還是宰相，但現在他兩個官職都被免除了，就算他還有着晉國公的爵位，但已經不能過問政事，好在玄宗沒有直接讓他回鄉養老，只是讓他暫留京師候命，這就讓他看到了起復的希望。
在李府大堂裡，李林甫砸爛了十幾個茶盅，氣哼哼地坐在椅子上，一個官員快步走進來遞上一張名單道：“大人，下官拿到了所有上書彈劾大人的官員名單，大人過目！”
“哼，老夫倒要看看，究竟有哪些牛鬼蛇神想要跟老夫過不去！”李林甫說着接過名單看起來，看了一半就大罵：“好你個王忠嗣、還要皇甫惟明、趙子良，你們這三個匹夫這麼爲難老夫，想要把老夫往死裡整，等老夫官復原職，一定不與你們干休！”
站在旁邊的官員小心問道：“大人，現在咱們該怎麼辦？接下來太子一系只怕要對我們下手了啊！”
李林甫擺手道：“這個你放心，你剛纔沒看見陛下是被他們給逼得嗎？此時陛下心裡正不高興呢，太子沒那麼傻這個時候還去給陛下添堵，而且老夫雖然沒有了官職，但還是晉國公，還在京師沒走，他就是想對你們動手也得等到老夫離京之後再動手！陛下沒讓老夫直接回鄉，說明事情還有圜轉的餘地，你去通知其他人，今夜來老夫府上議事！”
該官員遲疑道：“這大人，您已經沒有了官職，那些人是否還會”。
話雖然沒有說全，但意思卻很清楚，無非就是說你李林甫現在無官無職了，從前依附您的那些官員是不是還聽你的話，你這棵大樹馬上就要倒了，那些猢猻會不會作鳥獸散？
李林甫瞟了他一眼，擺手道：“哼，老夫還沒倒呢，他們敢不來？就算老夫倒了，他們以爲他們不來就會沒事？事到如今，他們身上已經打上了老夫的烙印，生是老夫的人，死是老夫的鬼，想做牆頭草都不行！你去吧！”
“諾！”
李林甫猜得不錯，玄宗根本就沒有打算讓他回鄉養老的意思，免了他的職務也只是做做樣子，做給朝臣們和各地方大員們看的，不過儘管如此，朝中事務卻是不能停下來。
過了幾天，玄宗在紫宸殿召集心腹大臣們商議政事，而這次唯獨李林甫不在，這讓玄宗心裡有些空落落的。
玄宗看了看幾人，問道：“河西、西海之事，諸位卿家以爲當如何？”
王琚行禮道：“陛下，老臣以爲陛下既然已經命王忠嗣和皇甫惟明處理，就不應該再過多幹涉，王將軍和皇甫將軍久在邊關，對邊疆事務熟悉，應該有處置的辦法！反倒是王忠嗣將軍按照陛下的旨意把主要精力都從北方轉移到了河西，那北方的回紇、拔悉蜜和葛邏祿三族就無人能制了，時間長了只怕又多生事端啊！”
王琚是老臣了，在玄宗還沒有當太子的時候就是他的堅定支持者，因此王琚在玄宗心中的份量不輕，他說的話對玄宗很有影響力。
玄宗一想，也覺得有道理，王忠嗣在北方對草原上的各部族制定的戰略執行了一半，現在突然把他從北方調到河西，丟下一個大攤子卻是不能不管，怎麼辦呢？
玄宗想了想，問道：“卿家以爲如何處置？”
王琚心裡琢磨了片刻，便對玄宗道：“其實在北方有一個現成的人選，趙子良將軍！前幾天他不是派了八百里加急送來捷報了嗎？如今他率軍打到了獨樂河畔，奚人和契丹人已經不足爲慮了，老臣以爲，不如讓趙將軍全權負責處理回紇、拔悉蜜和葛邏祿三族事務！”
玄宗有些擔心，他道：“趙子良雖然戰功赫赫，武力無雙，難逢敵手，可朕還是擔心他太年輕，畢竟突厥、回紇、拔悉蜜和葛邏祿這幾個大部族可不是奚人和契丹人，這些大部族其中以突厥、回紇和拔悉蜜勢力最大，每一個人口都有十幾萬以上，人口多就意味着控弦之士多，勢力強大，弄不好不但威懾不了他們，還可能把事情搞砸啊！”
王琚還想再勸勸，不過他轉念一想，一味地進言只怕會適得其反，還不如以退爲進，於是說道：“陛下之慮確實很有道理，現在趙將軍屯兵獨樂河畔，既然仗已經打完了，不如下詔讓趙子良率軍撤回河東，畢竟他屯兵在外沒有名目和由頭啊，而且如果突厥、回紇、拔悉蜜和葛邏祿如果真有什麼事情，他是出兵還是不出兵？出兵的話，他沒有名義，不出兵的話，恐延誤戰機，現如今在我朝北方也只有趙將軍對北方部族還有些威懾力！”
聽說讓趙子良帶兵返回河東，玄宗馬上不幹了，他是好大喜功之人，這幾年尤其在邊事上極爲上心，開疆拓土是他最喜歡的，只有這樣他才覺得自己的功績不輸於祖先，當即搖頭道：“那不行，好不容打到了獨樂河，向異域宣揚我大唐天威，怎麼能說撤就撤呢？嗯你剛纔說得也不是沒有道理，那就傳朕旨意，任命趙子良爲單于都護府都護，其他職務照舊，主理漠北各族事務！”
王琚一聽，提醒道：“陛下，現在是太子兼任着單于都督府都督！”
玄宗一愣，他拍了拍額頭，竟然把這事給忘了，不過太子兼任單于都護府都督只是遙領，並不實際行駛都督權利，他又問道：“那現在是誰在單于都護府任副都護？”
高力士說道：“是裴胄先！”
“原來是他！”玄宗點了點頭，思索片刻，便說道：“朕看太子這單于都護府都督做着也是一個閒職，與其佔着位置不做事，還不如讓出來，既然如此，就去掉太子單于都護府都督之職，由趙子良兼任，全權負責漠北各部族事宜！”
高力士無奈答應：“遵旨！”
唐朝先後出現了六大都護府，分別是安西都護府、北庭都護府、安北都護府、單于都護府、安東都護府和安南都護府，不過這六個都護府並非同時都存在，單于都護府在開元初年被併入了安北都護府，直到公元720年，才又重新設立。
從某種意義上來說，單于都護府的職責有不少於安北都護府重疊，不過如今單于都護府只是一個空架子，就連安北都護府也是一樣，這兩個都護府並沒有配備專門的軍隊對漠北各遊牧部族進行震懾，大唐對漠北諸部的武力震懾，一般都是由朔方軍和河東軍負責，安北都護府和單于都護府的職責和作用只是協調漠北諸部的關係，對漠北諸部進行管理，實際上這兩個都護府權利小得可憐，因爲手中沒兵，這兩個都護府對漠北諸部基本上沒什麼辦法，只能靠一張嘴皮子四處說和，不過現在的安北都護由朔方節度使王忠嗣兼任，他的話在漠北是算數的，沒人敢不聽，如今王忠嗣的主要精力放在了河西準備對付吐蕃，漠北之事就落在了趙子良這個新任的單于都護身上。
按道理來講，出任單于都督府都督要從二品才行，而趙子良的從四品已經好幾年了一直沒有升起來，不過有時候是可以事急從權的，玄宗也沒有去管趙子良的級別是否夠了，就直接任命他爲單于都護府都護。
十幾天過去了，眼看着馬上就要過年，這些天玄宗一直跟楊玉環膩在一起，好不快活，除了高力士之外，身邊再也沒有其他人，不過他總感覺少了點什麼，仔細一想，原來是好些天都沒有看見李林甫，沒有李林甫在他面前逢迎拍馬，讓他頗感無趣，他想起李林甫還在長安，當即下旨讓李林甫進宮見駕。
李林甫接到旨意後心中大喜，知道自己的苦日子馬上要到頭了，前往大明宮的路上，他腦子裡想着各種逢迎的手段。
從大明宮出來後，李林甫春風滿面，好不得意，因爲他已經官復原職了。
臘月二十三，羣臣入宮朝拜皇帝，大家一起對今年的朝政大事做一個總結，也就相當於後世政府年底工作報告一樣，三生六部九卿紛紛向皇帝報告本部門今年的政績、財政支出，各官員洋洋灑灑唸了一大堆報告。
玄宗聽得有些不耐煩了，還沒等下面的官員彙報完畢，就揮揮手：“算了，朕不聽了，還沒有報告完畢的把奏章呈上來，朕抽空再看！衆卿家還有其他事嗎？沒事就散朝吧，一直到上元節都不必再來點卯了，有何事等過了上元節再說！”
高力士正要喊退朝，一個戶部侍郎高紘出班道：“陛下，臣高紘有事啓奏！”
玄宗一愣，但還是擡手道：“准奏！”
“陛下，西海郡的石堡城乃戰略要衝之地，不能長期被吐蕃人佔據，否則我河西和隴右始終受其威脅，臣建議命皇甫惟明着手準備奪回石堡城！”
皇甫惟明前兩個月與吐蕃人打了一仗，率領隴右唐軍進至石堡城後，立即展開攻城。吐蕃守城將士一面憑險據守，一面傳書求援。吐蕃即派大論莽布支率軍兼程往援，並取得吐谷渾小王的配合，與守城將士裡應外合，攻打唐軍。皇甫惟明由於急功近利，只顧攻城，忽略打援，結果使唐軍曹到重創，副將褚詡戰死，只好退兵。不過他這次戰役雖然在石堡城下損失慘重但也收復了一些失地，俘虜不少吐蕃兵將，前兩天他剛剛押送俘虜回京獻俘，被玄宗加封爲鴻臚卿，此時正好在朝堂上。
其他朝臣看見高紘站出來，都知道李林甫這老東西準備向皇甫惟明發難了，之前各地彈劾他的官員將領中，皇甫惟明的官職最高、功勞最大，也叫囂得最厲害，李林甫先拿他開刀也在預料之中。
聽了高紘的話後，皇甫惟明當即站出來向玄宗行禮道：“啓奏陛下，非是臣膽怯，也非臣不願替陛下分憂，如今吐蕃在石堡城部署大量兵力，準備充足，又加上石堡城異常險峻，在吐蕃有了防備之下，我軍想要拿下石堡城只能進行強攻，而強攻必然傷亡慘重，就算把整個隴右軍填進去也不一定能攻下石堡城，微臣建議等待時機再動手不遲！”