將楊慎矜投靠之言說於李林甫，李林甫未作回答，只是笑與李揚說了別事道：“近來韋堅此子借太子之勢，勾結朋黨以亂朝政，其心可誅！賢婿，對於韋堅此等小人，你因多加小心些。”
“謝岳父大人提醒，小婿知道了。不管他是誰人，只要禍及大唐，小婿定然以此身相拼，就算因此獲罪被貶也是心甘！”李揚正色拱手以道。
李林甫臉上不自然之色一閃而過，大笑道：“好，子仁有此決心實是大唐之幸。”又喚其子道，“你今日也莫要出去了，與子仁一同陪爲父用飯。”
等李揚離去，小啜香茶的李林甫陰沉着臉道：“這些日子，風門之中整備如何？”
“回父親，除去風一行蹤不定，風九、風六早死外，其它之人皆是已投效。”李岫小聲回道，同時見其臉色遞過一盤梅子，“那風一之貌，世人之中除去已死的九齡外已是無人見過。但依查證，此人不熱衷於權勢，先帝在世之時曾以上府大都督之職相待，但這位風一以江湖之人不喜爲官爲由拒之。後陛下登基詔招此人入京奉職，也如先前一樣未見人影，陛下年輕氣盛一怒之下也由着他去了。而張九齡因在先帝這時事從張悅，張悅見其有才便臨行之時將風一招回以示，告之，日後風門便歸張九齡提帶，而風一卻是至此不見了蹤影。有人說是隱退，也有人說是已死，更有人說是東度日本，因爲在東海檐羅之島上見過其一面。”
“如此大能之士是不會死的，多加盯緊了風門。畢意此先是聽從張九齡的，再加上他與我相鬥多年，彼此手中都是沾了血跡，不管他放權交待的再明瞭，但這恨是結下，不能掉以輕心。那邊的人先不要動，等穩定下來該殺的殺，該拿的拿，該清則清，不可手軟了。”李林甫淡淡說着，好像說的輕巧之事。
李岫應是：“謹聽父親之命。”
“你閒暇時來派人去探一探楊慎矜的口風，如是真心投靠，便讓王珙去登門相說去，自家的人就不必去了，省得顯了我等矮了身子。”放了茶杯，望門又道，“門裡門外之人要分的清一些，再有子仁那邊也想法子派個人去。”
李岫聽了急道：“父親，這，這隻怕不妥吧。畢竟子仁是？”
“糊塗！你如是抱有此心，對誰人都善只怕我身死後，李家這若大的勢力將被人衆推而倒！”李林甫怒起，拍了案面而責道，“騰空雖是你妹，但子仁卻與你我必不是一李之人。人心無盡始藏於腹，誰人能知他心想了些什麼？兒啊，你還是不懂，不懂呀！”痛心疾首，恨極了兒子不成才之像。
李岫驚起跪倒言道：“兒知錯，兒知錯了。望父親莫要生氣。”
“起來吧。”李林甫唉了一聲，“我知你心懷仁善，但你可知道如今這李宅上下可是不比以前了。昔日，爲父官小職卑，就是做錯事說錯話也無非不過受人喝斥罷了，可如今位在中書門下坐堂，這大唐之內有多少人眼熱於此。若是出了差錯，那便是大禍臨頭了！說九齡慘然，說不得到時我等能比的上他就算不錯了。子仁雖爲你之妹婿，但也不能不防，記着，此宅中除了爲父之外，你不得將心剖於他人知。明白麼？”
“是父親，兒受教了。”李岫施禮低首而道。
李林甫又嘆一聲，知道兒子的性子，只怕是現在聽了進去，過後便又是忘記了，尤其是親情之上更是不堪，便是心中索然，無力的揮了揮手道：“你且下去安排吧，爲父靜思一些事情。”見子恭敬退下，眼中厲光一閃，自語道，“如你挺不起這份家業，那你就做個富家翁吧！”說罷，就覺得心累之極，閉了眼睛靜靜的沉於心海之中，將精神溫養了起來。
五月間，李揚朝上奏今歲秀才、明經、進士三科之榜名，監察侍御史從之。陛下閱之，詔與吏部銓後再擇才而授其官，又下敕書道：“今歲大賀，六月加試一科。”
諸臣謝恩。
六月，禮部侍郎於南院再行舉科，秘書監賀知章再次上疏請辭，以回鄉致仕入道。陛下不準，詔道：“卿爲國之大家，豈能值此當頭拂手而去。”
賀知章感恩過幾日而再辭，其子代其上殿痛聲哭奏：“陛下，家父雖是有心，但力有不足。前日咳至半夜，嘔血數次，望陛下恩准回鄉埋骨。”
“罷了。朕准奏。”李隆基心中亦是難過，這老臣一個接一個的而去，如今滿朝當中又有幾人是能陪伴自己的人呢？想罷，思緒飄渺便是恍忽，被高力士輕喚陛下方是醒過，下旨道：“傳旨，於故里會稽建宅爲千秋觀而爲知章居。劃闢周宮湖數頃爲千秋觀放生池，賜鏡湖剡川一曲（可譯爲部分，局部，意爲下詔賜賀知章鏡糊剡川那部分）以養天年。”又傾身下問道，“曾子現居何職？”
“回陛下，臣現爲東宮典設局從六品下典設郎一職。”
李隆基笑了自語道：“小了。”又高聲傳旨道，“傳旨中書門下，擢升東宮內設郎賀曾子加朝散大夫，可爲會稽郡司馬，賜緋衣配銀魚，以伸侍養知章膝下。其未婚娶之幼子入門爲道士，賜知章以羸老乘輿車既行回鄉。”後不語，看着曾子謝恩，思及賀知章之好處，便嘆聲提筆寫道：“天寶三年，太子賓客賀知章，鑑止足之分，抗歸老之疏，解組辭榮，志期入道。朕以其年在遲暮，用循掛冠之事，俾遂赤松之遊。六月旬間，將歸會稽，遂餞東路，乃命六卿庶尹大夫供帳青門，寵行邁也。豈惟崇德尚齒，抑亦勵俗勸人，無令二疏獨光漢冊。乃賦詩贈行。”隨下詩云：“遺榮期入道，辭老竟抽簪。豈不惜賢達，其如高尚心。寰中得秘要，方外散幽襟。獨有青門餞，羣英悵別深。”又云：“筵開百壺餞，詔許二疏歸。仙記題金籙，朝章拔羽衣。悄然承睿藻，行路滿光輝。”寫罷，心傷之下道，“明日之晨，太子代朕送別吧。”說罷顫抖起身竟是入東序門而去。
二日次明，太子率百官以送，李揚等弟子哭跪而拜，賀知章含笑於車上拱手謝過，大笑而朝南行去。
未想及至會稽郡，病情日漸加重，許與鄉黨說笑幾日，回宅便是不起，再過幾日便是撒手駕鶴西遊了。坐下弟子時爲太子後爲肅宗陛下念侍讀之恩，於乾元元年十一月詔道：“故超州千秋觀道士賀知章，神清志逸，學富才雄；挺會稽之美箭，蘊昆岡之良玉。故飛名仙省，待詔龍樓；願追二老之奇蹤，克遂四明之狂客。允協初志，脫落朝衣；駕青牛而不還，狎白鷗而長往。舟壑靡息，人琴兩亡；惟舊之懷，有深追悼。宜加縟禮，式展哀榮，可贈禮部尚書者也。”這便是後話了。（以上摘改自360百科——賀知章）
李揚方自家中養身怡心，與衆妻妾歡笑。聽聞座師已去，手腳冰冷掌中把玩之玉如意抓握不及破碎於地，怔然而淚下，大聲痛哭而哀道：“師長已去，獨留弟子，弟子其心，慼慼爲痛！師，提攜我於南院之中，教訓至今。如今逝去，怎讓小輩安生！弟子不孝，弟子不孝！”遂於內裡設靈堂建靈牌以念。
朝會之上，李隆其初聞惡號，怔然半響未是發聲，良久方自念道：“少小離鄉老大回，鄉音難改鬢毛衰。兒童相見不相識，笑問客從何處來。離別家鄉歲月多，近來人事半銷磨。唯有門前鏡湖水，春風不改舊時波。（唐、賀知章，回鄉偶書二首）維摩你是悟了，可朕呢？難，難了！”忽然之間覺得好生的傷感與難過，不免心灰意冷不想理會其朝政。於偏殿中嘗與高力士敘道：“朕不出長安近十年，天下無事，朕年事已高且居無爲，不如將政事全數委於林甫，將軍以爲何如？”
高力士早先行於貞順皇后處，見識了李林甫之諂，近年來滿朝之中皆出其門下，不由的心中擔心起來，脫口而出回道：“陛下，天子巡狩四方，這是自古之制也。並且陛下持以治國之大權，萬萬不可假於他人之手；如是假手那其人威勢既成，這天下又有誰人敢再說復！”
李隆基頓時沉了臉，心想，我不過是想過幾日快活安逸的日子，讓其暫爲替我分憂，你卻這般做答，這豈能是我的心腹。便冷哼一聲不語。
高力士見其如此，便知是惱了自己，便跪下叩頭而道：“臣狂疾，發妄言，罪當死！”
“哈哈，無妨，將軍不過是發心腹之言，不必當真。來，朕爲將軍壓驚。”李隆基冷笑着爲高力士置酒，這時左右侍從皆呼萬歲，以表陛下仁愛。
高力士自是懊悔不已，跪伏於地上，心中暗言，陛下變了，唉！還是少言的爲好。（摘改自資治通鑑卷二百一十五）