按唐朝舊有制度，宰相外出不以儀仗開道，不顯耀威儀。一般士民遇宰相行路也無須迴避，李林甫則與衆相不同。他自覺結怨甚多，擔心刺客害己。他出入朝廷和自己府第，須有大隊人馬，前呼後擁，嚴加保護。他所乘車馬的百步之外，均派士卒清道，驅趕往來路人。他的住所，更是重關複壁，警衛森嚴。他每晚要換幾個睡覺地方，連他的妻妾兒女也不知他在何地歇宿。他有二十五個兒子，二十五個女兒，成材的甚少。兒子李岫（音xiù），是一個頭腦較爲清醒的人物，對他的所作所爲耽心害怕，又莫可奈何。
一次李岫哭泣着對他說：”大人身居高位，經事日久，樹敵太多，一旦禍至，那時想當一個平民百姓都不可能哪！不如趁早急流勇退！“李林甫權勢正盛，如烈日炎炎，怎麼聽得進他兒子的忠告。他非常不高興地回答說：”已騎在虎背上，沒法下來啊！“這是實話，他只能在虎背上騎下去。
楊國忠初列朝班之時，李林甫並不在意。認爲楊國忠的機智與狡詐遠遠不是他的對手。及至貴妃楊玉環專寵內宮，滿門富貴之後，李林甫想加以抑制，爲時已晚，徒喚奈何。剛好其時西南少數民族發動叛亂，李林甫以楊國忠兼任劍南節度使爲由，把他逐出朝班，遠鎮西南邊鄙，雖能擁兵自大，總比放他在朝廷礙手礙腳的要好得多。
這時正寵貴妃的玄宗卻是另一種想法，爲了討好楊玉環的歡心，讓楊氏一家雞犬升天，正欲授楊國忠宰相之職，怎麼能讓其永駐邊睡呢？所以在楊國忠辭行之日，玄宗特地囑咐，把邊事安置好以後回京，另有任用。玄宗寫給楊國忠的一首送行詩中，就清楚地表明瞭要任他爲相之意。李林甫內心雖然十分不悅，但也無可奈何。加之這時李林甫已患重病，力不從心，無法和楊國忠一較勝負，只有唉聲嘆息而已。
天寶十一年（公元755年）十月，玄宗幸驪山溫泉宮，李林甫抱病隨行，旅途顛巔之辛勞，使疾病加劇，危在旦夕。服藥無效，只得求神問卜。巫者指示回生之法雲：”若能見玄宗一面，病可立愈。“家人通過內侍稟奏玄宗，玄宗欲往病榻探視，被左右所阻。於是用一折中之法挽救李林甫之命，玄宗登華清宮的降聖閣，將李林甫病榻置於閣下，遙相觀望，玄宗以紅巾在空中搖晃，像是爲李林甫招魂聚魄，結果還是不能起死回生，仍然一命嗚呼了。
李林甫之死，使滿朝文武松了一口氣。仇者罵他”死有餘辜“，同黨惋惜靠山已倒，玄宗嘆息失去善體聖意的寵臣。對於楊國忠來說，真是喜出望外，既去了一個政治對手，又可接任宰相大權，還可報復舊日外貶之仇。
楊國忠趁李林甫未葬之際，暗裡唆使安祿山出面揭露他的舊惡。安祿山心狠手毒，迫降將阿布思入朝面聖，詭稱李林甫收他爲義子，要他在邊睡發動軍士叛亂，李林甫在長安奪權，內應外合，謀奪李唐天下。這一指控，如石破天驚，震駭中外臣民。他的女婿楊齊宣怕株連滅族，立即出首揭發李林甫罪惡以自保，妄稱李林甫曾以巫祝的”厭勝“之術詛咒皇上，圖謀不軌。
玄宗年邁昏庸，不辨真僞，立即下詔，剝奪所授一切官銜，用庶民之禮葬之。抄沒全家財產，子婚人等均流放到嶺南以外。李林甫的下場，雖然不能理解爲”惡有惡報“，但確實是惡貫滿盈，罪有應得。
李林甫死後，他的葬禮甚至於連普通老百姓的葬禮還不如，一代奸相已成落日黃花，一具薄薄的棺材安葬了大唐爲相十九年的李林甫。
天寶十一年（公元75姚瑤年）十一月，在李林甫的新墳前，兩個女人身穿黑色衣服，默默的站在墳前，淚水滿面，其中一女居然是絕情仙子吳雨夢，而另一個是李魏的妻子姚瑤，已爲人母的姚瑤看起來比以往更加的成熟，更加的豐滿了。”師父，你帶瑤兒前來拜祭李林甫做什麼？“姚瑤很是不懂，在李林甫死後，吳雨夢居然跑來太湖湖亭小築，將她獨自帶來了李林甫的墳前，看吳雨夢的樣子，姚瑤知道，自己的師父似乎跟李林甫有着什麼關係一樣。”瑤兒，跪下，給你父親磕個頭，雖然他一生作惡多端，可是，不管怎麼說，他始終都是你的父親。“吳雨夢神色複雜的看着自己的徒弟。”師父，瑤兒的父母不是早就死了嗎？“姚瑤疑惑的問道。”傻孩子，有些事現在我也應該跟你說說了。“吳雨夢輕輕地嘆了口氣，俏臉上說不出是悲哀，還是解脫？”去吧！先給他磕幾個頭，送他最後一程吧。“
姚瑤跪在地上，恭敬的在李林甫的墳前磕了幾個頭，雖然有很多事情她現在都不是很明白，但是，對於吳雨夢的話，她還是照做了。”好了，起來吧！盡個心意就行了，其實，李林甫根本就不配做你的父親，而我也不配做你的母親。“吳雨夢看着眼前着沒有石碑的墳，心裡涌起一陣莫名的心酸來，曾經，她是多麼的恨李林甫，恨不得親手將李林甫給殺了，可是，現在看見李林甫死後的遭遇，她突然之間覺得自己的心很疼，似乎一切活下去的動力突然之間都沒有一樣，以往李林甫活着的時候，她總是想方設法的潛入李林甫的家裡刺殺李林甫，一次次的失敗，也一次次激起她的信心來，可現在轉眼之間，物是人非了，她一生中最大的仇人死了，最愛的男人死了，她的心也隨着死了，這個毀了她一生的男人現在她居然一點也恨不起來了，到現在她才知道，原來她一直深愛着這個負心的男人。”師父，你說什麼？你是我的母母親？“姚瑤手指指着吳雨夢，滿臉的驚訝。”是啊！二十多年的時間過去了，有些事情也應該讓你知道了，呵呵瑤兒，你沒想到我的仇人居然是李林甫吧！“吳雨夢搖了搖頭，苦笑着道：”二十多年前，就是你父親偷走了我的心，雖然跟他在一起的時間很短，但是，那段時間裡卻是我一生之中最快樂的日子，因爲他，我背叛了玄女門，可是，到最後他居然拋棄了我，我恨，恨不得親手殺了他，我當年離開他的時候懷上了你，而這事，我一直都瞞着他，同時，也瞞着你，既然他現在已經死了，所有的愛恨情仇也隨着他的死消散了，而你，我總得讓你認祖歸宗吧！“”師父，這不是真的，你告訴瑤兒，這一切都是你在騙我，我不相信。“姚瑤淚流滿面，今天跟着姚瑤來到這裡以後所發生的一切事，讓她覺得似乎是做了一場夢。”瑤兒，是母親對不起你，從小到大都沒能讓你享受到一天的父母之愛，好了，我們也該走了，以後想我的時候就到峨嵋山落奄寺來看看我吧！從此以後青燈常伴，母親會用下半輩子的時間爲你父親所犯下的罪行來贖罪，瑤兒，你好好跟着李魏過日子吧！現在你也有了孩子，好好的照顧你的孩子，別象母親這樣，知道嗎？“吳雨夢愛憐的摸了摸姚瑤的頭，眼裡滿是慈愛。”娘！“姚瑤輕聲的叫了聲，這稱呼即陌生，又熟悉。”傻孩子，爲孃的能聽到你親口叫一聲‘娘’就已經很滿足了，答應娘，好好的照顧好你的那些兄弟姐妹，不管怎麼說，他們都是你同父異母的親人，你父親死了，他的家人，你有義務好好的照顧好他們，早年我就勸過他了，讓他急流勇退，他不相信我的話，現在自己落到這副光景，也連累了自己的家人，難道功名就真的那麼重要嗎？他這樣做又是何苦呢？“”娘，瑤兒不讓你走，難道你剛剛讓瑤兒有了父母，現在又全部都失去嗎？娘，你不能這麼自私。“姚瑤的雙手緊緊的拉着吳雨夢的衣服，風呼呼的吹着，這荒涼的地方埋葬了一個權勢滔天的奸相，同時，也埋葬了一段刻骨銘心的愛情。”傻孩子，孃的心已經死了，這些年來，一直想親手殺了你父親，可是，他現在死了，卻突然發覺自己活着真沒有什麼意義了，或許，娘一直還愛着你的父親吧！你有你的生活，娘也有孃的生活，去吧！回太湖去，忘記今天所有的一切。“”娘！你說瑤兒現在能夠忘記得了嗎？你要我忘記，爲什麼偏偏又要讓我知道啊？“姚瑤輕輕的抽泣着，事情發生得太過突然，一時之間讓她無法接受。
吳雨夢掙脫了姚瑤的手，道：”娘走了，你自己保重。“說罷，身體如脫弦之箭一般向着遠處射去。”娘！你不能拋下瑤兒，你不能這麼狠心“”瑤兒，別哭了，娘現在很難過，讓她找個地方好好想想，等過一段時間我再帶你將娘接回湖亭小築。“李魏突然出現在姚瑤的身邊，雙手緊緊的摟住姚瑤的身體，用手巾將姚瑤俏臉上的眼淚擦去，滿臉疼愛的看着姚瑤。”李大哥！“姚瑤將頭埋進李魏的胸膛痛哭了起來。
許久過後，李魏道：”瑤兒，來！我們一起好好送爹爹一程，不管怎麼說，他也是你的父親，你的身體裡流着他的血脈。“李魏輕輕的拍了拍姚瑤的香肩。
李魏和姚瑤並跪在地上，對着李林甫的墳墓磕完頭後，拉着姚瑤站了起來，道：”現在我帶你去將你的那些親人接走，免得他們被楊國忠給害了，這是你孃的心願，我們一定得完成，免得她的心裡留下遺憾。“”謝謝李大哥！“姚瑤破鼻爲笑，滿臉甜蜜的看着李魏，看着這個她深愛着的男人，笑雨梨花般的俏臉，誘人極了。”傻瑤兒，你可是我的妻子，你的親人就是我的親人了，你說，我們將他們送到什麼地方去？大唐馬上就要亂了，安祿山造反的時間快到了，到時候苦的仍然是全天下的無辜老百姓啊？可惜我卻沒辦法幫忙，原來達到自然之界其實也並沒有那麼好，很多事情做起來就束手縛腳了，還是以前好啊！想做什麼就做什麼。“”李大哥，可以將他們全部接到太湖去住下嗎？“姚瑤滿臉期盼的看着李魏。”當然可以了，老婆的吩咐我當然得遵守了，不然，到時候你不讓我讓牀，我可怎麼辦啊？你還得給我生一大堆兒子才行。“”臭！“姚瑤的聲音遠遠的響起，李魏抱着姚瑤消失在了原地。
同一天，李林甫的家人在送往流放之地的路上全部離奇的失了蹤，楊國忠知道後，只是微微的笑了笑，以爲李林甫的家人被他派去的人在暗中給解決了，同時，那些得到楊國忠命令的人，也謊稱任務完成，是以，李林甫家人失蹤一事就這樣不了了之，似乎沒有人去關心一樣。