在和東吳帝國不斷鬥智鬥勇的過程中，羊祜感覺到自己有些老了，雖然他的志向仍未退縮，雖然他理想仍未消逝，但頭上不斷增長的白髮，卻在明確的告訴羊祜，時間在消逝，在那個年代，自己已經是個五十多歲的老人了。
公元274年，羊祜的老對手、老知己陸抗含恨去世，這位從未謀面的至交去世，讓羊祜感到深深的悲痛，更讓羊祜感到了生命的脆弱和短暫。羊祜意識到，滅吳的時機到了，趁自己還行的時候，必須行動了。
276年，羊祜給司馬炎上書，請求討伐東吳，在奏章裡，羊祜分析：司馬昭掌權的時候，已經滅亡了蜀國，只剩下了吳國，從那時到現在，已經十三年了。如果不用一次大規模折行動把吳國徹底消滅，那麼戰爭就永遠沒有停息的時候。現在長江之水的險峻不如蜀國的高山峻嶺，孫皓的殘暴又遠遠超過了劉禪，東吳百姓的苦難早已大過蜀國，而西晉的兵力也比以往任何時候都強盛，不在此時統一全國，卻還要實行防守政策，這樣下去是不會長久的。如果現從四川、江陵、武漢、建業幾路發兵，吳國就會面臨處處危急的絕境，只要有一處被摧毀，就會引起上下震動，即使再聰明的人也無計可施、首尾不能相顧，所以討伐東吳一定能夠成功。
司馬炎接到奏章，十分贊成，準備採納羊祜的意見進攻東吳。可是當時除了東吳地區，西晉還面臨着已經持續六年的大西北的禿髮樹機能暴亂，所以，朝中有不少人不同意羊祜的意見，尤其是羊祜從不巴結的朝中紅人賈充、荀勖、馮紞，更是大力反對，只有杜預、張華等極少數大臣贊成羊祜的計劃。在這種情況下，司馬炎只好又把進攻東吳的計劃暫時擱淺。
滿懷希望的羊祜在襄陽左等右等，等來的卻是這個消息，不禁仰天長嘆：“天下不如意的事情十之七八。天賜的良機卻就這樣錯過，真是讓人仰天長嘆啊！”
羊祜的夢碎了，他只能眼睜睜的看着自己爲皇帝統一全國的夢想被無情的阻擋。而我們現代人以客觀的眼光去看那段歷史，羊祜的建議對嗎？如果對，爲什麼不能實行呢？
我說這個建議是對的，不僅對，而且對於吳國形勢的分析是一針見血。但它不能實行，因爲它是在錯誤的時間，由錯誤的人向錯誤的人提出的。
我們早已說過，士族政治的核心成分是士族，士族的最高利益是家族利益，所以厭戰和反戰的思潮佔據統治地位，當然很好理解，士族同胞們說了，只要我們家能天天吃香喝辣，管你什麼天下一統，管你什麼最佳時機，我的家族現在已經天天吃香喝辣，打了能怎樣？不打又怎樣？萬一打敗了呢？崇高的理想，已經離士族們越來越遙遠，他們寧肯抱着自己的金銀細軟餓死，也不會跟着皇帝去打一場勝負未知的仗。
但我總認爲，像賈充、荀勖、馮紞那樣的超級老油條，很難想象他們看不出東吳早已不堪一擊，但他們依然不會同意伐吳。羊祜是誰？他是從來不鳥我們的，皇上要是聽了他的意見，而伐吳竟然成功，他就是天下第一功臣，我們呢？所以，敵人同意的就是我們反對的，爲了我們的威信，爲了我們幾個家族的利益，絕對不能同意，絕對不能！
在悲憤和不解之中，羊祜病倒了。但是，此刻在他心中最重要的事情，仍然是消滅東吳。
我要在臨死的時候再試一次！我要在臨死的時候再見皇帝一面！
278年8月，重病的羊祜請求回到首都拜見司馬炎，司馬炎准奏。到了都城，司馬炎讓人們用車子把羊祜擡進宮殿，羊祜向司馬炎當面陳述伐吳的計劃，司馬炎非常讚賞，表示願意認真考慮滅吳的建議。
在洛陽沒待了幾天，羊祜就接到噩耗：自己的姐姐羊徽瑜、被司馬炎尊爲景獻皇后的司馬師的妻子，去世了。姐姐的去世，使得視親情爲生命的羊祜無限悲痛，病情更加惡化，很快就已經不能離牀，司馬炎看到這種情況，就派一個叫張華的大臣，去羊祜那裡詢問伐吳的計劃。