當時的徐州，面臨着對東吳帝國的最前線，常年的戰爭搞得民不聊生，也逼得很多人當起了土匪強盜，王祥到任以後，主要的任務就是帶着官軍去討伐強盜，在經過無數次戰鬥以後，徐州境內基本清淨，老百姓也終於能夠安居樂業了。當時的老百姓還編了一首歌來歌頌王祥：“徐州的安樂，全靠王祥；百姓不窮，是王別駕的功勞。”
一個有些能力的著名孝子，在當時是備受歡迎的，不久，徐州推薦王祥做了秀才（傑出官員），王祥被提拔到司馬家族的發源地溫縣（河南溫縣）做了縣令，經過多次升遷，升任大司農（農林部長）。值得注意的是看，我們並不知道王祥在曹爽時代的詳細事蹟，事實上，在《晉書》裡，只要是像鄭衝、王祥、陳騫這類橫跨曹魏、西晉的大臣，都被刻意的抹去了在司馬懿政變前後的那段歷史，因爲在西晉的史書上是絕對不會記載這些所謂的高官、楷模是如何拋棄曹魏皇室，又迅速的轉投到司馬家族旗下的，以至於後人再也不知道這些人在司馬懿政變之中是怎麼改頭換面的。
我們唯一知道的就是，當曹芳被司馬師廢掉以後，王祥積極的給司馬師出謀劃策，最後幫助司馬師確立了曹髦繼承皇位，司馬師爲了感謝王祥的孝心，封他爲關內侯爵，讓他做了光祿勳（名義上的皇宮禁衛軍司令），不久又讓他擔任司隸校尉（首都軍區司令），負責整個首都內外的安全。
司馬師討伐毌丘儉的時候，王祥也跟着出兵。毌丘儉死後，王祥被任命爲太常（祭祀部長），晉封爲三級侯爵萬歲亭侯，增加四百戶人家的稅收。後來，剛剛即位的曹髦去太學（中央大學）視察，任命王祥爲三老（國家級傑出老者），王祥按照皇帝老師的待遇，拿着柺杖靠着桌子站在北邊，而曹髦則以學生的姿態站在南邊請求指教，王祥按照例行的禮儀，向曹髦講述了古代明君如何執政的要點，從此以後，王祥雖然不是皇帝的老師，但在人們心中，他已經是極少數能夠教皇帝知識的長者了。
曹髦被殺的時候，大臣們都被司馬昭招去商量該怎麼辦，當時人們都害怕司馬昭報復，所以只有司馬孚、陳泰這些人司馬家族的老牌兒成員敢哭一哭，而王祥作爲本朝第一道德楷模，也一把鼻涕一把淚的痛哭了一把，口口聲聲還喊着“老臣沒臉見人”。但是，由於王祥是道德楷模，他又在實際上跟着司馬家族，因此司馬昭雖然心裡覺得不是滋味兒，但是也不方便對王祥有什麼處罰。
公元260年12月6日，也就是新一任傀儡皇帝曹奐即位不久，王祥升任司空，終於進入了一品大臣的行列。公元264年3月17日，王祥又轉任太尉，兼任侍中（皇帝高級顧問）。兩天之後，在把親信們都升官以後，司馬昭晉升爲晉王。
新老大新氣象，作爲親信，自然要去拜見一下。當時，和王祥同一天被任命爲一品大臣的司徒何曾、司空荀顗，按照禮儀，要一起去拜見司馬昭。何曾作爲司徒，是名義上的大臣首領，所以先進去拜見，由於何曾是司馬家族的老牌兒鐵桿兒，一見司馬昭就像見皇帝一樣跪下磕頭作揖。荀顗見這種情況，就對王祥說：“司馬大人又是相國、又是晉王，是一人之下、萬人之上，何曾和所有大臣們都是大禮參拜，咱們哥倆也應該隨大流。”王祥卻說：“相國雖然尊貴，但他仍然是國家的首輔大臣。我們是國家的三公，最尊貴的三個一品大臣，跟他只差一個等級，而且官品還都是一品，哪有三公隨便給人家磕頭的？傳出去既損害曹魏帝國的威望，又傷害晉王的名聲，正人君子要按照禮儀待人，我是不會下拜的。”
荀顗被王祥貌似正義的話嗆得不知該說什麼好，只好隨他自己來。等見了司馬昭以後，荀顗像絕大多數人一樣乖乖下跪，而王祥只是深深的鞠了一躬、拱了拱手。司馬昭知道王祥這麼做，是爲了告誡自己篡位的野心不要那麼表現的那麼露骨，就感激的對他說：“今天才知道你被賞識的原因了！”
司馬炎稱帝以後，王祥被任命爲太保，和太宰司馬孚、太傅鄭衝一起，成爲皇帝的三個老師，爵位也晉升爲睢陵公爵。這個時候，王祥已經整整八十歲了，像何曾、鄭衝、荀顗這些頂級高官一樣，都進入高齡，所以當時的司隸校尉（首都軍區司令）李熹、御史中丞（大監察長）侯史光，也建議讓王祥退休養老，但司馬炎沒有同意。像鄭衝一樣，王祥也能夠急流勇退，在人家要趕他的時候，主動請求辭職。最後，司馬炎答應了王祥的請求，但保留了他的所有待遇，並且賞給他很多好東西來養老，還讓他的兒子王肇當了給事中（皇帝中級顧問）來安慰他。
之後的王祥，徹底消失在人們的視野裡，公元268年4月2日，這位自東漢末年以來就聞名天下的孝子和道德楷模，以85歲的高齡壽終正寢。臨死前，王祥勸家人不要悲傷，不要厚葬。當時，司馬炎的老孃也剛死一個月，司馬炎光顧給自己的老孃辦喪事，沒能顧得上參加他的葬禮，等到忙完了，司馬炎特別頒佈詔書，對王祥的死表示哀悼。和鄭衝一樣，王祥也沒有特別置辦什麼家產，所以這個一品大臣死後，除了司馬炎賞賜的那點兒東西外，沒能給兒子們留下太多家產。
王祥有五個兒子：王肇、王夏、王馥、王烈、王芬。王肇雖然是長子，但他是小老婆生的兒子，大老婆生的大兒子王夏又死得早，所以就由王馥繼承了爵位。由於各種原因，王祥的後代中並沒有特別出名的人，真正把王氏家族發揚光大的，反而是王祥的弟弟王覽的後代。
王覽在跟着王祥到徐州任職以後，也逐漸升官發財，最後擔任了太中大夫（國家中級參議官），在公元278年去世，享年73歲。根據《晉書》記載，在王祥、王覽兄弟還在徐州刺史呂虔手下做事的時候，呂虔有一把佩刀，有一個鐵匠看了以後，對這把刀大爲讚賞，說只有一品大臣才配得上這把刀。呂虔當時只是省長級的高官，就把刀送給王祥說：“我不是一品大臣，恐怕無福消受這把刀，你有公爵丞相的氣量，這把刀就送給你吧！”當時，王祥堅決不要，一是不好意思要呂虔的心愛之物，二是他也認爲自己都快六十了，恐怕沒有做一品大臣的福分了，最後，呂虔堅持要把刀送給王祥，王祥只好接受了。等到臨死的時候，王祥又把刀交給王覽，對他說：“你的後人必定會興旺發達，一定夠資格拿這把刀。”
王覽有六個兒子，分別叫王裁、王基、王會、王正、王彥、王琛。除了王彥的後代沒什麼出息，其他五個兒子的後代，都在西晉末年開始嶄露頭角，最終影響東晉政壇幾十年，在兩晉、南北朝時代還出了好些個文學家、藝術家，一直到唐朝初年，都是響噹噹的大家族。
琅邪王氏之所以在後來能成爲綿延六百多年的名門，當然首先是因爲祖先王吉開創了做儒學官員的家風，但是讓琅邪王氏在整個士族時代初期，尤其是魏晉交接時期能夠爬上高位的，當然是王祥。兩漢時代曾經很多的名門望族，在東漢末年和魏晉交接兩個時期大半兒落馬，只有渡過這兩個劫難的，才能在之後的士族時代中存活並且發展，成爲百年以上的正宗士族，從這個意義上說，沒有王祥，也就沒有後來琅邪王氏最輝煌的時代。
然而作爲一個國家頂級大臣來說，和鄭衝一樣，他實在不配做皇帝的老師。除了胡編亂造、虛僞至極的孝行，和對曹魏帝國做做樣子的忠誠，他實在沒有什麼值得我們學習的地方。孝行在他手中，只不過是博取功名、打開財富之門的鑰匙，他唯一能夠成爲西晉初年第一道德楷模的真正原因，和鄭衝完全一樣，司馬家族需要幾個名聲好的老骨頭來裝點門面，而王祥只不過碰巧正是其中最符合要求的、還活着的人之一。