故友來訪
程據見他如此，以爲他裝糊塗，便有不悅，索性坦言道：“安仁兄何必如此，你我是一樣的人，何不坦誠相見？京中凡見年輕美貌男子，皆被抓去爲她做藥，你我之流，皆非凡品，與她交好，你卻不需在我面前遮掩。”
潘岳聽聞京中失蹤案件果然因此而起，便又問道：“那些作藥男子，現在何處？”
程據倒奇了，道：“莫非你真是不知？即是藥，藥用完，便只剩藥渣，留着沒用，自然是如藥渣一般處理。”見潘岳面色不對，又道：“你我皆是她極寵之人，卻是不用擔心。若往後……”潘岳見程據邊說時臉上神色卻是得意非凡，他雖然長得白皙俊美，然此神情說出此無恥之話，便猶如醜陋至極一般，見他還待要說，不知他還會說出如何不堪言語，打斷了他話道：“你不必再說，聽你剛纔話中之意，全然不懂君臣尊卑，禮儀廉恥八字。我與你再無話好說。”說畢，不顧程據被他突然這無禮舉動惱怒到臉色醬紫，拂袖而去，自去客府伺候太子、太子妃，又問他們何時動身回宮。
賈南風便笑道：“你不用催，我見你這景色好，正想多留幾日。”
潘岳便嚇一跳，忙道若得如此是他尊榮，只是有不妥處。
賈南風問怎麼不妥
潘岳回道因最近治安不大好，流民作亂，太子、太子妃若有個萬一，粉身碎骨也擔待不起。
賈南風便笑，道是跟他玩笑，要他不必着急，卻也遂他心意，果然一早上路，潘岳一路送回京中，返回後便修下陳情書，隨便列了些身體不適之類的理由，請求辭去河陽令一職。
自從潘岳修下陳情辭呈上呈，卻是一直沒有消息，也不知準還是不準。這日傍晚，有車馬而來，潘岳迎了，車裡卻是傅鹹，傅鹹未及下車又道：“給你帶來一個貴客，你如何謝我？”車裡又有一人露頭，雖是須發已見摻白，臉上添出幾條皺紋，卻一眼認出正是多年不見的裴楷，潘岳大喜，行過禮迎進奉茶。裴楷自從立嗣一事平定，便即回京任了侍中。只是與潘岳這一別又是數年，此時相見，自也是高興。
因裴楷將與衛瓘成兒女親家，潘岳便是道喜，待裴楷、傅鹹略作休息，飲過茶後，便掌了燈燭，另備酒菜。傅鹹說起潘岳請辭一事，道是被他壓下，卻是不予批准，傅鹹乃御史中承，專職考評彈駭官員，爲官清正，從不偏私。知河陽潘令之名清譽甚著，朝野盡知，因此不準，只道：“你若有事換個官職容易，若要我免你官職，對君對民都無法交待。我卻無法辦到。”
潘岳想了一想，便道：“如是這樣，自然更好，多謝你相助。”
裴楷令隨從取來一金制方盒，道：“所以我來，帶來這一物事。”打開盒時，卻是一卷絹軸，緩緩打開，俱是地理圖形，山脈河川，城郊縣村俱皆標識。
潘岳早知何物，因此觀賞，問道：“莫非這便是令族兄裴司空當年所做的‘禹貢地域圖’？”
裴楷道一聲正是。
當年，這精研地理學，掌握國家地理職務的裴秀皆與潘岳祖父潘瑾和先父潘芘交好，潘岳以前常聽先父稱讚，道是裴秀地理學識無人能及，名山大川皆在胸中，又自創制圖六體，從六個角度全面詳細地總結了繪製地圖的主要方法。這‘禹貢地域圖’便是裴秀生前率人所制，以十里爲一分，百里爲一寸的比例縮小製圖。十分完備精詳。潘岳早聞其名，只是這卷地圖被當朝作爲重要資料一直深藏於秘府，因此不得一見。如今被裴楷帶出，自是免不了要認真觀賞一番。一時在地圖之上找到荊州，揚州等地，便是十分驚奇讚歎。
傅鹹便道：“你先別贊，今日一則，咱們今晚便把酒共賞這地圖，二則，你便從中選個處所到任。”
潘岳只道一聲唐突，也不推辭，看了地圖，只撿遠離洛陽之處道不敢挑撿，何處有缺皆行。傅鹹、裴楷知潘岳辭官之因太過敷衍，知道內中必有隱情，因此此次帶了地圖，是有備而來。又見他所指處不論偏遠貧富，只是遠離洛陽，裴楷便只笑道：“如今立嗣之爭平息，朝中暫得太平，我由外調回，安仁你卻是爲了避的什麼？”
潘岳便道了一聲慚愧，道正是無意間惹了一禍事。
裴楷知太子、太子妃剛到過河陽，隱約猜着此事與他們有關，便道：“能先料着遠避，便好，又何必慚愧？”卻是笑一笑，又道“不怕得罪，安仁你年少長成時，才、貌皆與常人不同，皆極易招忌惹禍之事，我心裡早已預算你這一生恐怕會多歷坎坷，不會太過平坦。誰知時過境遷，二十餘年過去，如今我鬚髮已然發白，逢此亂世之中你卻過得亦算安順穩定，又有美名傳世，竟是出乎我當初所預料，只因你聰慧，皆被你化解。”裴楷與潘岳認識二十餘年，從來便是出自內心欣賞潘岳之才，品，數十年來皆如此。到如今都未改變。年青時的文友，這些年來因王衍近賈南風，王戎在荊州因斂財，私建園林被免職，後用錢財買通入京任職吏部，他與王衍同族，裴楷遠賈南風，因此與王衍王戎因政見不合已漸漸行遠。只有潘岳可能是未涉政治，因此與他們卻是未曾改變，交好如初。
潘岳倒沒想裴楷有這心，這是頭回聽說，只道：“人生漫長，世事變幻如棋，諸事不由人，誰又知後事如何？但求盡心力，聽天命而已。”
當晚留宿，待得裴楷、傅鹹返回後，知道潘岳心意，便使潘岳任職懷縣，卻是一遠離京城的偏遠所在。到任令下了，潘岳雖也有些不捨，自是另覺有一種遠離的輕鬆之感。又向母親請罪，道是令她操勞。母親反道只要他好好爲官，母親並無操勞處。
這日便要離縣遠行，車馬都已備好，行李收拾妥當，潘岳當年兩乘車馬而來，如今兩乘車馬而去，等楊研再逐一掩了門窗，略顯傷感時，卻見有才跑進來道是，鄉民都來圍觀，水泄不通。潘岳不願楊研等人有離愁之感，只笑道司空見慣，有才便道與以前不同，道是以前圍觀潘岳都笑，今日鄉民都哭。一時出來，果然密密麻麻都是百姓夾道而泣。原來百姓敬愛不捨潘岳，扶老攜幼盡皆出門來送，道是逢此世道，有此父母官能得他們生前衣食周全，生活安順，一家團圓，死後也覺心足。更多有跪地者，攙扶不起。令人動容，車馬無法行進，只能徒步於人羣花樹間穿行，一衆百姓遠遠送出，久勸不回。雖是緩慢，卻也漸行漸遠，人羣漸散，走得遠了，潘岳不禁回首轉身，只見天色一片青藍無邊，中間滿眼緋紅桃花無垠，林間久久不散的百姓無數。從百姓眼裡看來，只見他一襲青衫，立於青天之下，桃樹之側，衣帶當風，落英繽紛，美比詩畫，勝似神仙。
潘岳到了懷縣數年，依舊勤於政事，且又斷案聰明，又有陶侃亦來相助，因此亦是有清譽之名，頗有政績。