五十六、遊學揚州
潘岳便勸說他道：“此言差矣，你身負才能，豈能辜負？大丈夫自當以保家衛國爲已任。正因世亂，我們更當盡力，你想，若是有你我爲官，這世上豈不就多一兩個好官？少一兩個混官？且爲官一方，豈非能保一方平安？你天賦奇才，卻於活着時於當代無益，死後不爲後世所記，當真無異於自毀自棄。”潘岳口才甚好，當下便把李陽說動。卻把奪得的那把青鋼刀丟擲在地，竟大哭起來，當下便要歸附追隨潘岳。潘岳見他言辭慷慨，性情坦蕩，非同一般，也很器重。當下兩人結爲異姓兄弟。潘岳爲他修薦書一封給王衍，道：“這是當今尚書郎，與你同鄉，你持此書信去洛陽投他，自有安排。”
李陽與潘岳分手，便自渡江而去。
潘岳在建鄴縣烏衣巷自尋了一家客棧暫住，只作隱居，只寫了拜貼拜訪當地名仕向秀後人，這向秀即是當年嵇康摯交，兩人雖有大才，卻只願歸隱，不願問仕，兩人常於嵇家門前柳樹下打鐵或彈奏音樂，打鐵時向秀鼓風，嵇康掌錘，音樂時嵇康撫琴，向秀弄蕭，無不配合默契，逍遙自在，然後來向秀親眼見到鍾會被嵇康冷落，以致後來嵇康問斬。目睹這一切後，膽顫心驚，不敢再想歸隱，便只得走上仕途，當時司馬昭奚落他：你不是要當隱士？又爲何來到此地？他還違心答：像巢父和許由這樣的人，並不瞭解堯帝求賢若渴的用心，所以隱居的生活並不值得羨慕。此後向秀出仕。雖一直只做官不做事，一切採用無爲而治，畢竟身居高官，後來告老返回故里時，亦是帶職而返，因其時朝廷班服爲黑色，這便是此地地名烏衣巷的由來。
其時向秀已死，只有兒子向鬆，不過十來歲，然舉止有禮，深有其父風範，潘岳去向秀墳前拜祭過，又在向鬆處結識了文人樑柳，陳壽。樑柳曾是潘岳洛陽文友皇甫謐幼年時好友，故與潘岳一見如故，陳壽亦是相互仰慕神交已久，此番結識，自是歡喜。
陳壽曾做蜀官，蜀滅後也做過晉官，現賦閒在家，卻一門心思修史著作，目前正在修纂三國志，潘岳看過，雖尚只出幾篇，但卻看得出十分嚴謹，當時便嘆可與史記，漢書媲美。
陳壽因私人修史，而修史乃十分浩瀚艱難之工程，雖有樑柳，向鬆等文友相助，但人力財力均頗不足，卻邀潘岳共行此事。而潘岳自聽了羊祜的勸，恐趙王尚不罷休，便亦有隱世兩年的想法，心想且專心學問，待避得兩年，再出世尋仕途。當下心意已定，只囑陳壽等人對自己來揚州之事不需張揚。於是便欲留下與陳壽，樑柳，向鬆等人共編三國志。
卻說這日，因此時正逢春盛，鶯飛燕走，柳綠花開，陳壽，樑柳，潘岳，向鬆便相約出外遊玩踏春，這邊出外交通多用船具，潘岳雖不甚慣，也只能入鄉隨俗。四人來到渡口，但見遊人頗多，倒也熱鬧。只其中有個十多歲少年，作書生打扮，穿着甚是貧寒，卻生得深目高鼻，面相異於常人，一望而知便是異族。其時自漢魏到晉以來，胡人大舉內遷，與漢人混雜，潘岳在洛陽也已見慣，只是如今胡人開始勢大，鮮卑，匈奴已經舉旗攻下涼州、幷州，甚而自造錢幣，形成與晉對峙局面，令司馬炎寢食不安，羌、氐兩族也多聚居在秦州，雍州，且有小股作亂跡象。因此，遊人對那異族少年紛紛側目而視。那異族少年卻神色坦然，不以爲異。
一時船來，卻是一艘紅木雕花華美大船，衆人慾上船，早有家丁擋在前面，只放文人打扮或士族穿戴上船，餘人盡皆擋住，不讓其上船，道是此船已被包下，正在鬥文比墨。不通文墨之人不準打擾。陳壽等人上得船來，船身裡桌上擺着酒菜，卻是無人，有十餘人都聚集圍在船頭，俱都穿戴頗爲華貴，中間卻擺了筆案正聚在一起大家獻藝欣賞，潘岳幾人便也過去湊興，見那些人皆或書或畫，各展所長，但見人羣中有一青年走出，衆人便紛紛相讓，皆道：“安仁出手，我等皆可一飽眼福。”
潘岳想，這人倒與我表字諧音，不知是誰，卻未曾聽聞過。
向鬆一見此人，突地臉色大變，卻把他們拉於一旁，恨聲道：“就是他，他就是郭象。”