嚴世蕃充軍雷州衛（今廣東海康），但他有恃無恐，中途逃回江西老家，依舊胡作非爲。羅龍文和他一樣，也從戍地逃回。這一對寶貝逃回，問題就嚴重了。所謂戍邊、充軍，其實就是到邊界服役，也算軍人，這一逃回，那就變成了逃兵，罪名不小。再加上嚴世蕃在老家，依然故我，笙歌院落，吹彈歌舞，擄**女，欺壓良民。嚴嵩雖說罷職，但餘威仍在，地方官員奈何他不得。說不定某天嘉靖又讓他官復原職，得罪不起啊。嚴世蕃更是逢人就揚言：“有朝一日老父官復原職，看我不摘下鄒應龍的那顆人頭！”這磨刀霍霍的架勢，血淋淋的狂言，漸漸傳到京城。第一個感到害怕的就是鄒應龍，鄒應龍的第一反應就是把嚴世蕃的狂言轉稟徐階。徐階不動聲色，好言寬慰。鄒應龍滿臉憂愁：“慶父不死，魯難未已，首輔不能坐視，倒不如稟明聖上，將那兩個逃兵抓來砍了，以絕後患。”徐階搖了搖手：“不妥，不妥！聖上天縱英明，果於殺戮，而今行寬鬆之政，斷不可再啓聖上好殺之心。”
徐階還是不想動刀，相反，他給嚴嵩去了封書信，問候、安慰之餘，佯裝不知嚴世藩已逃回，勸嚴嵩給嚴世蕃去信，在戍地消停消停，再勿生事。
嚴世蕃哪裡勸得過來，他在南昌大興土木，修建豪宅，與羅龍文沆瀣一氣，收尋古玩，肆意淫樂。什麼玉唾壺、金溺器之類的傳聞，不脛而走，人人吐舌。
何爲玉唾壺？何爲金溺器？唾壺，即吐痰的器具，玉唾壺也並非用玉製成，而是其家中幾十位姬妾的櫻桃小口，凡嚴世蕃欲吐痰，姬妾便會跪下張口承接。溺器自然是盛尿的器具，不僅用金製成，而且其形狀還須製得像女子的私處，撒尿也不忘敦倫（**），實在是出格，惡形惡狀。
更爲甚者，嚴世蕃以修建豪宅爲名，招得不少江湖人士，有的是犯了王法，求其庇護，有的是成了喪家之犬的倭寇餘黨。羅龍文與王直、徐海本是同鄉，胡宗憲當年還曾命他誘降王直，王直雖死，一些餘黨還與他保持着聯繫。有的是能掐會算的日者（古時以占候卜筮爲業的人），逢到大事，就請這些日者卜兇吉。反正三教九流，養了不少人，算是門客。而嚴府的管家嚴壽二、嚴銀一等，也狐假虎威，欺壓一方。
袁州（今江西宜春）有個推官叫郭諫臣，公事出行，路過一處，望見近千匠人正在工地上忙碌，便停下小轎，詢問誰家起屋。匠人們答說：“不知。”郭諫臣掃視四周，見一頂大傘下坐一人，正搖扇抿茶，悠哉遊哉，那人正是嚴銀一。郭諫臣就走過去想了解個究竟：“請教尊駕，起的是誰家府第？”那人放下茶壺，投過冷冷的一瞥：你是何人？”
“ 其實他早已看清郭諫臣身上的七品服飾。“本官乃袁州推官郭諫臣。”
七品小官，要是早幾年，連相爺的面也見不着，還得給老子送銀子呢。
這麼一想，嚴銀一便說：“問他做甚？”
這嚴銀一依舊穩坐在椅子上，連身子也不欠一下，實在太狂傲。“問他做甚？”口氣也硬邦邦，郭諫臣心中便沒好氣：“郭某掌地方治安，問問何妨？”誰知嚴銀一又硬邦邦地擲來一句：“問相爺去！”郭諫臣碰了一鼻子灰，按下怒氣，凝視嚴銀一，不住地點頭，突然說：“後會有期。”轉身便走。
俗話說“蝦有蝦路，蟹有蟹路”，郭諫臣官雖小，比蝦蟹大多了。他有位同年，叫做林潤，在南京供職御史。就在郭諫臣碰釘子的第二天，奉命巡視長江防務的林潤到了長江上游的江西袁州。郭諫臣設家宴爲他洗塵，談話之間，郭諫臣提到嚴府的霸道，說起嚴世藩、羅龍文的逃回和嚴府奴僕的驕橫。御史職在稽查彈劾，一路上掌握了嚴府的不少惡行，嚴世蕃逃回江西，倒是頭一遭聽說。逃兵就該押回戍地，可是嚴世蕃聚這麼多江湖人士，不是圖謀不軌又是什麼？這件事正在這次奉命稽查範圍之內。宴後林潤在袁州又待了兩天蒐集證據，連夜撰寫奏本，加章封印，通過驛傳火速送交北京通政司。通政司豈敢待慢，奏疏擺上了嘉靖的龍案。林潤的奏本要點說：“臣巡視長江上游防務，訪得江洋大盜都逃竄到逃兵羅龍文、嚴世蕃家。羅龍文卜得山上有王氣，在深山築屋居住，陰有不臣之心；嚴世蕃日夜與羅龍文誹謗朝政，煽動人心，近來又假借修建府第，招集亡命之徒達四千，民衆驚慌，爭相傳說，都認爲不久將會叛亂，希及早將嚴世蕃、羅龍文正法，以絕後患。”