卻說顧雍說動張羨，於是張羨遂據長沙而反。因張羨於零陵、桂陽有恩信。張羨又以利誘之。零陵、桂陽兩郡太守亦隨張羨反。
劉表聞荊南三郡叛亂，大驚失色。荊州總領七郡，自己來了之後，將南陽一分爲二，新設了個章陵郡。也不過八郡罷了。如今南方三郡一叛，武陵郡危險不說，卻是把豫章文聘等荊州將士的後路給斷了。
於是劉表一邊命蔡瑁、龐季等人出兵平叛，一邊緊急傳命給豫章的文聘，讓他不要在豫章糾纏了，速速自江夏退回荊州。
文聘得了信，連忙來見劉繇，道：“劉公，我家主公來信，孫堅已說反荊南三郡，如今我腹背受敵，不得不退耳。還請劉公與太守早早準備，隨我北返荊州。”
華歆與王朗聽了，也只能相對苦笑，劉表猶豫不決，孫堅卻是先下手爲強了。如今攻守勢易。除了撤兵豫章，還能有什麼辦法呢？
於是只好從文聘之言，率了家人，與文聘一道退出南昌城，徑往海昏與劉磐會合去了。劉繇臨行，樊能、張英等諸將拜泣道：“吾等家小皆在江東，不能隨主公往荊州也。”
諸將皆是江東豪族，劉繇當年來揚州，借諸人之力，方能與袁術相抗。如今自己一敗塗地，又如何能夠苛責衆將士。劉繇扶起諸將，嘆道：“是我誤諸卿也。今日一別，不知何日復能相見。諸卿還請多多珍重。”
衆人灑淚而別。
樊能對張英道：“劉公，吾等之故主也，屢有恩恤於吾等。今其往荊州，吾等雖不能隨，亦可以阻孫堅而報劉公之恩德也。”
張英深以爲然，於是，二將率兵，來戰孫堅。孫堅聞文聘走，知長沙事發，欲追之。方行，聞南昌守軍出，遂返身來擊。樊、張二將死戰不敵，孫堅大破之，獲樊能、張英二將，感其恩義，收之爲將。再探文聘，其已與劉磐兵合一處，往柴桑去了。
到了柴桑，劉繇對文聘道：“吾在豫章，多賴仲業之力，方能苟活至今。本欲隨仲業至襄陽面謝劉將軍。然吾在揚州喪師失土，無面目見景升。今小兒年歲漸長，聞青州大儒雲集。吾欲攜小兒往青州，使其求學。還望仲業到了襄陽，代吾分說一二。”
劉繇一方面是對劉表不看好，覺得荊州不如劉備處興旺發達。另一方面也說的是真心話，他長子劉基十幾歲了，正是頑皮多動的時候，自己雖然飽讀詩書，但教育自己的兒子總是力不從心。罵幾句沒有用，要動手打了，自己夫人攔着不說，自己也下不了這個狠心。還不如送到青州書院去，裡面名師衆多，環境氣氛最適合求學不過。再說兒子不聽話讓老師打了，自己眼不見便也心不疼。
劉繇要去青州，自然是和華歆、王朗商量過了的。兩人一致贊同。華歆早年拜在太尉陳球的門下求學，與盧植、鄭玄、管寧勉強扯得上同門之情份。又與管寧、邴原交好。這些人在青州都身份顯赫，自己去了能迅速融入，不會被孤立。王朗就更不用說了，他師從太尉楊賜，楊賜之子楊彪是他師弟。楊彪又是盧敏的岳父。而且，與他曾同爲陶謙臣屬的陳登、糜竺、糜芳等人，如今全在劉備麾下爲臣。王朗與華歆一合計，自己二人與孫堅沒打過交道不說，反而彼此爲敵，若投了孫堅，待遇只怕好不到哪兒去。索性還不如跟着劉繇，一起投奔劉備。
劉備如今坐擁青、徐二州，丁口數百萬，正是大有所爲之時。自己去了，必能受其禮遇。這三人一商量好，就來徵詢許劭的意見。許劭心想你們都商量好了來問我，我能說不行嗎？
文聘見這幾人都要北歸，心中頗是爲難。主公素好賓客，要是眼前這幾位重量級的人物前去投奔，必然又能使主公名聲再度遠揚一番。可是也不能強來啊。這幾位一個個名重於世，要是對他們不客氣了，傳出去，這臉還要不要了。
由此足見文聘秉性之忠厚。換了黃祖來了，只怕就要先將這幾人請上船了再說。文聘躊躇了會，應了下來，又道：“劉公，如今道路阻塞，汝等如何能至？”
劉繇笑道：“仲業毋須擔憂，但給大船一艘，吾自大江順水而下，便可自徐州而入青州也。”
文聘道：“大江爲孫堅所守，劉公恐不得過也。”
劉繇捊須笑道：“此小事耳，吾自有辦法。”
文聘見劉繇自信滿滿，只得同意。於是撥大船兩艘，兵士百人給劉繇。而後雙方在柴桑依依惜別。
劉磐在一旁，悶聲不語，他隨文聘兵出豫章，臨行，劉表吩咐諸事以文聘爲首。是以方纔不吭聲，待劉繇上船之後，纔開口道：“仲業，劉繇這等人，如何能縱之？”
文聘苦笑一聲道：“劉繇、華歆、王朗等諸人，祿皆二千石，許劭亦爲海內名士。吾豈能私扣之。這等人，便是到了襄陽，主公亦只能待如上賓，使其來去自由。既如此，何必強留而壞了吾等名聲？”
劉磐一想，確實如此，到了襄陽，除了對這些人客客氣氣之外，還能幹什麼？之前不是有個裴潛，對主公不滿，從襄陽跑到長沙去投奔了張羨，不也沒見主公如何嗎？
遂不再言，待到下雉，黃祖遣將來迎。及還襄陽，劉表問道：“正禮賢弟何在？”
文聘便說如此。劉表聞言，沉默良久，方道：“本欲與正禮諸君一敘久別之情，誰料他等已然北上矣。”
劉繇一路放船南下，這時候，就顯出了他深厚的人脈本事來了。他與廬江太守周瑜從父周尚是舊識，如今周尚亦在舒縣，劉繇上岸拜訪周尚，周尚留之未果後，親自送其過江。丹陽太守韓當，於牛渚口築關，見有二船旗號不明，順水而來。遂率衆攔之。周尚出來說之，道：“義公，此我家之客卿，欲南返徐州，還望義公放行。”
韓當見是周尚，於是遂許通行。船方過，劉繇出來向周尚道謝。韓當麾下小校眼尖，見了便道：“將軍，此非周家客卿，此前揚州刺史劉繇也。”
韓當大驚，道：“周尚安敢欺我，遂率船來追。”
許劭見了，跌足道：“苦也，那黑廝追來也。”
劉繇出艙一望，見韓當乘船來追，便吩咐士卒道：“船往左岸。”
船行左岸，靠近歷陽水寨，見了兵船，劉繇便高呼道：“吾乃朱君理之友也，身後有船無故追我，還請速報朱君理，爲我截之！”
剛好九江太守朱治這日巡視江防，聞聲出來，見是劉繇，大笑道：“正禮兄欲何往耶！”
劉繇站在船首，道：“君理，汝亦欲阻我乎？”
朱治見劉繇船後，隱隱有船來追，頓時便心知肚明，遂笑道：“兄自過，吾爲汝擔之。”
朱治，丹陽人氏，早年便隨孫堅征戰四方。劉繇在揚州時，對朱治一家老小多有照看，朱治因此承情。周尚見了，便道：“正禮兄，你我就此別過也。”於是兩人話別，周尚便上了朱治的船，與朱治一道，往迎韓當去了。
劉繇一路順風順水，過了九江，於廣陵郡江都上岸。被得了信早早於此相候的陳登一把迎住，徑往廣陵去了。
劉繇既走，韓當遂報之孫堅，說如此。孫堅聽了，愕然失笑，道：“劉繇此行，方顯其本色，無愧名士之稱也。”