桓玄此時還有親信千餘人,得敗訊後趕忙令殷仲文在石頭城備船,自己立即動身前往石頭城準備沿水路逃走。這時胡藩牽住桓玄的馬進言道,“主公,我們這千餘人世受桓大司馬之恩,無以爲報,今日形勢危急,必能爲桓氏一戰。賊裕歷經三戰精力已竭,況且他們現在盲目追敵,方寸已亂。我們若奮力反擊,定能反敗爲勝。若舍此不戰,退又能退到哪裡呢?”桓玄指天不語,甩開胡藩,去派人接來妻子家人。當時劉靈玉正奏廣陵散,調聲高亢,戈矛氣息交縱,指法轉急,忽然第七根絃斷開,暗思必有事發生時,桓玄所派之人趕到。
桓玄帶一衆親信上船,浮江南走。此時的他悲懼交加,連日滴水不進。桓玄的小兒子桓昇才五歲,卻很是懂事,將粥端至父親跟前“父親,你多少要吃點啊。餓了會很難受的,身子也受不了。”桓玄這才勉強進餐。睡前,桓昇又給桓玄捶背。桓玄撫摸着兒子的頭,說道“我的乖兒子,爲父對不住你,讓你跟着受苦了。”“孩兒願一直都陪在父親身邊。”有兒子的陪伴,桓玄才稍感安慰,夜晚聽着波濤聲,看着寥落星辰,慢慢睡了。
劉裕順利進入建康城。時東晉朝政寬馳,綱紀不立,豪族欺凌,小民窮困。劉穆之做劉裕主簿後,裕託以腹心,小大事情都諮詢他,穆之也竭節盡誠,無所遺隱。斟酌時宜,隨方矯正綱紀。而劉裕則以身作範,先以威禁,百官肅然奉職。很快,上下風俗一變,官民安然。
刁逵逼問諸葛長民,得知反抗桓玄之事後便將長民押入檻車,把其送往建康桓玄處。長民之弟諸葛黎民暗中打聽到此消息,帶十餘名壯士於其必經之路在暗中埋伏。檻車經過時,把押送之人殺掉,解救出了長民。不久,又傳來了桓玄敗逃的喜訊。於是長民兄弟號召民人來反攻,進入歷陽城,活捉刁逵,押送給劉裕。劉裕見後笑道“哈哈,莊家。我的老朋友,好久不見。我們今番再賭一把如何?就賭你的命!你賭活還是死啊?”“哼,你個奴才!挾私報復是吧。就恨當日把你抽得不夠重。”劉裕也不生氣,說道“當時是我錯在年少輕狂,你鞭打之事我不再計較。只是你引誘良人入賭,趁機傾敗人家的田產。害民無數。這我豈能饒你?”刁逵嘆道“就知道你不會放過我。沒想到你個混蛋也有今天,該我命絕!”言後劉裕就派人將他殺了。
桓玄西逃至尋陽,鎮守於此的郭昶之非但不趁機將他拿下,反倒資助給他兵力、器用。郭昶之曾擔任禁衛軍將領多年,竟於此際還傾向桓氏,這讓劉裕等人很是驚愕。桓玄讓郭昶之守住湓口,自己挾持着皇帝繼續西逃。劉裕看建康尚未安穩,便留了下來。這時劉道規帶領廣陵兵士渡江來到,劉裕大喜“吾弟到來,桓玄亡無日矣!”就讓劉道規與何無忌、劉毅等去追敵。桓玄爲保住湓口,讓自己的江夏太守帶三千人與何澹之東下共守湓口。這時他又巧遇胡藩,在覆舟山敗後,胡藩與桓玄失散,胡藩一直追尋桓玄,終於遇到了,桓玄就派胡藩幫助鎮守湓口。
四月末桓玄帶帝逃回到江陵。這時無忌劉道規已帶軍進至桑落洲,何澹之前來迎戰。澹之所領水軍,舳艫相連橫跨兩岸,縱橫不見其際。旌旗蔽空,順風飄展。敵衆我寡,晉軍將士皆有懼色。何無忌鎮定的說道“將士們,賊玄已經敗逃,所剩不過是些蝦兵蟹將,徒有其衆,實是不堪一擊。我等奮力,破之不難。”
兩軍距離越來越近,敵方有一艦高出其他船丈餘,旗幟鮮明,儀仗華盛。無忌言道“膽小鼠輩,必不敢故意暴露自己位置,一定是想詐我。我們不妨將計就計,把它攻下!”諸將士多持異意,劉毅說:“澹之一定不在此船,攻下也起不到多大作用。“只有劉道規不發一言。無忌望了道規一眼後說:“澹之既不在此,此船戰士必弱,我以勁兵攻之,定能攻下。攻下後,我們傳言已得賊帥,衆賊疑惑而懼,我軍士氣大增,攻之必克!“道規此時大喜說道:“真乃名計也!“於是無忌就帶領數船直衝此艦。果然艦上敵軍不堪一擊,無忌之船靠近後,揮劍斬斷數根槍戟,力殺幾名敵兵,親自帶衆登上敵船。攻佔敵船後,令軍士們大喊“哈哈,何澹之已經被活捉!”晉軍近處船隻聽後士氣大奮,也都紛紛傳道“活捉了何澹之!”何澹之所將軍士很多信以爲真,驚慌了起來。而何澹之膽懼,更不敢向己軍說明自己仍在,怕暴露了自己的位置。
無忌道規等趁勢領軍疾攻,敵軍大敗。爲晉軍所殺者、落水者不可勝數,鮮血染紅了江水,在夕陽的光照下,更增其慘。何澹之於亂中被一流矢所傷,倉促帶領數船逃亡。郭昶之逃亡之船急駛中觸礁,慌忙上岸,被晉軍追及剁成了肉醬。敵軍船毀無數,落水者紛紛攀船欲要逃走,奈何船少兵多不堪承載,船將傾覆之際,船上兵士開始將刀揮向攀船同胞,船上的手指多得難以清數,更多的手指又落入了江中。哀嚎呼痛之聲久久迴響在江面。
胡藩當時帶領數只船且佔且退,來掩護己方撤退船隻。晉追軍緊逼,胡藩被包圍,與其前軍遠離,身旁軍士一個個都被殺掉。胡藩見勢不支,砍殺幾名跳到自己船上的晉兵後跳入江中。晉軍好久沒見他露出,都以爲他自殺了,也就不再去管。他們豈知那胡藩素有勇力,又善潛水,胡藩披着重鎧在水中潛行了百餘步,最終得以登岸,藏身於草叢中,準備等夜晚來臨後逃走。
晉軍開始收軍。忽然有人聽道岸旁草叢中有人發出噴嚏聲。數名軍士循聲趕忙去搜察。軍士們持槍撥草前探,現出一將,正是胡藩。胡藩上岸後隱藏的時間久了,水分蒸發帶走了大部分身上熱量,再經風一吹,實在是太冷了,沒忍住打了個噴嚏,身上也沒了半點力氣,只能束手待擒。就這樣他被押送給了劉裕。
劉裕見後調侃道“聽桓玄稱你爲‘陸上之猛虎,水中之蛟龍’,勇猛如此也有被困之時嗎?”胡藩大喝道“要殺便殺,羞辱何爲?當初主公若聽我言,與你一戰,恐怕你的頭早已被我斬落了!”劉裕部下按劍向前喝到“放肆”。劉裕斥道“退下!”,繼而向胡藩言道“聽聞將軍忠義,可否留在我府中,做一領軍,幫我平定四海如何?”“我爲桓氏之將,若轉投於你怎對得起忠義二字?”劉裕說道“將軍此言差矣。桓玄篡晉,乃是國賊。你雖受桓氏之恩,但需明大義,做賊之臣子豈得爲忠?況且如今桓玄死期將至,我就是放了你,你還能投奔於誰呢?”
一番話讓胡藩有些心動,正考慮時,劉裕忽然說道“你不願就算了,我不忍殺你,你走吧!”讓部下爲其鬆綁,“放了他,任何人不得阻攔!”部下說道“主公,此人實是桓玄賬下一厲害角色,若放虎歸山,怕有後患啊!”劉裕不聽。待胡藩走後些時,劉裕對部下微笑着說道“他一定會回來的!”果如其言,不到半個時辰的時間,胡藩就回來了。劉裕與其握手談兵,甚是欣慰。