自漢軍南渡淮水後，劉秀的大本營安在了盱眙（xū yí），這個楚懷王熊心昔日的都城與淮泗口隔河而望，可知對岸虛實。
劉秀是希望第五倫得勝而驕，縱兵強渡淮水，欲一舉滅漢的，若如此，他雖兵力劣勢，卻能依靠淮水天險，與第五倫一決死戰！以期複製昆陽的奇蹟。
然而第五倫卻選擇了劉秀最難受的打法：大兵團緩步推進，控制沿淮各縣，開始召回流亡百姓，駐軍屯田，不肯錯過貴如油膏的春雨。
這下劉秀的誘敵渡淮之策也宣告失敗，正當漢國君臣一籌莫展之際，九江太守桓榮將第五倫的國書連同休戰、換俘兩個提議送到盱眙行轅，立刻引發了漢國羣臣對第五小兒的破口大罵。
其中以積弩將軍傅俊最爲憤怒，他赫然起身道：“第五倫不當人子！搶了碩大淮北，殺我軍民無數，更害了楚王（來歙）、鉅鹿王（劉植）二人性命，如今送回屍首俘虜，便打算與漢休戰？這不是國書，而是在羞辱陛下，羞辱大漢文武啊！”
傅俊無法忍受，向劉秀請命道：“君辱臣死！陛下，請予臣三萬兵，必可橫行淮北，收復彭城，生擒第五倫！”
行轅內衆人羣情激奮，絲毫不比傅俊差，一時間人人喊戰，然而劉秀卻閉目不言，只朝行轅末尾看了一眼，自然有人站出來潑了他們一盆涼水。
“陛下，傅俊可斬也！”
衆人愕然，回頭一看，卻見是站在末尾的祭遵。
祭遵字弟孫，乃是潁川人士，以縣吏身份投奔劉秀，劉秀棄儀容，令他暫爲門下吏，曾隨劉秀落腳東南，是從龍羣臣之一，但祭遵卻不以武略見長，劉秀喜歡用他來執行軍法，縱是舂陵子弟犯法，祭遵也冷麪誅殺，毫不留情。劉秀遂任命他爲刺奸將軍，監督三軍，等到正式稱帝后，又提拔爲廷尉。
這位祭廷尉一點不給傅俊面子，甚至連劉秀的傷疤也當面揭：“第五倫在淮北有大軍十餘萬，去歲隆冬，陛下親將數萬將士，與之周旋，尚不能破賊，今傅俊奈何以三萬衆橫行北徐州？此乃面欺！大戰方罷，陛下明策，令軍民暫退淮南，棄地而存人，於今創痍未瘳，春耕方起，若照傅俊之見，再起兵戈，貿然北伐，臣唯恐東南將爲之動搖！”
祭遵戰前就力主退保淮南的，傅俊聽聞此言大怒，斥責他畏敵，但劉秀攔下了二人。
“廷尉所言有理，第五倫此舉，名爲國書，實爲挑釁，文中處處只雲‘吳王秀’，故意示以輕蔑，若怒而興兵，反是中了其詭計。”
劉秀比任何人都清楚，戰爭已經打不下去了，長達半年的徐淮之戰，第五倫坐擁人口繁盛的北方尚被拖得疲乏，更何況是他這東南的小朝廷呢？江東、淮南財力已近枯竭，秋收後才能緩口氣，在此期間防守有餘，攻則不足。第五倫不主動冒進的情況下，他也只能在淮南舔傷口。
既然如此，怎樣應對這份國書，變成了今日行轅談論的焦點。
“臣以爲，休戰不可，換俘則可。”
說話的是三公之一的“大司空”侯霸，他本是新朝臨淮太守，作爲第一個接待劉秀的地方勢力，很得劉秀感激重用。如今劉秀的大司馬來君叔戰死，大司徒鄧禹罷官，侯霸儼然成了百官之首。
侯霸是聰明人，知道劉秀與第五倫，乃是“漢賊不兩立”，和談休戰絕不可能，第五倫佔據優勢，可以隨意遣使，但劣勢方的劉秀，一旦露出服軟傾向，他努力構建的漢家小朝廷，必然人心瓦解——時至今日還追隨劉秀的人，無不希望能隨他興復漢室，還於舊都，文武尚欲死戰，陛下豈能先降？
按照侯霸的想法，戰大可不休，反正就算定約，不過又是一份鴻溝之盟，雙方互不信任，隨時可以撕毀。
但交戰狀態下的換俘卻可以考慮，第五倫若真願將四千淮南、江東俘虜送回來，而己方只需要交出蓋延和千餘漁陽兵，這筆買賣無疑是划算的，四千人，對於南方而言，已是不少的人口了。
“不然，非但勿言休戰，換俘亦不可！”
已經罷大司徒之官，如今只屈居區區大夫的鄧禹，在聽遍衆人意見後，向劉秀提出了自己的擔心。
“臣聽聞，上月淮北有傷寒大疫，死者數千，魏軍之所以休兵不戰，多因瘟疫橫行。漢軍俘虜飢寒交迫，染病者亦不知凡幾。”
“第五倫一貫狠辣陰毒，忽願換俘，莫非欲將病卒遣歸，使得淮南江東也流行大疫，以期不戰而勝？”
……
因爲劉秀以及朝中三公九卿皆不便見桓譚，所以一切交流，都得由九江太守桓榮代勞，當桓榮從鄧禹處得知第五倫“真意”，帶着憤怒去質問他族叔桓譚時，桓譚卻只覺得想笑。
“以瘟代兵？”
桓譚不屑地說道：“此乃以小人之腹爲君子之心，屬厭而已！”
話雖如此，但當初驟聞第五倫欲換俘時，桓譚心裡還正冒出過這種猜想，然而等第五倫袒露意圖後，桓譚才明白，原來魏皇陛下這次確實在第五層……
“漢兵俘虜多在彭城，未曾染上傷寒，這旬月之間，彼輩也好吃好喝，淮北籍者，甚至還發給歸家糧秣，淮南籍的，思慮其不耐嚴寒，還將軍中破舊冬衣發了下去，幾人一件取暖。”
放眼天下，這些俘虜的待遇，絕對超出尋常。
“如今答應換俘，確實是要散播瘟疫。”
“但並非身體之傷寒。”
桓譚記得，自己南下前，第五倫用手指着太陽穴，如此說道：“而是思想上的疾病！”
此番換俘的真正目的，是爲了瓦解劉秀陣營的意志——當四千俘虜期間好吃好喝的漢兵回到淮南江東，必然會將他們的經歷告訴鄉黨鄰居，因幽冀軍團軍紀差而被妖魔化的魏朝形象，便能得到一定扭轉，等再打仗時，淮南、江東士卒便不會拼死而戰，而是心存僥倖了。
再者，這四千人裡，繡衣衛也已經策反了不少人，他們一旦回家，便是魚入大海，成爲打入敵人內部的細作間諜，可使未來滅吳之戰事半功倍。
雖然很希望劉秀能答應換俘，但第五倫並未給桓譚下死命令，休戰換俘一事，是連環計，在第五倫出手那一刻，就給劉秀埋下了許多個大坑，不論他選擇進退，都會踩中。
於是桓譚也不多言，起身拂袖道：“吾主仁德，這才力排衆議發國書，遣我至此，既然吳王不願接回來君叔、劉植屍骸，不願四千江東子弟歸鄉，桓譚也不必久留，今日我便啓舟北返！”
……
和來時一樣，桓譚的舟船緩緩離開當塗，向淮北駛去，他的族侄桓榮未來相送。
但等那船帆就快消失不見時，桓榮的身影纔出現在碼頭，朝族叔作揖拜別，許久才重新擡起頭來，桓榮臉上，竟已是淚流滿面。
“族叔昔日教誨、資助，桓榮絕不敢忘，然忠君大於宗族之悌、師長之義，既然各爲其主，桓氏二龍，便只能以淮相隔了！”
“自此一別，恐怕再無相見之日。”桓榮是固執的人，哪怕大漢處於弱勢，哪怕未來當真無法戰勝第五倫，他也會效仿劉植等人，殉漢而亡！
而盱眙行轅處，得知桓譚已走，劉秀悵然若失，只在無人時對鄧禹感慨道：“桓譚此來，是第五倫欲在伐兵之後，再度伐謀。”
劉秀當然看穿了第五倫的小伎倆，這哪裡是四千俘虜啊，分明是四千把攪亂南方人心的匕首！
鄧禹頷首：“所幸早早看穿，逐走了桓譚。”
“不然。”這纔是劉秀最無奈之處啊，他說道：“吾等雖千防萬防，但還是中了第五倫詭計啊。”
事後劉秀仔細思索，發現即便拒絕，他仍是踏入了第五倫的陷阱。
劉秀苦笑道：“依照第五倫行事，必定對桓譚使漢大肆宣揚，淮北士民飽受戰亂，期盼休兵；四千淮南、江東被俘兵卒也心生僥倖，覺得有機會返鄉。”
“而今，彼輩得知朕拒絕休戰、換俘，定大失所望，第五倫再加以引導，甚至會對朕與大漢心生恨意。下一場仗，淮北士民、東南俘虜，恐將反戈相向。”
鄧禹是聰明人，立刻明白過來了，頓時驚出了滿身冷汗。
同理，被劉秀拘禁在江東的蓋延、漁陽突騎，聽說第五倫主動換俘，肯定也會心存愧疚，得知劉秀不肯放人，心懷怨念下，又豈會傾力助漢呢？
前後左右都是陷阱，不論往哪邊走都會落得一身污，只能兩害取其輕。
“如此一來，第五倫博得仁德之名，反倒是朕陷於不義了。”
劉秀只唏噓：“今日方知第五伯魚智計百出，絕非虛聞，此人從不無的放矢，每一次引弓，射來皆是毒箭！無怪乎吾兄英雄一世，竟陷於渭水。”
事已至此，又該如何補救呢？鄧禹提議：“既然如此，那四千俘虜家眷，是否要遷入閩中，以絕其亂？”
“不可，朕豈能以小患而失信義於天下？”
劉秀咬牙道：“令人宣揚，就說是第五倫明爲換俘，卻暗藏兵甲，欲渡淮水，故換俘不成，皆乃魏人之責也！”
“再傳密詔，令地方不得刁難四千戶人家，若有孤兒無人撫養，皆收入羽林，朕視之爲赤子！”
既對外表明瞭皇帝的一片赤誠，這些孤兒又相當於人質，足以令那四千淮南俘虜不能全心全意投效第五倫。
鄧禹直道此策高明，但劉秀卻不怎麼高興，甚至有些難過。
“倉促之策罷了，倫以譎，吾以誠，每與倫反，漢方可成事，然今爲第五倫毒計所迫，不得已也用詭譎，朕心不安啊。”
鄧禹連忙安慰：“兵者詭道也，陛下無須自責。”
劉秀卻不這麼認爲：“本當用祖制，以王霸道相雜取天下，如今卻效仿第五倫，同流合污。”
面對這難纏的對手，自起兵後第一次，一向自信的劉秀，竟也有了巨大的無力感，他指着北方，彷彿能看到既得徐，復望揚的強敵
“仲華，若單論玩弄陰謀，縱是吾等加起來，又豈是第五倫的對手呢？”