金人當中更有龍虎大王以下的將官噶克察、千戶高勇等竟秘密接受了岳飛派人送來的飛旗榜，準備岳飛大兵到的時候懸掛迎降，連兀朮極爲倚重的韓常也打算率部倚附。兀朮自知道現在自己已經是衆叛親離了，大勢將去，便仰天長嘆道：“本王自領兵以來，還從未遇到過這種境遇！事已至此，還有什麼可說的！”就打定了主意想領着親信，棄城逃跑。倉皇出走間，路旁忽然閃出一位文弱書生，攔住兀朮的馬頭說道：“大王請慢走，岳飛現在馬上就要退兵了！”兀朮以爲書生是癡人說夢話，不耐煩地回答道：“你一個迂腐書生，懂得什麼！嶽蠻子只用幾千人馬，就攻破本王的十幾萬人馬，中原百姓，日日夜夜的都盼他的岳家大隊到來，本王難道還會坐待俘虜，不管生死嗎？”那書生說道：“大王說錯了，自古以來，哪有奸臣在內，而大將能在外面立功呢？大王雖然並不是岳飛的對手，便岳飛何嘗又是朝內奸臣的對手呢？大王請稍留，不出幾日，岳飛就會撤兵的。”兀朮雖然常年領兵在外，卻風聞金朝與秦檜來往議和的事，經書生如此一說，馬上就醒悟過來，便重賞了那書生，然後掉轉馬頭，仍然回軍汴京。這位飄然而來的神秘書生在歷史上沒有留下名姓。這或許由於他的行爲是爲虎作倀，喪失了民族立場，傷了漢人的感情的緣故。但就算他是個魔鬼漢奸，這個魔鬼漢奸也是精明的。他精通世故，對歷史有着深切的休悟。他與警戒教訓張良的黃石公不同，沒有一星半點的仙氣和鬼氣。他的話是實實在在的，後來的發展印證了他可怕的預言。在岳飛積極聯絡所有抗金力量，積極籌措北進的時候，朝廷使者飛一般的趕到，敦促岳飛班師。岳飛不禁驚問道：“這是何故？”使者答道：“秦丞相與金人議和，已有頭緒，所以請嶽少保撤兵，
以免使和議夭折！”岳飛聽後憤然道：“中原之地已經恢復大半，燕雲之地也將唾手可得，在這個時候爲什麼向言而無信的金人求和，請我撤兵！”朝廷使者聽後也是無言以對，默然而去。岳飛當即向朝廷上奏，請朝廷即時抓住戰機，速賜指揮，令諸路之兵火速並進！
可是高宗和秦檜看了岳飛的奏摺之後，非常惱火，不僅沒有命令其他將領起兵，側應岳飛，反而釜底抽薪，調回了張俊和楊沂中的部隊，使岳飛陷於孤立作戰的境地。岳飛到了這個時候仍不屈服，高宗和秦檜無奈之下，採取了強硬的措施，一天之內連下了十二道金牌，催岳飛速歸。金牌是牌上寫有金字，是朝廷在情況緊急時使用，一見到金牌，任何將領都得絕對服從命令，否則就視爲叛國，在這種情況下，那將在外，君命有所不從是不起作用的。岳飛一日竟接到了金牌十二道，不覺悲痛交加。他知道這一去，是很難再回來的了。即將成真的宏願將永遠胎死夢中了。秦檜賣國求和和岳飛還可以想得通，可是高宗趙構爲什麼對自己的社稷那麼不愛惜，對自己的骨肉那麼絕情呢？岳飛百思不得其解。完了，昔日的凌雲壯志！完了，淪陷區痛苦呻吟的老百姓！完了，大宋的江山社稷！岳飛仰面悲嘆。馬鳴蕭蕭，黃河嗚嗚，似乎在應和着岳飛的悲呼。整個岳家軍都籠罩在悲憤之中。岳雲、牛臬與張憲等追隨岳飛南征北戰、出生入死的次來見岳飛，試圖勸岳飛抗旨，岳飛忍痛斥責了他們。他強忍着心中的悲痛下了班師令，將士們緩緩地挪着腳步。老百姓們聽到這個消息之後，黑壓壓的來了一大片，跪在了岳飛的馬前，哭訴道：“嶽大爺，千萬不能走啊！您一走，我們就不能活了！”岳飛看着眼前痛哭流涕的衆百姓不禁流出了虎淚，取出了金牌說道：“朝廷有令，我不能
擅留啊！”衆人說道：“難道朝廷不要我們了嗎？我們一直盼星星盼月亮盼着你們，可是現在……！”岳飛知道他們留在這裡免不了受金人的蹂躪，下令道：“你們不用悲傷了，願隨我南去的趕快回家準備，本帥等你們五天的時間。”老百姓齊聲應命，五天之後，在岳飛的護送下，扶老帶小，牽羊趕牛，慢慢向南行去。金人雖然知道，但懼於岳家軍，沒有追擊。
岳飛的過分忠誠耿直使他不能像成爲一名智勇雙全的軍事家那樣成爲一名圓滑精明的政治家。他甚至連那位飄然而現，倏忽而隱的白衣書生都不如，竟然對高宗忌言收復的行爲大惑不解！高宗怎麼會樂意收復失地，甚至搗了黃龍府呢？那樣的話，就得迎回徽欽二帝，自己將如何處置他們呢？天無二日，何況三個！當然，如果金人也不諒解他這個苦衷，想用對待徽欽二帝的辦法來對他，那他也會起而抗爭的。他只想做一個偏安皇帝，爲此他可不惜一切地與金人議和。反正，普天之下的所有，都是他自己的。岳飛卻不善於揣測並迎合主子幽暗隱晦的心意，只是一味地輸忠獻誠。紹興九年，宋金議，岳飛就慨然上書趙構，表示反對，說道：“夷狄不可信，和好不可恃，相臣謀國不臧，恐貽後世譏議。”可是自然不會被接受，由此卻大大的得罪了秦檜。紹興和議成後，他又上了一道名爲祝賀，實是抗議的《謝講和赦表》道：“夷虜不情，而犬羊無信，莫守金石之約，難稱尊壑之術。”並且還不合時宜的請戰：“臣願定謀於全勝，期收地於兩河。唾手燕雲，終欲復仇而報國；誓心天地，當令稽顙以稱藩。”這怎能使趙構不惱火！愚忠往往比奸詐更令皇帝討厭，因爲這類人常常固執一理，而不顧及皇帝的隱衷，使其難堪又不敢光明正大的發作，久而久之，終於釀成大禍。
（本章完）