這邊前腳一走，後腳荀攸便說動看守將士，把他給放了出來。荀攸一出來，便急得不行，去追於夫羅吧，這人心意已決，再說也是無用。去朝廷和諸州報信吧，時間上又來不及了。思來想去，荀攸眼睛一亮，把突破點放在了呂布身上。
從之前呂布不遠千里去投奔劉備的行爲來看，這人還是值得挽救一下的。只要說明利害，想必他定然會醒悟過來。荀攸知道貂蟬對呂布有特別的影響力，於是便一頭奔貂蟬這裡來了。
見了貂蟬，荀攸心中一嘆，好個秀麗的女子。旋又正色道：“夫人可知，呂將軍危矣！”
貂蟬正爲呂布擔憂，聞言不覺一驚，乃道：“先生何出此言？”
荀攸沉聲道：“呂將軍竟敢冒天下之大不韙，以下犯上，以臣犯君，攻打洛陽。此番不管洛陽能不能打下來，這天下都將再無呂將軍容身之地！”
“殺丁原、從董卓，此其罪也。誅董卓，此其功也。呂將軍之前有過，而其之誅董卓，則有大功於天下、於社稷。若呂將軍親身入洛陽，覲見天子，尚有位爵之封。爲何冒此粉身碎骨之險，不惜一錯再錯，欲攻洛陽乎？若真如此，四海之內，無人能容呂將軍矣。”
貂蟬聽見，心中一沉，眼淚就下來了，當下便盈盈拜了下去，泣道：“還請先生教我！”
荀攸雙手虛扶，道：“夫人，事尚可爲，還請夫人親書一信，遣使急送至呂將軍處，陳說利害。呂將軍當世英雄，自當醒悟過來。”
當幷州騎一人配三馬，人不卸甲馬不離鞍的一路飛奔到呂布營中時，人與馬都累得直吐白沫了。呂布聽說是貂蟬急信，不由一愣，難道家中出了什麼變故？於是一把奪過信件，拆開一看，臉色就變了。
人都有犯糊塗的時候。呂布之所以同意於夫羅提議，一是覺得自己沒退路了。二是覺得要是能入洛陽城，到時便是他說了算了。第三，也就是最主要的一點，就是時間緊迫，他沒那麼多時間去推敲細想。如今貂蟬得荀攸指點，急信一封，陳說利害。呂布又不是傻子，更何況趨利避害乃人之天性。
信中毫不諱言的告訴呂布，真要攻打洛陽，不管成與不成，將會遭世人遺棄。到時天下真的便無處可容身了。於夫羅則不同，他畢竟是匈奴人，還有返還南匈奴的一條退路。且呂布欲化解諸侯聲討，只要退出河內，天子與諸侯便會鬆一口氣，不會對呂布緊緊相逼。是欲痛改前非，還是欲遺臭萬年，信中讓呂布自行斟酌決定。
大軍最終在平陰停了下來。呂布和於夫羅發生了合作以來的第一次爭吵。
於夫羅想不明白，前方就是洛陽城了，爲什麼呂布卻突然發悔？進了洛陽城，有大把的錢糧、美人可以享受。抓住了天子，天下諸侯哪個敢吱聲？誰他媽不服，老子就把天子給剁了！這麼好的機會，爲什麼要放棄？
呂布卻是徹底想通了。諸侯勤王，不過是不想看到如今大漢名義上的共主出現問題。畢竟天子若出事，天下將又會大亂。而諸侯們卻還未做好準備。那麼自己只需離洛陽遠一點，都還不用退出河內，就可以化解這次危機，幹嘛反應這麼激烈，要和於夫羅綁在一起，去進行一場漁死網破的戰爭？
而且以河內北部爲根基，迅速進攻幷州，這纔是最緊迫的事情。也是之前出山前定好的策略。不容有變。按現在的分析。自己進攻幷州時，除了袁紹會着急，估計其他諸侯都樂見自己如此。之前聽說袁紹與幽州公孫瓚多有不和，兩家怨隙頗深。那麼自己攻打併州，袁紹能派多少人馬出來援助？絕對不多，不然他怎麼應付公孫瓚？
只要不是大軍來援，呂布就不懼任何人。這是他廝殺多年建立起來的自信。
既然如此，洛陽城便算了吧。雖然有於夫羅之策，呂布覺得奪城機率頗高。但他已經不想再被諸侯圍攻了。到時諸侯圍了洛陽城，他就是想逃都逃不出去。有什麼用。而且於夫羅這個傢伙，看上去也不是那麼可靠的樣子。關鍵時刻還要防備他捅刀子。這個傢伙兇殘嗜殺，放他進了洛陽，真搞得洛陽腥風血雨，民怨四起，到時於夫羅率兵一退，所有罪名就要推到自己頭上了。不划算……
短短一瞬間，呂布想了很多，都是在權衡利弊。最後得出結論，這洛陽城，還真不能打。打了絕對是弊大於利。得不償失。
於是召了衆將前來徵詢意見。以張遼、高順爲首的武將們，第一時間就站了出來，表示贊同呂布罷軍的計劃。他們早就想反對了，奈何呂布一意孤行。就算是涼州諸將攻打長安，也不過是因爲朝廷不赦其罪而想自保而已。結果也證明了這一點，涼州將攻入長安，也只是誅殺了王允一黨。長安天子與諸臣，不都好好的麼。
按張遼的話說就是：“我等身爲漢臣，將軍欲以臣伐君，此大逆也，罪在不赦。牽連家小族人不說，死後又有何面目見地下先人？”
呂布嘆了一口氣，道：“傳令三軍，回師河內！卿等活命，全仗荀公達，回去之後，當登門致謝。”
然後，呂布不管於夫羅如何咆哮，如何發怒，率着人馬就要回師了。臨行前，告訴於夫羅，他此番將不在河內逗留太久，將率軍出山陽，過蔡城，越過太行山，攻打上黨。單于若還想合作，便一同行軍。若單于有他意，那麼也就好聚好散，就此分別。
最後，呂布看了一眼遠方隱約的洛陽城。洛陽，繁花似錦的所在，可惜，不能去了。呂布並未聽從荀攸信中的建議，親身入城，覲見天子。將軍離開了他的軍隊，離開了他的士兵，便如撥了牙的老虎，還有什麼用？呂布自負勇力，也不敢拍着胸脯說在皇宮中，能空手對付一羣羣的刀斧手和弓箭手。還是遠遠的走開比較好。爵位什麼的，不能當飯吃，這年月，有地盤、有軍隊，纔有實力說話。
當張飛與夏侯惇飛奔到洛陽時，呂布和於夫羅早就過了黃河了。而呂布親書的奏章，也擺在了皇帝的案頭。
呂布在奏章中，把自己擺得很低，說昔年受董卓之惑，做了一些錯事。如今翻然悔悟，是以聽從朝廷聽從司徒王子師之命，誅除董卓。而後涼州諸將叛，自己寡不敵衆，只好出奔武關。諸侯不念新功，只記舊惡，拒而不納，自己只好率着殘軍四處流浪，若不是於夫羅單于所救，自己等人只怕是早已餓死於道旁……今據河內，亦不過是想來河內就食，以養軍隊罷了。實無冒犯陛下天威的意思。如今自己既然讓天子和諸侯不安，那麼自己爲了避嫌，將會退出河內。還望陛下明鑑……
“哼！呂布、於夫羅，狼子野心，天下誰人不知？若不是諸侯各遣援兵，其會退兵？”天子忿恨不已。天子今年已經十七歲，少年郎已經懂得了許多。
在他看來，他這個天子，實在是做得沒意思。跟春秋、戰國時的傀儡周天子差不多。雖然爲天下共主，四海至尊。可是要人沒人，要錢沒錢，要兵沒兵。除了河內、河南、河東、弘農這四郡。天下他便竟然任命不了一個縣令，一個太守。更不用說州牧了。冀州韓馥要退位，竟然不請示朝廷，就直接與袁紹私下交易了；幷州，袁紹說打就打了，說私命州牧就私命州牧了……自己除了事後給他們補上一道手續，以表明他們的正當性，還有什麼用？
此時的天子，一想到此節，便無比痛恨起先帝和益州牧劉焉來。就是父皇胡作非爲，導致天下大亂，民不聊生，地方守令與豪強勾結，不尊朝廷號令。就是劉焉，一心想着己身安危，於是在中平五年向先皇建議設州牧，以重臣出鎮，以安定天下。
結果如何，現在看到了。如今的朝廷，已經完全失去了對地方、對郡一級的完全控制權。而以州爲單位的大割據集團正在逐漸形成了。帝國希望控制地方的最後一次努力失敗了，而且這一次決定，使得帝國在政治上的分裂趨勢，更爲明顯。
天子自然知道，這不是什麼好現象，而是要滅國的先兆。可是，他對此無能爲力，只能眼睜睜看着這一切的發生。偌大的一個帝國，傳承數百年，卻要在他的手裡，黯然收場，他的內心，又何嘗不充滿着痛苦和煎熬。
張飛與夏侯惇到洛陽時，呂布與於夫羅已遠走。既然敵軍走了，他們也自然不會再追上去打生打死抓住不放。這沒有必要。當然，來了洛陽，不覲見下天子，非人臣禮。所以留軍於城外，兩人結伴，往大鴻臚寺報備，欲拜見天子。
大鴻臚卿對兩人倒是很客氣，爲他們安排了館舍，說將會盡快告之尚書檯，到時天子自會有旨意下來。兩位將軍耐心靜候便可。