建興四年四月，也就是大約一年半以前，劉曜在大荔城下爲裴該所破，一路北躥，最終退出馮翊郡，逃到了故漢上郡境內。
上郡漢初始置——當然啦，當時面積沒有後來那麼大——漢自武帝伐匈奴，向北方拓殖近千里，直抵河套地區，先後設置了雲中、五原、朔方等一級區劃，與上郡、太原等同屬幷州刺史部。上郡一度範圍極廣，南起漆垣，北抵楨林，東近黃河，西包奢延澤——大致相當於後世的延安、榆林兩個地級市。
然而到了漢季，中原大亂，西戎趁勢而起，帝國西北疆域逐漸向南方收縮，逮至晉代，包括上郡在內的幷州河西地區，已然盡入羌胡之手了。
劉曜北躥後，即遁入故上郡高奴殘城（在後世延安市附近），舔舐傷口，圖謀東山再起。
包括上郡在內的故漢幷州河西地區，如今中原人士數量已經微乎其微，基本上被氐、羌所佔據，最北部還有劉虎的鐵弗部。劉曜雖敗，尚有二三萬殘兵，加上他胡漢政權雍王的號召力，想要召聚戎部，擴充勢力，原本是並不爲難的事情。奈何近十數年前，虛除部崛起，在故漢上郡內建立起了一個鬆散的大聯盟，多數氐羌都俯首臣服，留給劉曜下嘴的地方實在不多啊。
尤其劉曜之與虛除，從前勉強可算爲友，如今卻徹底撕破了臉皮。好在劉曜尚且捏着虛除伊餘爲人質，他想靠這個人質從虛除部索取好處，那是癡心妄想——虛除權渠若爲了兒子的安危，輸人輸糧於劉曜，則必然威望大墮，聯盟分崩離析——然而卻可以保證權渠在一定時間內不會全力來攻。
至於這一定時間是五年、十年，還是半年、一年，那就不好說了。但就理論上來說，倘若五年、十年過去，劉曜仍然無法重整旗鼓，那他遲早是被虛除吞併的命運。
想當日才抵高奴之時，劉曜就喚來親信司馬劉均，向他問計：“我一時輕敵，爲裴該所破，竟被逐離中國，而至戎地，不知道可有反擊之策啊？子平何以教我？”
劉均反問道：“孰謂此處爲戎地？”
隨即解釋：“上郡漢初即設，郡治膚施尚在北方五百里外，昔匈奴右賢王侵擾漢土，文帝遣灌嬰率軍抵禦……”伸手朝地上一指，“便在此處，高奴，敗右賢王，迫其退歸草原……”
他話還沒說完，劉曜卻突然間壓低聲音，插嘴問道：“子平，我等雖從光文皇帝，紹續漢業，重建漢基，然而……我等究竟是匈奴，還是漢呢？”
劉均凝視着劉曜的眼睛，一字一頓地回答道：“我等是中國人，遑論匈奴與漢？晉人或目我爲胡，其實我本匈奴別部屠各，隨之南遷，數世居於幷州，難道還不能算是中國人麼？若不爲中國人，如何建號稱帝，駕馭中原百姓？此光文皇帝建號皇漢之本意也！明公慎勿別起他心，若欲復爲匈奴，恐怕只能在此處，甚至更往北方去遊牧，不能復歸中原了。”
劉淵不但久居幷州，幼習詩書，中國化很深，而且他跟幾百年前的匈奴單于不同，對於中國之大、人口之密更有了清晰的認知。漢朝建立之初，不但百廢待興，而且疆域狹小，直轄人口可能還不到千萬，與雄踞草原的匈奴帝國相比，也就人口數略佔上風而已。但經過多年積聚，可能到文、景之時，就已經恢復到秦代兩千萬的人口數了，逮西漢末年，更躥升到五千萬之巨。
此後雖然經過多次改朝換代的大亂，到西晉初年，朝廷統計在冊的人口數也有一千六百萬，若加上大量隱戶，必在兩千萬以上。相對的，匈奴帝國已經徹底崩潰，包括屠各在內的匈奴各部，恐怕總人口還不到中國的一個零頭。則在這種情況下，若想張胡幟以馭中原，難度是非常之大的。
因而劉淵初起兵，就自稱是炎劉之外孫，建號爲漢，追尊劉禪爲孝懷皇帝，建漢高祖以下三祖五宗之廟。然而這一政策初始確實蠱惑了不少的晉人追從——誰叫司馬家實在混蛋呢——但其後久久不能底定中原，所部又殺掠過重，中國的人心便即逐漸背離。說白了，劉曜日益感覺到“漢”這面旗子不大好使了。
在原本的歷史上，劉曜在奪取了政權之後，就悍然扯掉了遮羞布，改國號爲趙，以冒頓單于配天，而光文帝劉淵配上帝。雖然根據後世的研究、分析，前趙的中國化與民族融合，其實程度比稱漢時更爲深入，但劉曜長安政權與劉淵平陽政權不同，名義上是個徹頭徹尾的胡人王朝，那是不會錯的。
爲什麼會如此呢？劉曜爲何要改國號呢？原因大概有二，一是對劉淵祖孫三代想要借屍還魂的手法不以爲然，並且逐漸發覺毫無益處；二就是他對劉粲惡感日深，雅不願直繼其後。
歷史雖然已被改變了，但劉曜的想法卻按照慣性在持續發酵。就前者而言，平陽之勢日蹙，胡漢旗號沾滿了灰塵，使劉曜日益喪失信心；而就後者而言，劉粲的態度也讓劉曜寒透了心。
他還在大荔城下時，就曾經多次遣使平陽，請劉粲發兵牽制晉師，但劉粲正忙着內鬥——徹底扳倒劉乂，並且自己得爲皇太子——根本理都不理啊。
劉曜不禁心想，你還當我是你家臣屬，是光文皇帝的侄子麼？你再繼續這麼搞下去，國家怎可能會有前途啊！
因而漸起自立之心，就趁着今天問計的機會試探劉均。然而劉均卻明明白白地勸說他打消這個念頭——不以中國人自居，你就沒有大義名分重歸中國，且若此時和平陽徹底決裂，咱們就更無勝算，遲早會被擠迫回草原上去。
劉曜聞言，不禁長嘆一聲，說：“我等還有復歸的希望嗎？”
劉均說有的，隨即就爲劉曜分析，說：“石公尚在河北，局勢尚未糜爛，且有石公在，劉粲也不敢遽罷明公。則東西兩相呼應，可搖撼平陽政局；東西兩相夾輔，國家尚有希望。晉人不過迴光返照而已。”
然後獻計，說無論對晉人還是對咱們來說，如今最重要的就是時間。裴該雖然得勝，但不敢遠追，近日聽聞他南下長安，去謀奪政權去了。倘若被裴該、祖逖二人穩定了河南、關中，合力渡河而北，局勢才真的不可收拾……所以，咱們絕不能讓他們踏實積聚。
爲今之計，明公在高奴，要一方面籠絡周邊部族，逐漸削弱虛除之勢，再與朔方的樓煩公（劉虎）結盟，有這麼兩三年時間，就有機會平滅虛除，吞併境內氐、羌。這兩三年時間，對咱們和對晉人都很關鍵，倘若晉人先緩過勁兒來，揮師向北伐我，或徵平陽，咱們的機會就很渺茫了。故此，必須持續不斷地騷擾關中地區，以牽絆裴該前進的腳步。
劉曜皺眉問道：“我軍新敗，銳卒多死，士氣低落，如今哪還有力量南下騷擾晉地？且若勉強興師，又何來時間恢復乃至積聚啊？”
劉均笑道：“初始一年，自然不可妄動……”
他說預估裴該鎮定雍州，需要半年到一年的時間，然後就必然會西進去吞併司馬保。涼州張氏素來恭順，那麼只要拿下秦州，與涼州連成一氣，裴該便無後顧之憂，可以聯合祖逖，發動對平陽的猛烈攻勢了。這段時間，我等可以暫時蟄伏，徐徐恢復，要等到裴該真跟司馬保交上了手，那時再南下騷擾。
到時候，裴該就會陷入兩面遭敵的窘境，即便他的力量足以在擊破司馬保的同時，還能夠抵禦我等南下騷擾，力量也必然會被分散，且導致在平定秦州之後，會趕緊回過頭來追殺我等。然而故漢上郡內多高原、丘陵，大軍不便行進，裴該若遣偏師來，我等勝算很大，若將主力來，我等便北遁朔方，向劉虎去求取增援。裴該想要平定上郡，或者徹底擊垮咱們，將比攻伐秦州困難許多，而且必然遷延日久。
既然知道我等隨時都可能南下侵擾，則裴該在基本上解決了咱們的問題之前，他是不敢發主力以向平陽的，則是咱們的牽制，給了平陽以足夠的積聚和準備時間。
再說河南方面，沒有裴該的策應，祖逖若單獨渡河北進，勝算不大。因此考慮到祖逖的志向，以及他的年紀，必然會反覆要求裴該出兵，共同渡河，裴該若允，我等可以加大騷擾的力度，斷其後路，若不允，裴、祖之間必起齟齬。
到了那個時候，我等勢未必衰，平陽已有萬全準備，再加河北石勒的協助，則擊敗晉人頗有勝算。
當然啦，劉均最後也說，我這種設想多少有點兒一廂情願，實際上各方形勢的變化都可能逸出我的預先盤算——變數最大的，就是河北石勒。但是隻有明公你保持信心，發揚不屈不撓的精神，見招拆招，咱們總有南歸中原的一天——“又何必頹喪若此，而謀他圖呢？”
形勢的發展，確實出乎了劉曜和劉均的意料之外，但基本上還是向好的方向前進。首先，石勒揮師入並，劉琨戰敗逃亡；其次，裴該平安定，滅盧水胡，彭夫護率殘兵北遁，最終投向了劉曜，使其勢略有恢復。
還有第三點，即劉粲原本想要趁着劉曜兵敗的機會，或下詔斥責，甚至於直接罷黜其職，把他徹底踩得翻不了身，但最終還是聽取了太師、汝陰王劉景的建言，反倒遣使高奴，好言撫慰劉曜——雖然沒給他一兵一卒、一粒米糧的資助，僅僅是表示了口頭上的支持。
於是劉曜略略緩過勁兒來，便開始聽從劉均的建議，打算髮兵南下，騷擾雍州了。
裴該率軍西征，以平秦州，如此大規模的軍事行動，自然不可能瞞得了人，劉均認爲這是一個大好機會，於是慫恿劉曜，兩道南征。
只是劉曜的實力還不足以全面與裴該相抗衡，再加虛除權渠覬覦在側，因而劉均的建議，一是讓彭夫護組建“還鄉團”，南攻安定，二是請劉粲下詔，命劉虎南下侵擾馮翊——劉曜遣大將劉述率一千兵馬爲其嚮導。
……
對於劉曜可能會南下騷擾，裴該自然也有所防備。他將大司馬所部分爲三軍，乃命陶侃率後軍屯紮馮翊，同時防北方的劉曜和河東的劉粲，命郭默率前軍屯紮北地，也要謹防劉曜和虛除。
此次裴該親率大軍西向秦州，沒動陶侃的一兵一卒，但卻命郭默南下略陽，剿滅苻氐。這主要是考慮到，劉曜若南，從東面發兵的可能性比較大，直取安定的可能性比較小，而安定正北主要是虛除部的遊牧區域，虛除權渠從嚴格意義上來說，還算是晉臣。
虛除部原本就附晉，劉曜勢大之時，其酋大權渠雖然被陳元達說動，遣子伊餘率兵相助，但隨即兩家就撕破了臉，裴該趁機遣使冊封權渠爲鎮北將軍，加以羈縻和籠絡。虛除權渠盛情款待了晉使，表態說自己從前是受胡人所惑，冒犯王師，如今已然洗心革面，再不背反了，還請求裴該的資助，以便他攻滅劉曜，戴罪立功。
當然裴該也知道，伊餘還在劉曜手中，要權渠馬上不顧兒子的生死發兵，可能性是很低微的，因此他只答應在邊境上與虛除部展開互市，交易物資，卻一個銅子兒都不肯白白贈與——再說他本人也沒什麼富裕物資啊。
但是裴該沒有料到，彭盧竟然會爲劉曜前驅……
且說劉虎自朔方南下，率鐵弗兵七千，在劉述的指引下，來擾馮翊。陶侃率兵逆之於梁山，利用地形之便，多次挫敗劉虎的攻勢。劉虎被迫轉道而西，又沿北洛水西岸而南，孰料陶侃早有準備，在粟邑以北設伏，大敗鐵弗兵。
與此同時，彭夫護率兩千餘衆來擾北地。本來他這點點兵馬，不是郭默前軍的對手，但安定郡內、涇水以北地區，各族雜處，其中有很多部族數代以來都受彭盧的統治，心向故主之人不在少數……
彭夫護得了舊部呼應，率兵奇襲都盧，縣令逾垣而走，城池幾乎陷落。幸虧郡功曹魯憑正好行縣，當即接過了指揮權，攖城固守，才勉強保得縣城不失……