前者陸抗攻佔弋陽，引得朝議紛紛，在征討主將的人選上，羣臣各有不同的意見，王濟力諫劉淵，但卻遭到了其他人的反對，認爲劉淵乃是異族，其心叵測，不可付之以兵權。
司馬炎權衡再三，也就沒有采納王濟的提議，而是改派豫州都督陳騫帶兵出征了。
但此事卻並沒有由此而得到平息，賈充密諫司馬炎，認爲劉淵擔任上黨太守，而上黨距離京師洛陽極近，倘若劉淵懷有異心的話，恐怕會爲禍朝廷，所以賈充建議司馬炎將劉淵調離上黨，改到幽州偏遠郡國任職，以防萬一。
如果是盛世年月，晉國兵雄馬壯，倒也不擔心匈奴人會作亂，但現在不同，蜀吳不斷滋擾邊境，晉國內部亦是矛盾重重，內憂外患之下，司馬炎也不得不慎重考慮賈充的提議，而上黨也確實是懸在洛陽頭頂上的一把刀，爲了消除潛在的威脅，司馬炎下詔將劉淵改任幽州帶方郡太守。
帶方郡在朝鮮半島，遼東太守公孫康爲了擴張勢力，析樂浪郡南部的七個縣出來劃爲帶方郡，征討當地部落勢力，並以帶方爲基地節制朝鮮半島南方的三韓地區。
景初二年司馬懿率軍東征，大破公孫淵，將樂浪郡和帶方郡收歸朝廷管轄。不過帶方郡做爲魏晉極邊的郡國，與當地部落衝突不斷，局勢一直無法穩定，司馬炎將劉淵調往帶方郡，一來是利用其勇武之力平定帶方叛亂，二來是將劉淵調往萬里之外，以消除隱患，帶方在極邊極遠之地，就算把帶方的天給捅破了，也不會關乎中原的局勢。
朝廷的這一紙調令，讓劉淵甚感憤慨，帶方是遼東苦寒蠻荒之地，雖然表面上看起來這不過是一次平調，但貶謫的意味卻很濃厚，劉淵是因爲救駕之功才被封爲了上黨太守的，在上黨太守的任上，表現也是可圈可點，並未有任何的過失之處，遭到如此貶斥，劉淵自然是心生不滿。
詔書下達之後，王濟的書信也跟着到來，王濟在信中具述詳情，這才讓劉淵恍然大悟，原來是司馬炎生出了猜忌之心，故而纔將自己調往邊遠的帶方郡。
這讓劉淵甚爲感慨，看來自己匈奴人的身份是永遠也無法獲得司馬炎的信任了，匹夫無罪，懷璧其罪，自己想的看來真的是太天真了，以爲憑着自己的能力和努力，就可以一步步地融入漢人的仕圈之中，封官拜爵，封妻廕子。
一紙調令，讓劉淵的夢碎了，如果尊從司馬炎的旨令前往帶方，那麼自己很可能終其一生不過做一個邊郡太守，將來老死於蠻荒苦寒之地，這讓劉淵着實不甘心。
他現在畢竟還相當地年輕，十八歲正是血氣方剛心懷遠志的年齡，讓他去邊遠蠻荒的帶方郡，一萬個不願意，不過劉淵並沒有公然地抗旨，當着欽差的面，他交出了上黨郡的印信，接受了帶方郡的印信，整個的交接儀式異常的平和，只是臨完之際，劉淵向欽差告了個假，希望在上任之前，可以回家探望一下家人。
對於劉淵的態度，欽差表示極爲地滿意，何況他的這點小小要求，一點也不過分，即將起程前往萬里之外的地域，何時回還尚不得知，與家人分別前小聚一場，無論是法度還是人情都說得過去。
於是，劉淵離開了上黨郡，回到了汾水河畔的茲氏縣。
曹操將匈奴分爲五部，令其北部居新興縣，中部居大陵縣，南部居蒲子縣，右部居祁縣，左部居茲氏縣，五部各設部帥，劉淵的父親劉豹就是左部帥。
劉豹已過了花甲之年，膝下只有劉淵這麼一個兒子，中年得子的他將劉淵視作掌上明珠，關於劉淵的出生，還有一段軼事，曹魏嘉平年間，劉豹的妻子呼延氏曾在龍門祈求神賜給她兒子，不一會兒，有一條頭上長有兩隻角的大魚，擺動着鰭，晃動着鱗游到祭神的地方，很長時間以後才遊走。巫師們見到這種情景都感到非常奇異，皆道：“這是吉兆。”當天晚上呼延氏夢見白天所看見的那條魚變成人。他左手拿着一樣東西，約有半個雞蛋大，景象誘人。他交給呼延氏說：“這是太陽的精華，吃下它就能生下貴子。”夢醒之後，呼延氏把她做的夢講給劉豹聽，劉豹說：“此乃吉兆。以前我讓邯鄲張冏的母親司徒氏給我看相，她說我會子孫顯貴，三代昌盛，看來司徒氏誠不欺我。”此後，過了十三個月，呼延氏生下兒子劉淵。劉淵出生時，左手上有淵字的紋路，於是劉豹就以淵作爲他的名字。
劉淵去做上黨太守的事，其實劉豹並不贊同，認爲將來劉淵繼承自己左部帥的位置，比給晉人做官更有前途，此刻聞劉淵回來，劉豹是欣喜不已，出城十里相迎。
劉豹雖然年過六十，但長年的馬上征戰，讓他看起來一點也不顯老，精神矍爍，氣宇昂揚，看到兒子下馬過來，劉豹上前便是一個熊抱。
匈奴人和漢人的禮儀有着很大的不同，匈奴人自然是熱情豪爽的多。
劉豹瞪着眼衝着兒子道：“怎麼這麼有閒，想起回來看你老子了？”
劉淵自從到洛陽當了人質了，劉豹就再也看沒看到兒子了，後來劉淵做了上黨太守，也一直沒有回茲氏縣匈奴左部，屈指算算，也至少有三四年父子倆都沒有相見了。
劉淵笑了笑，道：“你不是一直盼着我回來，不當晉人的的奴才嗎？這回就遂你的願，我回來就不走了。”
劉豹明顯地一怔，追問道：“是你自己辭官不做了，還是人家把你給罷免了？”
劉淵笑道：“這有區別吧？”
劉豹一瞪眼，道：“區別大了去了，如果你自己乾的不順心，辭官不做了，你老子我還可以接受，如果是有人排擠你，將你罷免了，那可不成。”(。)