緱王是昆邪王姐姐的兒子，與昆邪王一起降漢，後來又跟隨浞野侯陷沒在匈奴，以及衛律所帶領的那些被迫投降匈奴的人中，暗中共同策劃綁架單于的母親閼氏歸漢。
無巧不成書，他們在策劃這次行動的時侯正好碰上蘇武等人到匈奴出使。
虞常在漢的時候，一向與副使張勝有交往，私下拜訪張勝，說：“聽說漢朝天子很怨恨衛律，我虞常能爲漢朝解決這個禍患，準備事先埋伏弩弓將他射死。
我的母親與弟弟都在漢朝，希望得到皇帝的賞賜。”
張勝許諾了他，把財物送給了虞常。
一個多月後，單于外出打獵，只有閼氏和單于的子弟在家。
虞常等七十餘人將要起事，其中一人夜晚逃走，告發了這件事。
單于的子弟發兵與他們交戰，緱王等都戰死，虞常被活捉。
單于派衛律審理這一案件。張勝聽到這個消息，擔心他和虞常私下所說的那些話被揭發，便把事情經過告訴了蘇武。
蘇武說：“事情到了如此地步，這樣一定會牽連到我們。受到侮辱纔去死，更對不起國家！”
蘇武因此想自殺，張勝、常惠一起制止了他。
虞常受不住單于的刑罰，果然供出了張勝。
單于大怒，召集許多貴族前來商議，想殺掉漢朝使者。
左伊秩訾說：“假如是謀殺單于，還有什麼更嚴的刑法呢可以用呢？
應當叫他們全部投降，才能體現出單于的威嚴。”
單于派衛律召喚蘇武來受審訊，蘇武對常惠說：“我作爲大漢的使節在這裡喪失氣節、玷辱使命，即使活着，還有什麼臉面回到家鄉去呢！”
蘇武說完便拔出佩帶的刀自刎。
衛律大吃一驚，親自扶好蘇武，馬上命人騎快馬去找醫生。
醫生在地上挖一個坑，在坑中點燃微火，然後把蘇武臉朝下放在坑上，踩他的背部，讓淤血流出來。
蘇武本來已經斷了氣，這樣過了好半天才恢復氣息。
常惠等人哭泣着，把蘇武擡回營帳。
單于認爲蘇武的氣節值得敬佩，早晚派人探望、問候蘇武，而把張勝逮捕監禁起來。
蘇武的傷勢逐漸好了。單于派使者通知蘇武，一起來審問處罰虞常，“殺雞給猴看”想借這個機會使蘇武投降。
單于派人審問了虞常，當場將他斬首，
衛律說：“漢使張勝，謀殺單于親近的大臣，判處死罪。單于招降的人，赦免他們的罪。”
他舉劍作勢要擊殺張勝，張勝自承有罪請求投降。
衛律對蘇武說：“副使有罪，應該連坐到你。”
蘇武說：“我本來就沒有參與謀劃，又不是他的親屬，怎麼談得上連坐？”
衛律又舉劍對準蘇武，蘇武像山嶽一般巋然不動。
衛律說：“蘇君！我衛律以前背棄漢廷，歸順匈奴，幸運地受到單于的大恩，賜我爵號，讓我稱王；
擁有奴隸數萬、馬和其他牲畜滿山，如此富貴都是單于賞賜的！
蘇君你今日投降，明日也是這樣。白白地用身體給草地做肥料，日後又有誰知道你呢！”
蘇武聽後如泥雕木塑般毫無反應。
衛律說：“你通過我而投降，我與你結爲兄弟；今天不聽我的安排，以後再想見我，還能得到機會嗎？”
蘇武痛罵衛律說：“你做人家的臣下，不顧及恩德義理，背叛皇上、拋棄親人，在異族那裡做投降的奴隸，我爲什麼要見你！
況且單于信任你，讓你決定別人的死活，而你卻居心不平，不主持公道，反而想要使漢皇帝和匈奴單于二主相鬥，旁觀兩國的災禍和損失！
南越王殺漢使者，結果南越九郡被平定。
大宛王殺漢使者，自己頭顱被懸掛在宮殿的北門。
朝鮮王殺漢使者，隨即被討平。
唯獨匈奴尚未受到懲罰。
你明知道我決不會投降，想要使漢和匈奴互相攻打。
匈奴的災禍，將從（殺死）我蘇武開始了！”
衛律知道蘇武終究不受脅迫投降，報告了單于。
單于這個人，越是得不到的東西越想得到，於是越發想要蘇武投降，就把他囚禁起來，放在大地穴裡面，斷絕供應，不給他喝的、吃的。
天氣寒冷，下着大雪，蘇武臥着嚼雪，同氈毛一起吞下充飢，幾日不死。
匈奴認爲這是神在幫他，就把蘇武遷移到北海邊沒有人的地方，讓他放牧公羊，公羊生了小羊才能回來，這分明就是在刁難他呵。
將他的隨從官吏常惠等人，分別投放到另外的地方安置。
蘇武遷移到北海後，匈奴發給的糧食他拒絕吃，靠掘野鼠、收草實來吃艱苦度日。
拄着漢朝的旄節牧羊，睡覺、起來都拿着，消耗得太快以致系在節上的犛牛尾毛全部脫盡。
就這樣蘇武一直過了五、六年。
有一天，單于的弟弟於靬王到北海來打獵，遇到了蘇武。
蘇武擅長結網和紡制系在箭尾的絲繩，還會矯正弓弩，於靬王頗器重他，供給他衣服、食品。
蘇武的日子才稍微好過了一些。
三年多過後，於靬王得病，賜給蘇武馬匹和牲畜、盛酒酪的瓦器、圓頂的氈帳篷。
於靬王死後，他的部下也都相繼遷離了北海。
這年冬天異常寒冷，丁令部落盜去了蘇武的牛羊，蘇武又陷入窮困。
當初，蘇武與李陵在大漢朝廷一起做官，彼此打過交道。
蘇武出使匈奴的第二年，李陵戰敗投降了匈奴，當時李陵心存羞愧之心，不敢訪求蘇武。
時間一久，李陵思漢之心漸漸淡去，於是單于派遣李陵去北海，爲蘇武安排了酒宴和歌舞。
李陵趁機對蘇武說：“單于聽說我與你交情一向深厚，所以派我來勸說足下，願意真誠地對待你。
你終究不能迴歸漢朝了，白白地在荒無人煙的地方受苦，你對漢朝的信義又怎能有所表現呢？
以前你的大哥蘇嘉做奉車都尉，跟隨皇上到雍棫陽宮，扶着皇帝的車駕下殿階，不小心碰到柱子，折斷了車轅，被皇上定爲大不敬的罪，被逼用劍自殺了，皇上只不過賜錢二百萬用以給他下葬。