幸好，蘇武這一刀沒刺到要害，經過醫生的一番搶救，總算是醒過來了。可這事兒還沒完呢，虞常被審的時候，把張勝供出來了。單于一聽，更是大怒，他本來想著和漢朝修好呢，現在漢朝使者居然在他眼皮子底下搞這種小動作，這還得了？他就想把漢朝使者都殺了，後來在大臣的勸說下，才決定先試著招降他們。
於是，單于就派衛律去審蘇武。蘇武被帶到了大堂上，他雖然身體還很虛弱，但眼神裡透著一股堅定。他對常惠他們說：“我是漢朝的使者，怎麼能因為這點威逼就投降呢？要是我投降了，那就是背叛國家，我寧可死也不幹。” 說完，他又要自殺，衛律都驚呆了，他沒想到蘇武這麼硬氣，趕緊讓人攔住蘇武，然後又叫來更好的醫生給蘇武治療。
單于一看蘇武這麼難搞，就想了個損招。他把蘇武囚禁在地窖裡，不給吃的也不給喝的，就想讓蘇武屈服。這地窖又黑又冷，像個地獄一樣。蘇武被扔進去後，周圍一片死寂，只有他自己的呼吸聲。可蘇武沒有害怕，他心裡想著漢朝，想著自己的使命。這時候，天上下起了大雪，地窖裡也飄進了雪花。蘇武渴了餓了，就抓一把雪，再扯下身上的氈毛，一起嚼碎了嚥下去。就這樣，過了好幾天，蘇武居然還沒死，匈奴人都覺得他是神仙下凡了，驚訝得不得了。
單于一看這招不行，就又想出一個更狠的辦法。他把蘇武流放到北海（就是那個老遠老遠的貝加爾湖地區）去放羊。還對蘇武說：“你不是不投降嗎？那你就去放羊吧，什麼時候這些公羊生了羊羔，你就可以回漢朝了。” 這分明就是故意刁難嘛，公羊怎麼可能生羊羔呢？蘇武心裡明白，但他什麼也沒說，就帶著那些公羊，朝著北海走去。
北海那地方，真是荒涼啊，一眼望去，全是白茫茫的雪地和光禿禿的山脈。蘇武一個人在那兒，身邊只有那些羊。他每天都要去找吃的，可哪有什麼吃的啊？他就只能去挖野鼠洞，看看洞裡有沒有草籽之類的東西。有時候，挖了半天，也找不到多少，餓得肚子咕咕叫。
不過，蘇武有個寶貝，就是他手裡的那根漢節。這漢節代表著漢朝，代表著他的使命。他不管走到哪兒，都拿著漢節。日子一天天過去，風吹日曬的，那漢節上的旄尾都掉光了，可蘇武還是緊緊地握著它，就像握住自己的命根子一樣。
就這樣，蘇武在北海度過了一個又一個春夏秋冬。他的衣服破了，就用草繩系一系；鞋子壞了，就用獸皮補一補。他的頭髮和鬍子越來越長，臉上也佈滿了皺紋，可他的心一直沒變。
有一年冬天，雪下得特別大，蘇武的羊都走散了。他在雪地裡找啊找，摔了好幾個跟頭，手腳都凍僵了。好不容易把羊找回來，他自己也累得夠嗆。回到他住的那個小破屋子，他抱著漢節，坐在角落裡，心裡想著漢朝的親人，眼淚在眼眶裡打轉。
還有一回，他遇到了匈奴單于的弟弟於靬王。這於靬王來北海打獵，看到蘇武一個人在這兒過得這麼苦，有點不忍心。他發現蘇武還挺有本事，會結網紡線，還能矯正弓弩。於靬王就對蘇武有點好感，經常給他送點吃的和生活用品。蘇武的日子這才稍微好過了一點。可好日子沒持續多久，於靬王就病死了，他的那些手下也都走了。這還不算完，有個丁令部落的人，看到蘇武一個人好欺負，就把他的牛羊都搶走了。蘇武又陷入了困境，他只能重新開始尋找食物，繼續艱難地活下去。
在漢朝這邊，漢武帝一直惦記著蘇武他們呢。可匈奴那邊一直說蘇武死了，漢武帝也沒辦法。時間就這麼一年年過去，漢武帝去世了，漢昭帝即位。這漢昭帝也是個有想法的皇帝，他覺得和匈奴老是這麼打也不是個事兒，就想和匈奴議和，還打算和親呢。
漢朝這邊就對匈奴說：“你們得把我們的使者都放回來啊，尤其是蘇武，他要是不