苏武口渴时就吃雪止渴，饿了扯下身上穿的皮带、羊皮片啃着充饥，竟然几天都没有饿死。匈奴人都以为有神助，无可奈何的单于就把苏武送到北海（今俄罗斯的贝加尔湖），让他在那里放牧公羊，说是等到公羊生了小羊才让他回汉朝去。同时把他的部下及随从常惠等人，分别安置到不同的地方。苏武到了北海，身边什么人都没有，唯一和他做伴的是那根代表朝廷的旌节。匈奴人有时不给他口粮，苏武就掘野鼠洞里的草根充饥。五六年后，单于的弟弟到北海打猎，他给了苏武一些生活用品，苏武的日子才好过一点。

    当初，苏武与朋友李陵都为侍中。苏武出使匈奴的第二年，李陵兵败后投降了匈奴，可他不好意思去见苏武。后来，单于派遣李陵去北海劝降苏武，李陵说：“你终究不能再回归汉朝了，白白地在荒无人烟的地方受苦，谁又能明白你的心呢？你大哥与弟弟，都因为犯错自杀了。我离开长安的时候，你的母亲也已经去世，而你的夫人听说也改嫁了。家中只有两个妹妹，两个女儿和一个男孩，如今又过了十多年，生死不知。人生就像早晨的露水，何必长久地这样折磨自己！我刚投降时，心中也觉得对不起汉朝，加上老母亲被拘禁，你不想投降的心情，怎么能超过当时的我呢！希望你听从我的劝告，投降算了！”

    苏武说：“我苏武父子无功劳和恩德，都是皇帝栽培提拔起来的。现在能有效忠国家的机会，即使是受到极刑，我也心甘情愿。希望你不要再说了！”李陵与苏武共饮了几天，又说：“你一定要听从我的话。”苏武说：“单于一定要逼迫我投降，那么就请结束今天的欢乐，让我死在你的面前吧！”李陵看见他对朝廷如此忠诚，慨然长叹道：“啊，苏武真是义士呀！我李陵与卫律的罪恶，上能达天！”说完，眼泪浸湿了衣襟，于是告别而去。李陵不好意思亲自送礼物给苏武，让他的妻子给了苏武几十头牛羊。

    后来李陵又到了北海，他对苏武说：“边界上抓住了云中郡的一个俘虏，说是皇上死了。”苏武听到这个消息，顿时口吐鲜血，面向南方放声大哭，伤心达数月之久。

    公元前85年，匈奴的单于死了，匈奴发生内乱，分成了三个国家。新单于没有力量再跟汉朝打仗，又打发使者来求和。那时候，是汉武帝的儿子汉昭帝即位。朝廷问起苏武等人，匈奴撒谎说苏武已死。后来汉朝的使者到了匈奴，常惠悄悄地在夜里见到了汉使，述说了十几年来在匈奴的情况。汉使就对新单于说：“我们天子在上林苑中射猎，射得一只大雁，脚上系着帛书，上面说苏武等人在北海。”