匈奴使者回匈奴去。当苏武在匈奴完成任务准备返汉时，一件意外的事情发生了。前些时候投降匈奴的汉使卫律有个部下叫虞常，想要谋杀卫律归汉。这个虞常在汉朝时与张胜私交甚好，就把整个计划跟张胜说了，张胜赠送钱物以示支持，没想到虞常的计划还没实施就泄露了。苏武因张胜而受牵连，他怕受审公堂给汉朝丢脸，想拔刀自杀，被张胜、虞常制止。虞常受审，经受不住酷刑供出了张胜，因为张胜是苏武的副使，单于命令卫律去叫苏武来受审，苏武不愿受辱，又一次拔刀自杀，被卫律抱住夺下刀来，但苏武已受重伤，血流如注晕死过去。苏武视死如归，单于佩服他的勇气，希望苏武能够投降为他效力，早晚派人来问候，企图软化苏武。但苏武不肯屈服。

    苏武恢复健康后，单于命令卫律提审虞常和张胜，让苏武旁听，在审讯过程中，卫律当场杀死虞常以此威胁张胜。张胜胆却跪下投降，卫律又威胁苏武并举起宝剑向苏武砍来，苏武面不改色地迎上前去，卫律看软化威胁都不能使苏武屈服，就报告单于。单于听说苏武这样坚强，就更加希望苏武投降。他下命令把苏武囚禁在一个大窖里，不给一点吃喝。这时天上正下着大雪，苏武就躺在那里，嚼着雪团和毡毛一起咽进肚里，几天以后，仍顽强地活着。单于一计不成，又命令人把苏武迁移到北海没有人烟的地方，让他独自放牧公羊，说是等公羊生子才让他归汉，在荒无人烟的北海，苏武白天拿着汉朝的旄节放羊，晚上握着它睡觉。没有口粮，他就挖掘野鼠洞里藏的草籽充饥。当单于又派人劝降，并告知他母亲已死，兄弟自杀，妻子改嫁，儿女下落不明、死活不知的消息，想以此达到动摇他的信念的目的，但又一次被他斩钉截铁地拒绝了。苏武在荒凉酷寒的北海边上，忍饥挨饿、受尽苦难，但仍以坚强的毅力，度过了漫长的、艰苦的岁月。