“朝鲜杀汉使者，即时被诛灭（实为讨平）；只有匈奴还没有被消灭！你明知我不会投降，却偏来逼我，这无非是想让汉和匈奴互相用兵罢了。
“匈奴在不久的将来如果遭到败亡之祸，那一定是由杀死我（苏武）而招致的。”
卫律知道苏武是始终不会投降的，便告知单于。单于更加想让苏武投降，把苏武囚禁在一个大窖（用来储藏米粟的地穴）里，苏武绝食。
天下雨雪，苏武卧在地上吃雪，与毡毛一起咽下去，数日都没有死。匈奴以为他是神，在北海（今贝加尔湖）一带，除苏武外，渺无人烟；
匈奴命令苏武在北海放牧一群羊，要公羊生产了小羊才准他回国。把苏武带去的随行人员，常惠等各自分隔开来，置于其他的地方。
苏武在北海上，食物供应不到，就挖野鼠、找野草的果实当食物。柱着代表汉廷的节杖去牧羊。卧起操持，寒来暑往，节杖上的旄都掉光了。
这样过了五、六年，单于之弟于靬王到北海射猎，苏武能结鱼网、纺缴丝、矫正弓弩，所以他就为于靬王修补猎具，以供其渔猎之用。于靬王很喜爱，给苏武衣、食。
三年多，于靬王病了，赐给苏武马畜、盛酒酪的器皿、大型的园顶帐篷。于靬王死后，随从都迁走了；冬天，丁灵（匈奴的别种）偷走了苏武的牛羊，就又回复穷困。