公元前108年，司马迁继任为太史令，有机会饱览皇家的大量藏书，即所谓金匮石室之书，于是就结合其父亲所积累的资料，和个人实地考察所得，整理、考核、排比历史资料；同时和专家们共同修订历法。
公元前104年（汉武帝太初元年），他主持的太初历修订完成，就开始撰写《史记》。五年后，因为替投降匈奴的将领李陵辩解，触怒了汉武帝，下狱，受残酷的宫刑。
在狱中，他仍坚持写作。公元前96年，被释出狱，任中书令。这是皇帝身边的秘书，职位不低，但当时都由宦官充任，他内心十分痛苦。
为了完成《史记》，他含垢忍辱，继续写作。经过十年的辛勤劳作，终于完成了这部巨着，大约在公元前93年前后，《史记》基本上定稿。不久，司马迁也就逝世了。
司马迁不仅是汉代的一位伟大的历史家和文学家，而且是一位杰出的思想家，他的思想超过同时代人的地方在于他的唯物主义思想因素和批判的精神。
他接受各家的影响，同时又能用批判的精神来对待各家思想。他对天文、律历等自然科学有研究，在阴阳五行、天人感应之说风靡一时之际，他独自出来反对那些“星气之书”。
在《伯夷列传》里，他怀疑所谓“天道”，举出一些事实，说明善人不一定善报，恶人不一定恶报，发出了“倘所谓天道，是邪非邪”的疑问。能够从历史事实来考察和判断一些传统观念的可靠与否，这就是唯物主义精神。
他认为在历史的兴盛时期，已经包含了衰亡的因素，这些都是他的唯物主义的见解而且带有朴素的辩证法。
对于历史人物他有自己的衡量标准，既不完全是儒家的，也不完全是其他各家的。他能根据那些人物在当时历史条件下所起的作用，来评价他们，不是单纯地根据封建统治阶级的道德伦理观念，而是包含了一些人民的观点。
正由于他的思想是这样博大而深刻，因此一部《史记》就能写得那样丰富多彩。