司馬遷生卒年代，史無明文。近人王國維《太史公行年考》認為司馬遷生于漢景帝中元五年(前145年，大約卒于漢昭帝始元元年(前86年)，享年56歲。據說司馬遷家自唐虞至周，都是世代相傳的歷史家和天文家。司馬錯是秦惠王時伐蜀的名將，司馬昌是秦始皇的鐵官，到了司馬遷的父親司馬談，又做漢武帝的太史令，恢復了祖傳的史官恒業。
司馬遷的少年時代，“耕牧河山之陽”。司馬遷在這“山環水帶，嵌鑲蜿蜒”(《韓城縣志序》)的自然環境里成長，既被山川的清淑之氣所陶冶，又對民間生活有一定體驗。
十歲，司馬遷隨父親至京師長安，得向老博士伏生、大儒孔安國學習;家學淵源既深，復從名師受業，啟發誘導，獲益不淺。這個時候，正當漢王朝國勢強大，經濟繁榮，文化興盛的時候，張騫奉使通西域，衛青、霍去病大破匈奴，漢武帝設立樂府……;也是司馬遷在京城里豐富見聞，熱情迸發的時候。
大約二十歲，司馬遷開始外出游歷——“南游江、淮，上會稽，探禹穴，窺九疑，浮于沅、湘，北涉汶、泗，講業齊、魯之都，觀孔子之遺風，鄉射鄒、嶧，厄困鄱、薛、彭城，過梁楚以歸。”回到長安以后，做了皇帝的近侍郎中，隨漢武帝到過平涼、崆峒，又奉使巴蜀，他到得最南邊是昆明。
元封元年(前110年)，漢武帝舉行大規模的巡行封禪，步騎十八萬，旌旗千余里，浩浩蕩蕩。司馬遷的父親司馬談是史官，本應從行，但病死在洛陽。司馬遷接受了父親的遺志，趕到泰山，參加封禪，隨后沿著東海，繞道長城塞外回到長安。
元封三年(前108年)，司馬遷三十八歲時，正式做了太史令，有機會閱覽漢朝宮廷所藏的一切圖書、檔案以及各種史料的機會，他一邊整理史料，一邊參加改歷。等到太初元年(前104年)，我國第一部歷書《太初歷》完成，他就動手編寫《史記》。
天漢二年(前99年)，漢武帝派貳師將軍李廣利帶兵三萬，攻打匈奴，打了個大敗仗，幾乎全軍覆沒，李廣利逃了回來。李廣的孫子李陵當時擔任騎都尉，帶著五千名步兵跟匈奴作戰。單于親自率領三萬騎兵把李陵的步兵團團圍困祝盡管李陵的箭法十分好，兵士也十分勇敢，五千步兵殺了五六千名匈奴騎兵.單于調撥更多的兵力，然而仍然無力與李陵相抗衡。就在單于準備退軍之時，李陵手下有一名士兵叛變，將李陵內部軍情告發。告訴單于李陵后面沒救兵，而且教單于部下制作連-發連射的弓箭。單于于是繼續與李陵作戰。最后李陵寡不敵眾，只剩了四百多漢兵突圍出來。李陵被匈奴逮住，投降了。
大臣們都譴責李陵不該貪生怕死，向匈奴投降。漢武帝問太史令司馬遷，聽聽他的意見。
司馬遷說：“李陵帶去的步兵不滿五千，他深入到敵人的腹地，打擊了幾萬敵人。他雖然打了敗仗，可是殺了這么多的敵人，也可以向天下人交代了。李陵不肯馬上去死，準有他的主意。他一定還想將功贖罪來報答皇上。”
漢武帝聽了，認為司馬遷這樣為李陵辯護，是有意貶低李廣利(李廣利是漢武帝寵妃的哥哥)，勃然大怒，說：“你這樣替投降敵人的人強辯，不是存心反對朝廷嗎?”他就把司馬遷下了監獄，交給廷尉審問。司馬遷被關進監獄以后，案子落到了當時名聲很臭的酷吏杜周手中，杜周嚴刑審訊司馬遷，司馬遷忍受了各種肉體和精神上的殘酷折磨。面對酷吏，他始終不屈服，也不認罪。司馬遷在獄中反復不停地問自己“這是我的罪嗎?這是我的罪嗎?我一個做臣子的，就不能發表點意見?”不久，有傳聞說李陵曾帶匈奴兵攻打漢朝。漢武帝信以為真，便草率地處死了李陵的母親、妻子和兒子。司馬遷也因此事被判了死刑。第二年漢武帝殺了李陵全家，處司馬遷以宮刑。腐刑是個大辱，污及先人，見笑親友。司馬遷在獄中，又備受凌-辱，“交手足，受木索，暴肌膚，受榜棰，幽于圜墻之中，當此之時，見獄吏則頭搶地，視徒隸則心惕息。”(司馬遷《報任安書》)幾乎斷送了性命。他本想一死，但想到自己多年搜集資料，說：“人固有一死，或重于泰山，或輕于鴻毛。”。要寫部有關歷史書的夙愿，因此為了完成《史記》的寫作，忍辱負重，茍且偷生，希圖出現一線轉機。
太始元年(前96年)漢武帝改元大赦天下。這時司馬遷五十歲，出獄后當了中書令，在別人看來，也許是“尊寵任職”，但是，他還是專心致志寫他的書。直到征和二年(前91年)全書完成，共得130篇，52萬余言。