劉淵的前半生堪稱是懷才不遇的典型。
他出身高貴，是匈奴冒頓單于的直系后裔，其父劉豹是南匈奴的左部帥。
南匈奴的歷史可以追溯到東漢初年，當時匈奴的內部為爭奪王位發生動亂，呼韓邪單于（大美女王昭君的丈夫）的孫子日逐王比自立為南單于，并南下歸附漢朝，從此匈奴分裂成了南北二部。
之后，北匈奴在漢朝的打擊下被迫西遷，逐漸消失在中國歷史的記載中；而南匈奴則從此定居于長城以南地區，汗庭設立在離石左國城（今山西方山）。
東漢末年，丞相曹操把南匈奴分為左、右、南、北、中五部，劉淵的父親劉豹就在此時開始統領五部之一的左部。
由于長期和漢人混居，南匈奴人也逐步漢化，至少從姓名來看已與漢人無異，比如劉淵家族就因認為自己是冒頓單于和漢朝公主的后代，而把姓氏改成了漢朝的國姓——“劉”。
劉淵少有大志，據說他很小的時候就曾經說過這樣一句名言：吾每觀書傳，常鄙隨陸無武，絳灌無文。二生遇高皇而不能建封侯之業，兩公屬太宗而不能開庠序之美，惜哉！——我每次看史書，常常鄙視隨何、陸賈缺少武力，周勃、灌嬰沒有文化，隨何、陸賈這兩個書生在在漢高祖打天下的時代不能領兵打仗，封不了侯；周勃、灌嬰兩個武夫在漢文帝治天下的時代不能幫助皇帝教化百姓，豈不可惜！
有了如此遠大的目標作指引，年少的劉淵每天都像饑餓的嬰兒吮吸奶水一樣貪婪地吮吸著各種知識，每天都像夏日的知了練習蟬鳴一樣不知疲倦地練習著各種武功，早讀左傳，晚看兵書，冬練三九，夏練三伏……
經過不懈的努力，成年以后，劉淵果然成了文比隨陸，武超絳灌的全才——他不僅學富五車，諸子百家無一不精，詩詞歌賦全都拿手；而且武藝過人，刀槍劍戟樣樣嫻熟，騎馬射箭通通擅長。
更難得的是，除了才氣高、志氣高，他的顏值也非常高，史載他身材魁偉，面容英俊，還留了把跟關云長一樣漂亮的長胡子，堪稱美髯公。
既有顯赫的出身，又有非凡的相貌，還有出眾的才華，這樣的人即使在現代也吃得開——至少是符合鳳姐的條件了。
更何況是在特別看重門第、風度的魏晉時代呢？
因此，劉淵很早就在并州（治所今山西太原）一帶享有大名，朝廷重臣王渾對劉淵非常欣賞，與他結成了忘年交。
王渾是劉淵的同鄉，出身于魏晉南北朝時的頂級豪門太原王氏，官至三公之一的司徒；其子王濟則不僅官拜侍中，還娶了晉武帝司馬炎的女兒常山公主。
西晉初年，劉淵曾作為南匈奴的人質住在都城洛陽。
經由王渾的推薦，司馬炎特地召見了劉淵，一番交談下來，他對劉淵的表現大為嘆服。
事后，他對自己的女婿王濟說：依我看，即使是由余、金日磾（dī）也比不上劉淵！——由余是春秋時的西戎人，秦穆公的重要謀臣；金日磾是匈奴休屠王子，漢武帝時的佐命元勛，兩人都是少數民族精英的代表人物。
王濟回答說：劉淵的文武才干，遠超由余和金日磾，陛下如果用他主政東南，平定東吳指日可待！
司馬炎連連點頭。
然而，此時另兩位大臣孔恂、楊珧卻說：非我族類，其心必異。外族人和我們漢人就像油和水——永遠不可能融合。若授予劉淵重權，只怕即使平定了東吳，他也會割據江東！這不是引狼入室是什么？
司馬炎一下子就無語了。
劉淵的大好前程成為了泡影。
