從西漢武帝時代開始，中原王朝對北方降附的匈奴部眾執行一種內遷政策，先是塞內州郡，進而是內陸。后來的東漢、魏晉王朝也都沿襲這種政策。其實在曹魏時期，中原王朝對內遷匈奴的控制還是比較嚴密的，控制范圍甚至滲透到了匈奴的社會生活層面。
今天山西地區的并州，在曹魏時期是匈奴人集中居住的地方，曾經在漢末曹魏時期出任并州刺史的梁習就把匈奴人收拾得服服帖帖，真的是軟硬兼施，“誘諭招納，皆禮召其豪右，稍稍薦舉，使詣幕府”，把這些匈奴中的的所謂“豪右”搞定之后，再從匈奴百姓中征發士兵，對于不聽話的，“興兵致討，斬首千數，降附者萬計”。
西漢與匈奴
在此基礎上，建安二十一年（216年），曹操對歸附很久的南匈奴進行了根本性的結構重組。根據《資治通鑒》記載：
匈奴人
曹操最高明的地方就是將山西去的南匈奴分成五個部，每部各設立一個都督，盡管仍然任用所謂的匈奴貴人為部帥，但每部又設一個監視性質的漢人司馬，這就是完全將南匈奴各部納入到曹魏政權的行政體制之中。在五部制的管理下，匈奴貴族保留傳統爵位，但僅為貴族身份象征，無任何實際權力，匈奴貴族喪失了直接統治其部民的權力，而匈奴部民也變成曹魏的“編戶齊民”，承擔賦稅徭役這些義務，幾乎與一般漢民沒有區別。
曹操搞的五部制打碎了匈奴原來的社會組織，可以說真正毀滅了匈奴的政權結構，在內陸的匈奴人真正地被漢化了。匈奴人的漢化，還是他們上層貴族的程度最深，很多匈奴貴族家庭都快轉型成了儒學大族了。南匈奴五部中的左部帥劉豹家族就是這樣一個典型的漢化匈奴大族。一個匈奴人為啥會姓劉呢？原來是因為漢朝以前和匈奴搞和親，劉姓宗室女嫁給匈奴單于，所以匈奴單于后代后來以母舅家族的劉姓為自己的漢姓。
曹操
劉豹是匈奴冒頓單于的后裔，其實姓劉也僅僅從他開始的，他父親南匈奴單于還叫于夫羅呢。劉豹有個兒子叫劉淵，字元海，自幼接受的就是漢文化教育，活脫脫是個中原少年，而且很符合儒家的仁孝倫理規范，史書記載劉淵是“幼好學，師事上黨崔游，習《毛詩》、《京氏易》、《馬氏尚書》，尤好《春秋左氏傳》、《孫吳兵法》，略皆誦之，《史》、《漢》、諸子，無不綜覽。”
劉淵不僅是個高水平的儒家知識分子，更保留了匈奴人本身驍勇善戰的本色，武功“妙絕于眾，猿臂善射，膂力過人”。這樣一個文武雙全的人才，中原王朝對之應該怎么辦呢？如果為我所用，必然會是社稷之福。劉淵青少年時代經歷了魏晉禪代，新生的晉王朝曾經想過任用劉淵。在晉武帝泰始年間，驃騎將軍王濟向武帝推薦過劉淵，“陛下若任之以東南之事，吳會不足平也”。當時的劉淵，正在洛陽當質子，也就是做人質。
晉武帝
彼時晉還沒有南下滅吳，王濟推薦劉淵出任平吳統帥。但是這個建議遭到了別人的反對，大臣孔恂、楊珧勸阻晉武帝說：
西晉朝臣擔憂的是劉淵的忠誠度，一句“非我族類，其心必異”道破了真相，史書記載的司馬炎反應是“帝默然”。泰始五年（269年），鮮卑人禿發樹機能舉兵涼州之時，晉武帝欲選拔得力將帥，又有人向晉武帝推薦劉淵：
陛下誠能發匈奴五部之眾，假元海一將軍之號，鼓行而西，可指期而定。
劉淵
但是，還是孔恂站出來反對說：
元海若能平定涼州，斬樹機能，恐涼州方有難耳。蛟龍得云雨，非復池中物也。
晉武帝也放棄了任用劉淵的想法。經過兩次打擊，劉淵對晉王朝不免心生一點怨恨。在一次和朋友喝酒的酒局中，劉淵喝哭了，說“讒間因之而進，深非吾愿，適足為害。吾本無宦情，惟足下明之。恐死洛陽，永與子別。”
《晉書》
劉淵對朝廷的不滿和他自身的強大優秀，令西晉高層極為不滿，齊王司馬攸進諫晉武帝說：“陛下不除劉淵，臣恐并州不得久寧”。劉淵當時就是個質子，無故擅殺質子這是挑釁的戰爭行為。另外也有人勸我“大晉方以信懷殊俗，奈何以無形之疑殺人侍子乎？何德度之不弘也？”
晉武帝最終心軟了，沒有翦除劉淵，這就給晉朝江山留下了大隱患！
