漢武帝作為一個強權皇帝，容不下朝堂之中有勢力太過于龐大的家族，而衛氏一家幾乎掌控了半個朝堂。衛青和他三個兒子都位列侯爵，手握兵權，姐姐衛子夫是當朝皇后，衛子夫的兒子是當朝太子，可以說衛家家室太過顯赫，以至于讓漢武帝開始對衛家心生忌憚，他擔心自己百年之后，衛家會難以控制。而且漢朝外戚干政的先例太多了，呂后，薄太后，竇太后，這些都是活生生的例子。漢武帝不能不提前防備，此時皇后衛子夫已經失寵，太子劉據倍受小人攻擊，臨近暮年的漢武帝猜疑之心更重，后來在太子劉據被逼反失敗之后，衛家徹底被清算，朝堂上的衛氏一族勢力被連根拔起。
這兩位在軍中立下了赫赫戰功的武將依舊離世而去，留下的只是和漢武帝兒子同輩的衛家年輕一輩，漢武帝之前肯定想過，一旦以后太子繼位，皇后衛子夫肯定就是下一個竇太后。衛家一門掌控了兵權，現如今朝堂上的大臣，很多都是和衛家密切相關，這樣下去誰能控制得了他們，以后漢家的天下姓什么還不一定。
而且他的兒子劉據也不是一個強硬的人，到時候怎么從外戚那里奪回兵權，他自己就吃盡了外戚干政的苦頭。他年少登基，可是大權卻掌握在竇太后手里，竇太后死后，他的母親王太后還想要繼續干政，要不是他使用了一些手段，現在估計朝堂上已經沒有他這個皇帝了。因此漢武帝覺得衛家不能不除，后來恰逢太子劉據被逼反，他借由這次機會，一舉鏟除了衛家這個根植在朝堂上的大樹。
這個時候的衛子夫已經年老色衰，漢武帝已經十多年不寵愛她了，她的皇后之位有些不穩，連同她的兒子劉據地位也開始動搖。朝堂之上有一些弄臣開始興風作浪，他們聯合后宮之人，一起對整個衛家發難，漢武帝已經臨近暮年，他恐懼著死亡，現在只有權力才能讓他感到一絲安穩。這時候太子劉據深陷巫蠱之禍，這讓漢武帝十分震怒和恐懼，他急不可耐地發兵討伐叛亂的兒子，最終劉據兵敗自殺，衛子夫悲痛萬分，然后以死明志。衛家也就失去了最后一個靠山，漢武帝借機徹底的清剿了衛家的勢力，衛家長子被殺，衛青的其余兩個兒子被貶為平民，其余牽連的人不計其數，從此之后，煊赫一時的衛家再也不復存在。
漢武帝作為一位大一統皇帝，在位期間接連擊敗強敵，好不容易鞏固的位子，根本不可能會容許有其他人染指自己的權力。衛家太過于顯赫了，他對于漢武帝而言，就像是扎進肉中的一根刺，總是在提醒著自己要把它挑出去。做了幾十年皇帝的漢武帝，已經徹底的迷戀上了權力的滋味，只要自己在位一天，哪怕是自己的兒子，他也不允許挑戰自己的權威，更何況是一個外戚，漢武帝能忍到衛青死后才動手，已經是很不錯了。
其實衛青死后，在漢武帝晚年，漢武帝雖然殺了衛家的人，但也并沒有誅殺了衛青整個家族。在巫蠱事件中，衛青的長子衛伉被殺，但是衛青的次子衛不疑和幼子衛登卻沒有被殺的記載。
衛青是西漢時期的名將，是皇后衛子夫的弟弟，霍去病的舅舅，在漢武帝對匈奴的作戰中，他曾七戰七捷，他不僅戰功赫赫，而且又為大漢開疆擴土。衛青因功被封為大司馬大將軍、長平侯，其去世后，謚號為烈。
衛青在漢匈之間戰爭是做出很大貢獻的，在當時的衛青，可謂是在大漢朝中僅居漢武帝一人之下的軍政人物。
不過衛青雖然位高，雖然他娶了漢武帝的姐姐平陽公主，雖然他的姐姐是衛子夫是皇后，但是他并沒有因此飛揚跋扈，反而行事非常謹慎謙和。
衛青對士大夫們有禮，對士兵有恩，所以當時衛青受到愛戴，就漢武帝本身對衛青則很推崇。
同樣因為衛青的存在，所以皇后衛子夫和太子劉據在當時是有一個強有力的外力，因為衛青的人格魅力和影響力，在衛青在世時，根本沒有人敢誣陷攻擊太子劉據，也沒有人能誣陷的了太子。
直到衛青后來去世多年后，衛青的威望和地位慢慢的消退，有人才開始誣陷攻擊太子劉據，因為那時誣陷太子的人覺得太子已經失去了外家的支援。
在漢武帝晚年發生巫蠱事件，隨著公孫賀家族的失勢，從此皇后衛子夫和太子劉據在朝堂上再無外家的支援，衛子夫和太子劉據的處境也變的更加危險。
同時漢武帝又寵信江充，江充和太子有隙，于是江充誣陷太子，從而最后導致太子劉據和皇后衛子夫皆因此而死。
此次巫蠱之禍牽連甚廣，衛青長子衛伉受牽連被誅殺，但衛青次子衛不疑和衛青幼子卻沒有受牽連的記錄。所以漢武帝并沒有誅殺衛青整個家族。
并且在后來的漢宣帝時，詔賜錢衛家五十萬復家。同時在后來的漢成帝和漢平帝時，衛青后人也有封賞。
