漢武帝的長子劉據，很早就被立為太子。后來在漢武帝晚年，巫蠱事件之中，劉據自殺身亡。劉據自殺后，他的兩個兒子也同時遇害。當時，劉據已經有了一個孫子，名叫劉病已，也被抓到監獄里。漢武帝后來赦免了劉病已，劉病已由其祖母養大成人。
漢武帝去世后，漢武帝的小兒子劉弗陵即位，大權掌握在大將軍霍光的手中。劉弗陵身體并不好，在當了十三年皇帝之后，劉弗陵去世，去世的時候并沒有留下子嗣。霍光為了能夠繼續掌權，選擇了漢武帝的孫子，昌邑哀王劉髆之子昌邑王劉賀為帝。但是，劉賀到了長安之后，卻并不愿意聽從漢武帝的擺布。最終，劉賀在做了二十七天皇帝之后被霍光廢黜了。霍光廢黜劉賀，也是事出突然。當時，他并沒有找到合適的人選。當時，漢武帝的兒子還有一個在世，這就是廣陵厲王劉胥。霍光不愿意一個成年君主在位與自己爭權，所以沒選擇劉胥。漢武帝的三兒子燕剌王劉旦的兒子也還在世。但是，劉旦曾經反對霍光，霍光也不能容忍劉旦的孩子當皇帝。選來選去，霍光選中了來自民間的劉病已，還給他改名為劉詢，他就是漢宣帝。
漢宣帝即位后，霍光立即表示要歸政于漢宣帝。漢宣帝雖說不到二十歲，但是畢竟從民間長大，知道人情世故。他明白，霍光的歸政不過是做做樣子。假如自己接受了霍光的歸政，劉賀就是自己的下場。于是，漢宣帝說自己還年輕，需要多學習，天下事還要由大將軍做主。當時，除了祭祀等事情之外，漢宣帝幾乎什么都不管。他也十分怕霍光，見到霍光“若芒刺在背”。一直等到六年后，霍光去世，漢宣帝才真正掌握了政權。
漢宣帝親政后，漢宣帝和霍氏家族之間的矛盾也逐漸開始顯現。在霍光去世后，朝廷的要害部門依然把持在霍氏家族的手中。霍光的女婿范明友擔任度遼將軍未央衛尉，任勝為助吏中郎將羽林監，鄧廣漢為長樂衛尉，趙平為散騎騎都尉光祿大夫負責屯兵事宜，霍光之子霍禹為大司馬，霍光的外甥女婿擔任光祿大夫給事中，霍光的孫女婿王漢為中郎將。親政后的漢宣帝逐漸開始收回屬于自己的權力，先后剝奪了霍家人的領兵之權。
霍家子孫并不甘心就此交出權力，在他們看起來漢宣帝此舉完全是忘恩負義之舉。地節四年（公元前66年），霍家人眼看著漢宣帝的逼迫越來越嚴厲，于是霍家人試圖發動一場政變關鍵時刻，漢宣帝先下手為強，粉碎了霍家人的陰謀。霍光的全部子孫，無一幸免，都被處死。因受霍家謀反而被殺的人多達數千家，整個朝堂為之一空！漢宣帝親政后，絕對不會允許朝廷之中還有自己不能控制的勢力。霍光經營朝堂數十年，盤根錯節，影響巨大。漢宣帝要想真正掌握政權，也必須清除掉霍光的勢力。
