霍光和西漢名將霍去病是同父異母兄弟，兩人的父親霍中孺曾經在平陽侯府做事，和侍女衛少兒生下了霍去病，差事結束后，回鄉娶妻，生下了霍光。衛少兒的妹妹衛子夫后來成為武帝劉徹的皇后，霍去病在朝中任職，北擊匈奴路過河東，去尋訪了生父，并為生父一家置辦田宅、奴婢，回程中又路過，將十多歲的霍光帶往長安?；艄庖源藶槠鯔C，開始了在政治中心的生活。
他從擔任宮內侍從官開始，再到各官署侍中，能夠出入禁中，隨侍皇帝。霍去病去世后，霍光任奉車都尉、光祿大夫，《漢書》說他“出則奉車，入侍左右，出入禁闈二十余年，小心謹慎，未嘗有過，甚見親信”。
跟在漢武帝這樣的人身邊幾十年，能見識到、學到的東西很多，再加上霍光十多歲就來了漢宮，小心謹慎，武帝也非常信任他。經歷了晚年諸多變故后，武帝病重時，決定立小兒子劉弗陵為太子，繼位后由霍光輔政，金日磾、上官桀、桑弘羊一同輔佐。
漢以后，不少史學家、文學家、評論家等認為，從輔佐昭帝起，霍光開始了他的權臣之路，為了掌握權力，先是尋機誅殺上官桀、桑弘羊等，再使昭帝壯年暴斃，之后立昌邑王劉賀，因劉賀難以掌控而廢止，再立戾太子之孫劉病已，劉病已韜光養晦、陰蓄己勢，與霍光多有“交鋒”，最終贏得了這場權力之戰。甚至將霍光與東漢梁冀相比，儼然飛揚跋扈、驕橫弄權。
歷史總要情節曲折、波詭云譎才好看，人物總要個性張揚、是非分明才有趣。然而，再戲劇性也始終是過去人們的生活日常，脫離不了人本身。
漢武帝是一位深諳帝王術的帝王，盡管晚年被江充、蘇文等人蠱惑，造成政局大亂，之后也迅速清醒、矯正過來。在他身邊三十年，霍光在人生的前半程早已形成了謹慎克己的性格，“每出入下殿門，止進有常處，郎仆射竊識視之，不失尺寸”。為了劉弗陵即位后的安穩，武帝賜死寵愛的趙鉤弋，安排了金日磾、上官桀、桑弘羊，各司其職，霍光用后來的標準，可算首輔，施政之才是次要，熟悉內廷、有穩固的根基、對帝位無染指之心，才是最重要的。
此后是昭帝劉弗陵識破燕王劉旦、蓋長公主和上官桀父子、桑弘羊陷害霍光的計謀，堅定支持霍光。這個選擇確實說明昭帝雖然年紀不大，但頗有見識、膽略，但至于信任霍光的人品，卻不能肯定。如果只是蓋長公主、上官桀父子、桑弘羊和霍光爭權，昭帝未必會做此選擇，加入燕王劉旦，性質就不一樣了，這是中央權臣聯合地方諸侯王意圖顛覆皇帝位，他必須也只能信任霍光。
蓋長公主是漢昭帝的親姐姐，劉弗陵出生后，由于年幼，和蓋長公主非常親密，繼位后給了姐姐很高的地位，皇后上官氏也是上官桀通過蓋長公主被納入后宮而后立的，否則皇后之位極有可能屬于霍光的女兒。但因為權力之爭，她輕易倒向燕王，意圖設酒宴斬霍光、廢昭帝。史書雖然沒寫，但劉弗陵內心的感受是可以想象到的。
變故后，昭帝和霍光聯手，帶來了數年相對清明的政治局勢，他們著手彌補武帝后期頻繁對匈奴作戰對國家生產帶來的影響，延續武帝末期制定的政策，開啟了“昭宣中興”。
按一些學者的猜測，燕王旦之亂讓霍光看到了昭帝的聰慧，心生危機，于是在地位安穩后迅速采取行動，致使昭帝暴斃。不是沒有這樣的可能，但就目前史料而言，缺乏有力依據。兩人平息燕王之亂時，昭帝十四歲，去世時二十一歲，霍光沒必要等這么久，后來接任的劉賀、劉病已也都到了十七八的年紀，不算小，從掌握權力出發，趁早更有利。
當然，霍光也沒有給昭帝充分的自由。上官皇后的母親是霍光的女兒，霍光是她外祖父，或許為獨掌大權，或許為防止再出現因后宮得幸而驕恣的外戚（比如皇后父親上官安），霍光不許昭帝親近皇后之外的后宮妃嬪，這也間接導致了昭帝暴崩時無人繼位的情況出現。
南昌?；韬钅贡话l掘并公布以后，對于劉賀在位二十七天被廢的猜測就有更多學者歸因于霍光，霍光發現劉賀不乖、不聽話，就立刻把他廢了（這次動手倒是很快）。劉賀確實不乖，但不是不聽霍光的話，而是作為地方諸侯王，短時間內、時局未穩之時，大量從昌邑帶屬官、侍從至長安，并迅速提拔、任用，嚴重擠壓長安本地利益集團的空間。同時，孝昭帝喪葬禮儀尚未完全結束，劉賀就急著拜祭亡父哀王劉髆，并稱“嗣子皇帝”——帝位是孝昭帝給的，不是劉髆給的，孝昭帝的舊臣哪里忍得了？劉髆是漢武帝寵愛的李夫人的兒子，封昌邑王，戾太子起兵后期，丞相劉屈氂與貳師將軍李廣利（李夫人兄長）曾合謀立劉髆為太子，皇子覬覦帝位是漢武帝深惡痛絕的事，再考慮到劉髆以盛年薨，謚封“哀王”，其中過往，值得玩味。
霍光代表了長安眾多盤踞已久的利益集團，劉賀接征召后，當天中午就從封國出發往長安，又急吼吼地任用昌邑故人，這怎么也不像有才華、不好控制的樣子，更像不懂游戲規則、不遵守政治套路的政治素人。讓這樣的人做皇帝，長安的政治勢力重新洗牌、相互內耗，以后還怎么玩兒？朱紹侯認為，海昏侯被廢是咎由自取，霍光廢劉賀是忠于漢室、為帝國長治久安考慮的，是有依據的。
接下來的劉病已就比劉賀的政治素養高多了，當然，他即位時的資本也遠不如劉賀。他不認為單靠妻族許家和祖母史家能幫自己坐穩皇帝位子、對抗朝中龐大的政治集團，因此將自己放低，堅持請霍光理政，如臨深淵、如履薄冰，熬到霍光去世、霍家謀反，一網打盡。
對比上官桀父子和霍光自己的兒子，自始至終，霍光擁有廢、立之權，卻并未嘗試取而代之。當然，霍光未能嚴謹治家、做到有力約束家人，直接導致了他身故后霍家被滅，但作為一鼓力量強大的政治勢力，劉病已要掌權，即便霍顯、霍禹、霍山等不作妖，是否霍家能平安走到最后也不一定，只是或許能更體面一些。
