上官桀父子就更加痛恨霍光，感激盖长公主。
上官桀父子认为，从前和霍光一样，都是顾命大臣，现在反而每件事都要受霍光管辖制约，实在太不公平。于是，他们就广结宫廷内外的宦官大臣，想趁机除掉霍光。尤其是燕王刘旦，因未得皇位，总心怀不满，御史大夫桑弘羊的子弟多有失职，也对霍光怀有怨恨，再加盖长公主作为内援，在上官桀看来，确是万无一失。正在这个时候，霍光到广明去校阅羽林军，上官桀就想发难，但想来想去还是无法准备力量，不能保证事变成功。于是上官桀就和桑弘羊秘密商议，诈以刘旦的名义，上书弹劾霍光。奏疏写道：
“我听说大臣霍光在外校阅羽林军时，竟令先行官预先准备食物，模拟天子的出游仪式。把没有功的大将军杨敞任命为搜粟都尉，又擅自调益莫府校尉，专权自恣。我怀疑他有不正常的举措，所以愿意把我的符玺归还朝廷，回到宫里保卫皇上，以免奸臣忽起事端，皇上遭遇不测。事关紧急，特此派快马传给皇上。
昭帝看后，竟无动静，霍光听说有人弹劾，十分恐慌，第二天上朝，不敢进去，只在殿西画着周公负扆图的那间房子里坐着。昭帝未见霍光，就派人宣他进殿，霍光跪地免冠谢罪。昭帝说：“我知道你没有罪，请戴上帽子起来吧。你到广明校阅羽林军往返才十多天，燕王刘旦怎能得知，又怎能写信送来？况且你如果有不臣之心，又何必用校尉？这明明是有人谋害将军，假造此书。我虽然年少，也不至于如此愚昧。”群臣听了，无不惊服。
昭帝催促捉拿上书人，上书人桑弘羊闻讯后逃到上官桀的家里躲避，当然无法捉到。偏偏昭帝又连日催办，上官桀使内臣在昭帝跟前说霍光的坏话，昭帝发怒说：“大将军是当今的忠臣，先帝嘱托他辅佐我，如有人再敢妄说是非，便即处斩。”昭帝从此只亲近霍光，不理上官桀。上官桀忧愤交加，计无可出，竟与儿子上官安商议，想联络盖长公主及燕王刘旦，假意应许刘旦做皇帝，刺死霍光废了昭帝，自己身登皇位。
盖长公主同意了上官桀的计划，刘旦得书后也十分高兴，准备事成后与上官桀共享富贵。刘旦的门人劝谏说：“前次结谋，事泄未成。现在将军上官桀秉性轻浮，车骑将军上官安又少年骄恣，恐怕不能成事。即便侥幸成功，上官桀也反复无常，不能相信。”刘旦不听，坚持起兵。就在这时，燕国都城里妖异之象纷至沓来。天忽大雨，有一长虹倒垂井中，井水竟被吸干；天上又有鸟鹊争斗，纷纷坠死池中；又有群鼠噪嚣殿门，跳舞而死；什么城门无故自开、城上无故起火、大风吹折城楼等等，不一而足。刘旦有一善于占卜的门客，他报告刘旦说：“今年恐怕有大臣被诛。”刘旦正在恐慌之间，忽有急报传来，说是上官桀谋泄，已被逮捕，就是燕国派去的使臣，也被抓获了。
汉宣帝像
原来，盖长公主答应上官桀请霍光喝酒，在席间刺死他，上官桀父子以为计出万全，万无一失，都高兴得忘了形。群党在议论这件事的时候问上官安说：“一旦废了昭帝，您的女儿上官皇后怎么办？”上官安发怒道：“迫逐鹿犬还顾得上兔子吗？”这消息从盖长公主处和上官安家里泄露出来，辗转传达，竟让霍光得知。于是，霍光先把上官桀父子诱入宫中，立即斩杀，又拿住桑弘羊，亦即杀死，其余党徒也一并逮捕。至于燕王刘旦，两次谋反，决无再生之理，受诏自缢而死，从死的妃子有二十多人。盖长公主闻变自杀。
昭帝十八岁举行冠礼，朝政由霍光秉公主持，还算平静，但昭帝于二十一岁病死，且无后嗣，立君又成了大问题。广陵王是昭帝的哥哥，霍光不愿立他为君，大面上的理由是因为武帝没有看中他，且不是昭帝的下一辈，实际上恐怕是考虑到广陵王年纪已大，立为皇帝后无法驾驭，决定立武帝的李夫人之孙昌邑王刘贺为皇帝。
刘贺是个纵情声色、荒淫无度的人，专好游猎，半日能骑马奔驰三百里。一日，刘贺看见面前有一只白犬，项下似人，股中无尾，而左右的人却偏偏并未看见。龚遂劝谏说：“这是暗示左右的人如犬戴冠，如不悔悟，恐要亡国了。”不久，刘贺又独见一大白熊入宫，龚遂又说：“野兽入宫如入无人之境，是说宫室要空了，这是凶兆。”未几又见血染席中，龚遂哭道：“血为阴象，阴象上升，宫室要空了。”等长安使臣到来，刘贺半夜得书，才看到数行，就高兴得手舞足蹈，一帮狐朋狗友都来趋奉。第二天，刘贺启程，独自一人策马跑在前面，沿途搜掠妇女，众人劝阻无效。
刘贺即位以后，十分荒唐，毫无人君的样子，朝野上下深以为忧。霍光受群臣委托又联络杨敞等人，在朝会上忽然发难，借上官皇后的名义，历数刘贺罪状，把刘贺削去王号，另给食邑两千户，仍使居昌邑。只是刘贺的那帮帮闲小丑二百多人，全被绑赴市曹斩首，有人大喊：“当断不断，自取其乱！”意思是后悔当初不杀霍光。
立君又成了大问题，有人提出，唯有武帝曾孙刘病已，流落民间，据说美丰仪，通经术，有才具，年已十八，可立为君。据说在这一年，泰山大石自立，上林苑中大柳树叶虫食成文，均辨认出“公孙病已立”字样。这皆是皇帝起于民间之兆。霍光主持迎立了刘病已，是为宣帝。当时，霍光坐在宣帝的身边替他赶马车去祭拜祖庙，宣帝后来回忆说当时的感觉是“如芒在背”，等换了张安世驾车后，他才安心。其实，这一方面反映了霍光的权威之大，另一方面也为霍家的败亡埋下了伏笔。
宣帝尚未立后，当时许多人都打算让霍光的小女儿做皇后，可宣帝却下令访求故旧，大家明白，这是宣帝不忘贫贱之妻，只好立宣帝在民间时的结发夫人许氏为皇后。照例应该封许氏的父亲为侯，但霍光认为他已受过宫刑，是微贱之人，不能违例封侯。宣帝争执不过，只好作罢。
宣帝即位后两年，霍光见宣帝躬谨谦让，也还放心，就自请归政退休，皇帝偏不允许，并且还让凡事先奏请霍光，然后再通报自己。这时，霍光的儿子霍禹，以及霍光哥哥的孙子霍云、霍山及外孙等，陆续获取了官职，在朝廷上渐成盘踞之势。宣帝虽是十分猜忌，但只好暂且隐忍。
霍光的继室霍显是个心狠手辣的女人。霍显原是霍光女儿的婢女，因长相姣好，为人狡猾，博得了霍光的喜欢，后生了几个子女，霍光就把她升为继室。为了让自己的女儿当皇后，霍显处心积虑地想谋害许皇后。恰巧许皇后将要分娩，忽感身体不适，宣帝遍召女医官日夜服侍，霍显就趁机把自己的相识淳于衍推荐进宫。
许后安然生产，在服用调理药丸时，淳于衍趁机将符子搀入。符子性热，不宜产后服用，许后产后身体极虚，服用符子后虚热上升，竟致殒命。宣帝十分气愤，命令将所有医官逮捕，淳于衍也在其内。霍显极怕淳于衍吐露真情，连忙求霍光设法，霍光知道了也很害怕，但事已至此，只好去宣帝那里游说，让他放了全部医官。此后，霍显花巨资多次安排淳于衍，才使之不露口风。
从此开始，民间传闻霍家毒死了许皇后。
不久，霍显之女被迎入宫，一年后立为皇后。宣帝地节二年，霍光寿终正寝。
霍后尚未生子，宣帝欲立许后所生的刘爽为太子？霍显对女儿说：“他是皇帝微贱时所生，怎能当太子？倘若你将来生了男孩，不是要为他所制吗？”霍显就交给她毒药，让她寻机毒死太子。无奈宣帝十分小心，派人周密保护，凡食物都要先尝后进，霍后始终不得下手，她经常恼恨地咒骂，逐渐露出了不悦太子的神情。宣帝敏锐地觉察到了这一点，又风闻是霍家毒死了许后，就加倍注意起来。
霍家一门三侯，霍显尚不满足。做了太夫人之后，霍显无视礼法，竟擅自扩大霍光的故制，自己的生活更是纸醉金迷。尤其是与俊仆冯殷私通，闹得沸沸扬扬，无人不知。她的这些做法，引起了公愤，许多人上书弹劾。只是宣帝念着霍光的功劳，才隐忍未发。
宣帝怕霍家势力太大，将来生变，就逐步撤去霍禹等人的兵权。霍家已感觉到势头不好，尤其是弹劾之人越来越多，关于毒死许皇后的议论也越来越凶，霍云、霍山等就找霍显想办法。霍显把下毒之事告诉了他们，他们非常震惊，认为唯一的一条路就是联络霍氏及诸女婿一同起事，并借上官太后的名义废了宣帝，方可无虞。谁知隔墙有耳，马夫听到了他们的议论，夜里又与别人私议此事，他的朋友听说后，为了希图富贵，就跑到皇帝那里告了密。霍家的谋划至此事泄。
宣帝立刻传令捉人，但又马上传命止捕，就是这样，霍家也知谋泄，急忙联络诸亲戚准备起事，诸亲戚知道谋反必致连坐，为求一线生路，也都纷纷同意。好在又无声息，大家就又安定了一段。其实宣帝是在一步步地实行。他怕霍家谋反之事尚未传信众人，贸然下令逮捕，恐会遭人议论，要等到霍家充分暴露出来，才好服众。果然，霍家的问题越来越多，名声也越来越臭。霍家便又密谋杀了魏相，废去宣帝，立霍禹为天子。又有人探得了这一消息，报知了宣帝。
宣帝见时机已成熟，立即派兵，凡霍氏宗族亲戚，一概拿办。霍山、霍云服毒自杀，霍显、霍禹被腰斩，霍氏女婿外孙，尽数处死，诛灭不下千家。
纵观霍光的一生，虽不能说真像周公辅佐成王那样尽善尽美，倒也确实能尽心尽力，秉公治国，至于许多处理不当的涉及个人的事，细细地推敲起来，倒也未必是霍光原意，实在是情势所迫，无力回天。应当说，周公辅政只是一个传说，一种理想，而到了霍光，是实实在在的具体操作，问题十分复杂，虽想以身作则而不得，能做到霍光这个样子，平心而论，已很不容易了。
但霍光是只知谋国，不知谋家。他完全有理由考虑到身后家族的败亡。
其一，毒死许皇后留下了祸根；其二，二十多年的执政结怨太多，且有许多越权之事；其三，妻子霍显起自微贱，欲壑难填，狂悖残忍；其四，诸子孙多是轻狂之人；其五，子婿盘踞朝廷，势力太大，极易遭忌；其六，不知收敛。这六条中的任何一条，均足以使家族败灭，霍光却未对任何一条作出具体的安排，更无任何善后措施，其败亡是无可避免的。不灭在宣帝的手里，也会灭在别人的手里。别说还要谋反，就是谨慎处世，也决计逃脱不了，只是谋反使败亡来得快一点、彻底一点罢了。霍光只知谋国，不知谋家，按中国传统观点来看，霍光不是一个上档次的人物。