了保证自己的外孙女上官皇后专宠椒房，霍光不让昭帝接近其他嫔御，甚至让她们都穿穷裤（缝裆裤），多系裤带，以免她们和昭帝幽会。因此，昭帝死的时候，并没有留下子嗣。

    国不可一日无君。在霍光的一意作主下，公元前74年（元平元年）六月，刘贺即位为帝。然而好景不长，仅仅27天后，霍光宣布要把刘贺废掉，又出兵逮捕刘贺从昌邑带出来的旧臣两百多人，尽数处死。理由是刘贺荒淫无道，他列举刘贺在这27天内干的荒唐事，竟达1127件之多。对于这些指责，现代史家多认为是欲加之罪，真实的原因，在于刘贺不肯授权给霍光。

    刘贺立而复废，帝位依然空缺，霍光重新迎立汉武帝的曾孙，当时流落民间的刘病已为帝，这就是汉宣帝。汉宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，朝廷事务的决策仍先经过霍光过问再禀报皇帝。宣帝对霍光表面上很信任，但内心十分忌惮，与之同车时“若有芒刺在背”。

    汉宣帝即位后，没有依照群臣提议立霍光之女霍成君为皇后，而是立自己的元配妻子许平君为皇后。霍光的老婆对女儿没有成为皇后不满，背着霍光趁许皇后生产的机会买通太医毒死了许皇后。霍光知道这件事后，惊骇之余，下令执法部门停止追究，强行将这件事捂了下来。

    公元前68年（地节二年），霍光去世，宣帝曾亲自前住吊唁。霍光去世后，霍氏一门的骄奢放纵反而变本加厉，甚至密谋发动政变，最终在公元前65年（元康元年）被灭族。

    公元前51年（甘露三年），汉宣帝因匈奴归降，回忆往昔辅佐有功之臣，令人画十一名功臣图像于麒麟阁以示纪念和表扬，列霍光为第一，并为了表示尊重，独独不写出霍光全名，只尊称为“大司马、大将军、博陆侯，姓霍氏。”