这以后上官桀的党羽有说霍光坏话的，昭帝就发怒说：“大将军是忠臣，先帝嘱托他辅佐我的，有谁敢诽谤就办他的罪。”从此上官桀等人不敢再讲了，就计划让长公主摆宴席请霍光，埋伏兵士击杀他，乘机废昭帝，迎立燕王做天子。事情被发觉，霍光全部诛灭了上官桀、上官安、桑弘羊、丁外人的宗族。燕王、盖主都自杀了。霍光威震海内。昭帝年满二十举行冠礼以后，就把政事委托给霍光，共十三年，百姓衣丰食足，四夷归顺服从。
元平元年，昭帝故世，没有后代。武帝六个儿子只剩广陵王刘胥还在，众大臣议论立谁为帝，都主张广陵王。广陵王本来因为行为有失道义，不为武帝所重用。霍光内心感到不妥当。有郎官上奏书说：“周太王不立长子太伯而立幼子王季，周文王舍弃伯邑考而立武王，只在于适当，即使废长立幼也是可以的。广陵王不能承继宗庙。”这话符合霍光心意。霍光把他的奏书拿给丞相杨敞等看，提拔郎官做九江太守，当天接受皇太后的诏令，派遣代理大鸿胪、少府史乐成，宗正刘德，光禄大夫丙吉，中郎将利汉迎接昌邑王刘贺。
刘贺是武帝的孙子，昌邑哀王的儿子。到了以后，就位，行为yin乱。霍光又担忧又气忿，单独问亲信的老部下大司农田延年。田延年说：“将军是国家的柱子和基石，看这个人不行，为什么不向皇太后建议，另选贤明的立为皇帝？”霍光说：“现在想这样，在古代有过这种例子么？”田延年说：“伊尹任殷朝的丞相，放逐太甲而保全了王室，后世称道他忠。将军如果能做到这点，也就是汉朝的伊尹了。”霍光就引荐田延年当了给事中，暗底下跟车骑将军张安世考虑大计，于是召集丞相、御史、将军、列侯、中二千石、大夫、博士在未央宫开会讨论。霍光说：“昌邑王行为昏乱，恐怕要危害国家，怎么办？”众大臣都惊愕得变了脸色，没人敢开口说话，只是唯唯诺诺而已。田延年走上前，离开席位手按剑柄，说：“先帝把年幼的孤儿托付给将军，把大汉的天下委任给将军，是因为将军忠诚而贤能，能够安定刘氏的江山。现在下边议论得像鼎水沸腾，国家可能倾覆，况且汉天子的谥号常带‘孝’字，就为长久保有天下，使宗庙祭祀不断啊。如果使汉皇室断了祭祀，将军就是死了，又有什么脸在地下见先帝呢？今天的会议，不准转过脚跟去不表态。诸位大臣有回答得晚的，我请求用剑把他杀了。”霍光自责说：“九卿指责霍光指责得对。天下骚扰不安，霍光应该受到责难。”于是参加会议的都叩头，说：“天下万姓，命都在将军手里，只等大将军下令了。”
霍光立即跟众大臣一起见告皇太后，列举昌邑王不能继承宗庙的种种情况。皇太后就坐车驾临未央宫承明殿，下诏各宫门不准放昌邑王的众臣子进入。昌邑王入朝太后回去，乘车想回温室，中黄门的宦者分别把持着门扇，昌邑王一进来，就把门关上，跟随昌邑来的臣子不得进。昌邑王说：“干什么？”大将军霍光跪下说：“有皇太后的诏令，不准放入昌邑的众臣。”昌邑王说：“慢慢地嘛，为什么像这样吓人！”霍光命人把昌邑的臣子们全都赶出去，安置在金马门外面。车骑将军张安世带着羽林骑把二百多人绑起来，都送到廷尉和诏狱看押。命令过去做过昭帝侍中的内臣看好昌邑王。霍光下令左右：“仔细值班警卫，昌邑王如果发生什么意外自杀身亡，会叫我对不起天下人，背上杀主上的罪名。”昌邑王还不知道自己要被废黜了，对左右说：“我过去的臣子跟2我来做官有什么罪，而大将军要把他们全抓起来呢？”一会儿，有皇太后的诏令召见昌邑王。昌邑王听到召见，心中着慌，就说：“我有什么罪要召见我啊！”皇太后身被珍珠短袄，盛妆坐在武帐中，几百名侍御都拿着武器，期门武士执戟护陛，排列在殿下。众大臣依次上殿，召昌邑王伏在殿前听诏。霍光与众大臣联名参奏昌邑王……荒yin迷惑，全失帝王的礼义，扰乱了汉朝的制度……应当废黜。……皇太后下诏说：“同意。”霍光叫昌邑王起身下拜接受诏令，昌邑王说：“听说天子只要有诤臣七个，即使无道也不会失天下。”霍光说：“皇太后已诏令废黜，哪来的天子！”当即抓住他的手，解脱他的玺和绶带，捧给皇太后，扶着昌邑王下殿，出金马门，众大臣跟着送行。昌邑王向西拜了一拜，说：“又笨又傻，干不了汉朝的事。”起身上了天子乘舆的副车。大将军霍光送到昌邑王的住所。霍光自责道：“王的行为自绝于天，臣子等无能而胆怯，不能杀身以报恩德。臣子宁肯对不起王，不敢对不起国家。希望王能自爱，臣子今后长时期内不能再见到尊敬的王上了。”霍光流泪哭泣而去。众大臣进奏说：“古代废黜的人要弃逐到远方，不让他接触朝政，请求把昌邑王贺迁徙到汉中郡房陵县去。”皇太后诏令把刘贺送回昌邑，赐给他私邑二千户。昌邑带来一批臣子因辅导不当，使王陷入邪恶，霍光把二百多人全杀了。这些人被推出执行死刑时，在市中号叫：“该决断时不决断，反而遭受他祸害。”
霍光坐在朝廷中间，会合丞相以下大臣讨论决定立谁。广陵王已经不用在前，还有燕刺王因谋反而被诛灭，他儿子不在讨论范围中。近亲只有卫太子的孙子号皇曾孙的在民间，大家都称道他。霍光就跟丞相杨敞等上奏书说：“《礼记》说：‘人道爱自己的亲人，所以尊崇祖先；尊崇祖先，所以敬重宗室。’宗没有子息，选择宗支子孙中贤能的作为继承人。孝武皇帝的曾孙病已，武帝在世时有诏命令掖庭养育照看，到今年十八岁了，从先生那里受学《诗经》、《论语》、《孝经》，亲自实行节俭，仁慈而能爱他人，可以嗣承孝昭皇帝之后，事奉祖宗之庙，爱万姓如子。臣子冒死让太后知情。”皇太后下诏说：“同意。”霍光派宗正刘德到尚冠里曾孙家中，让他沐浴以后赐给他皇帝之服，太仆用轻便车迎接曾孙到宗正府用斋，然后进未央宫见皇太后，受封为阳武侯。霍光捧上皇帝的玺和绶带，进谒了高皇帝庙，这就是孝宣皇帝。
