但是霍光的老婆还是不满足，她的外孙女当了汉昭帝的皇后，这一下她又想让她的小女儿霍成君当新皇帝的皇后。本年刘病已在民间的时候，讨老婆都很难，好不容易有个受过宫刑的许广汉愿意将女儿许平君嫁给他，才结束了光棍汉的历史。当了皇帝后，大臣们都认为许平君的老爸太低贱，不配做皇后，要他另娶名门之后做皇后，实际上都想巴结霍光，意思是让刘病已娶霍光的女儿做皇后。好在刘病已还算是个有情有义的种子，他不敢说不娶霍光的女儿做皇后，只下了一道诏书求他在民间时用过的一把宝剑，意思很明显，他不想抛弃微贱时的老婆。霍光总算是个明白人，知道刘病已的想法后，并没有强迫他，勉强同意许平君做了皇后。
但是霍光的老婆还是不死心，她串通了皇家的女医生淳于衍给许平君下毒，皇后吃药是要有人先试药的，为的就是怕人下毒，可是霍显对这一点根本不在乎，她对淳于衍说：“这有什么好担心的，你尽管去下毒，以我家老公的权势，谁敢说!怕就怕你不愿帮我这个忙。”许皇后吃下毒药后，说：“我的头好痛啊，药里是不是有毒?”淳于衍说：“没有。”就这样一个苦尽甘来的皇后，仅仅享了三年的福，就被阴谋夺去了生命。
许皇后死了，霍光的女儿霍成君顺利地当上了皇后，可是天下没漏风的墙，汉宣帝很快就有所风闻，开始拘捕太医查问许皇后的死因，这下子淳于衍慌了，霍光的老婆也慌了，赶忙将前因后果告诉了霍光，事已至此，霍光能怎么办呢?主动告发自己的老婆?那可是灭门之罪，无奈的霍光只有利用自己的权势将此事压了下来。
但是到霍光去世后，形势开始逆转。所有的人都清楚，汉宣帝肯定要秋后算帐，以报杀妻之仇。
这时候霍家的权势还是非常大的：他们占据了大量关键的位置：霍光的儿子霍禹、霍去病的孙子霍云都是中郎将，霍云的弟弟霍山是奉车都尉侍中，掌握着胡越兵。霍光的两个女婿分别是东西宫的卫尉，掌握着整个皇宫的安全。其他的霍家子弟都是诸曹大夫、骑都尉、给事中等，官居要职。可以说这个时候，如果汉宣帝轻举忘动，霍家再来一次废立皇帝的事可谓轻而易举。
汉宣帝当然不敢动手，他不仅没有动霍家一根汗毛，相反还升霍家子弟的官。霍禹当了右将军，继承了霍光博陆侯的爵位;霍山被封为乐平侯，以奉车都尉领尚书事;霍云被封为冠阳侯。
霍家被彻底麻痹了，霍光的老婆开始大兴楼宇，不甘寂寞地与美男子冯子都玩性爱游戏。霍禹、霍山、霍云则纵情于打猎。霍云甚至连班也不想上了，经常随随便便就派一个老仆人到皇帝跟前请病假，实际上是跑出去打猎了。
看到这一切，汉宣帝暗暗高兴，他开始一步步地收拾霍家了。他采取的第一步措施是把皇宫的兵权夺回来，为此，他采取了轮岗的办法，将霍光的女婿掌握未央宫部队的范明友调任光禄勋，将二女婿任胜调任安定太守。几个月后，又将霍光姐姐的女婿张朔调任蜀郡太守，孙女婿王汉为武威太守。又过了一段时间，又把掌握长乐宫兵权的霍光的大女婿邓广汉调任少府，彻底解决了霍家对皇宫的威胁。
汉宣帝采取的第二步措施是解除霍家的兵权。对霍禹，给了他一个荣誉性的大司马衙，却收了他右将军的兵权。对范明友，只让他干光禄勋，却收了他度辽将军的印信。霍光的中女婿赵平骑都尉的兵权也给收了，总之，凡是以前被霍家把持的胡越骑兵、羽林军及未央宫、长乐宫卫将屯兵一概交由他的许皇后还有他外婆史家的亲信掌握。