大司马大将军霍光死于地节二年（前68年）三月庚午日。宣帝于霍光临死前，将他的儿子霍禹任为右将军，又把霍光兄长（霍去病）之孙霍山列为侯。
宣帝算是对国家元勋尽了礼数。而这是他期待已久的一天。从现在开始，他可以任意指挥朝廷了。
武帝将年幼的昭帝托交霍光和金日磾辅佐，其中的金日磾于昭帝即位的翌年就死去。因此，朝廷当然在霍光的独揽之下。
宣帝具有在宫廷成长之人所没有的智慧。
宫廷再怎么以儒教礼乐虚饰，对实际政治实无任何裨益——这一点他很清楚。
他对政治之良窳，完全以庶民感觉捉摸。
——我必须推动对提升庶民生活直接有关的现实政治……
即位以来，他始终抱有这个想法。但遗憾的是，一切政治全在霍光的操纵之下。
由于霍光已死，宣帝才能实现自己的理想。
宣帝采取的是不慌不忙的态度，他知道必须耐着性子行事。他徐徐实施的是立足于法家思想、富现实性且以民治为重点的政治。
——皇帝是因我们才得以即位的，而且皇后是我们的族人。
持着这等骄傲心理的霍氏一族，依旧非常跋扈。他们好像是以轻视皇帝来显示自己的权势。
霍光兄长之孙霍云任职中郎将，理该每日出仕宫廷。他却时常只派仆人到宫廷说一声“因病请假”就不上班，实际上是带着众多食客出外狩猎。
霍光有多名分别嫁给名门显贵的女儿。霍光夫人常带这些女儿到长信宫玩。长信宫是霍光之外孙女——即太皇太后——居住的宫殿。虽然对方是孙女儿，但这里总是宫殿。宫殿自然有宫殿的规定，例如在访问时间上的限制以及办理访问手续等。而霍光夫人完全无视于此。
她们这样做摆明是以无视宫廷之规定来彰显自己的权势。
霍氏一族不断新建或扩建自己的宅邸。此外，它们乘坐的马车或轿子，莫不以金箔或绣花布装饰得美轮美奂。
宣帝对霍氏一族如此跋扈的作风嗤之以鼻。
“要是霍光活着，一定会制止族人如此嚣张吧？”
宣帝心想。
霍氏一族可以说是由于霍光死去，所以更加狂妄起来。
“我们的荣华富贵不是只靠大司马大将军一个人。大将军去世后，我们依旧如此飞黄腾达，这就是证明！”
这似乎是他们的共同心理。
霍光去世的第二年，地节三年四月，宣帝立已故许皇后所生的儿子为皇太子。这个儿子名叫奭，就是后来成为元帝的人物。
霍光夫人对此暴跳如雷。
天子把自己正室夫人生的长子立为皇太子是理所当然的，断无受到任何责难的理由。
宣帝若无其事地说出这个决定时，群臣中没有一个人表示反对，因为这是合乎道理的事情。
霍光夫人为什么愤怒得发狂呢？
许皇后去世后，霍光的女儿被立为现任皇后。虽然自己的女儿霍皇后目前尚未生子，但以后总会有生子的可能。依霍光夫人的想法，把霍皇后生的儿子立为皇太子，这才是“理所当然”！
霍光夫人的想法，宣帝当然知道。
——那个孩子是皇上尚在民间时所生的！怎么可以立为皇太子呢！霍皇后日后生下皇子时，难道非被比下不可吗？这样的事情绝对不行！
宣帝想象得到霍光夫人如此歇斯底里鬼叫的样子。
实际上，这个决定用意在于警告：以后不会让霍氏一族为所欲为！
而霍光故后，族人却只忙于扩张势力，没有一个人领悟到这项警告。
“你把皇太子毒杀掉吧！”
霍光夫人唆使女儿霍皇后。
“这等可怕的事情，我怎么做得出呢！”
“难道你忘记是因为我叫淳于衍毒杀许皇后，所以你才成为皇后这件事吗！”霍光夫人道。
宣帝封已故许皇后的父亲——经常搞出糗事的许广汉为平恩侯。
——他是皇太子的外祖父。
这项封侯以此为由，也是对霍氏一族的挑战。
接着，宣帝把霍光的女婿们逐一左迁，尽可能地调到偏远地区去担任地方长官。
虽然霍光的儿子霍禹继承父亲“大司马”之位，而宣帝却不许他“大冠”。霍光之所以被准许“大冠”，乃因为他是国家元勋的缘故。
只允许霍禹“小冠”，这也是另一种的警告。
——你是托父荫而成为大司马的，根本不是国家元勋。你要认清这一点，在言行上有所节制。
原来的近卫军团仍在霍氏一族的统率之下。宣帝剥夺其指挥权，改由史家及许家子弟率领。
虽然宣帝是孤儿，他却找出祖母娘家的史氏一族，与已故许皇后的族人一并重用。目的在于削减霍氏一族的势力。
霍山兼任尚书之职。吏民向朝廷呈奉诉状时，一定要经过尚书之手。而宣帝更改了此项规定，令呈奉诉状以及申请拜谒之事，一律不需经由尚书。他保留尚书职位，却使之有名无实。
如同剥笋皮，他将霍氏一族的权力逐一剥夺。
这是宣帝对他们的挑战，没有耐性的霍氏一族一定会因此而行叛变。到时候，再把霍氏一族的势力一举推翻！
——你是因我们的支持才成为皇帝的！
持此想法的霍氏一族，自然轻视宣帝，但宣帝是尝过霍氏一族从未体验过的艰辛生活的人。
——这个小子！
霍家人因皇帝尚在弱冠之年而瞧不起他。实际上，尝过诸多辛酸的宣帝，个性非常倔强。在他眼里看来，过惯尊贵生活的霍家人根本不堪一击。
宣帝等待着打出最后王牌的机会。
他已握有霍光夫人谋杀许皇后以及霍皇后谋杀皇太子未遂等事的证据。这是他准备于必要时打出的王牌。宣帝以悠然的态度等待这个日子的来临。
实际上，内心恐慌的是霍氏一族。因为宣帝若隐若现地亮出了这张王牌。
——莫非谋杀许皇后之事被抓到把柄了！
不能了解确实情形，这对跋扈惯的霍氏一族来说，是非常难以忍受的事。
——这样下去一定会每况愈下，与其到头来被瓦解，不如现在豁出去造反，碰碰运气吧！
霍氏一族遂有了狗急跳墙的想法。这时候他们当然没有缜密计划，何况宣帝派有间谍在霍氏一族内卧底，因此，他们的一举一动，宣帝都了如指掌。
同族意识极强的他们，任何事都和与霍氏有血缘关系的太皇太后和皇后取得联系。这对宣帝来说，如同在他眼前搭起戏棚，演戏给他看。
霍氏一族的演出可谓漏洞百出。
“既然要干，咱们就来个轰轰烈烈的吧！”
他们常常如此谋议。
——所谓的“轰轰烈烈”，乃是指将以霍禹为皇帝而言。为了如此，当然要把宣帝废掉。
——是咱家拥立的皇帝，我们当然有权利将之废掉！
他们的逻辑只到这个程度，因此，计划当然也非常粗糙。
当时，最贴近宣帝的人物是丞相巍相和前皇后之父亲——平恩侯许广汉。
——只消把丞相和平恩侯除掉就行。
只要有太皇太后的命令，斩除这两个人是易如反掌的。之后将天子废掉，改立霍禹，这样，一切计划算是圆满达成。
废刘氏之天子而改立霍氏之天子！
霍氏一族的计划已到箭在弦上的阶段了。
低估对方实力的计划，一定会失败。
霍氏一族连宣帝在他们周边布有间谍之事都不知道。
他们的计划是：
举行宴会招待丞相和平恩侯。霍光之女婿范明友及邓广汉于席上以“奉太皇太后懿旨”为由，将二人斩杀。而后废宣帝立霍禹……
这些情报早为宣帝所布置的间谍网获得。
在霍光这么一个锐不可当的力量庇护之下，向来诸事顺遂的霍氏一族，根本无法与以“保护自己者除自己以外更无他人”为信条的宣帝为敌。
宣帝如同制伏婴儿般地解决了跋扈已久的霍氏一族。
原来，宣帝把于民间认识的朋友张章派到一个叫张赦的人物身边。张赦和李竟是挚友，而李竟的女儿是霍云的妻子。
布置间谍网不是在霍家中枢，而是在其周边——这是宣帝极为高妙的部署。
张赦是个小诸葛亮——这个风声，宣帝尚在民间时就已听说过。张赦的亲密朋友中，有一个人与霍氏一族关系密切，因此，张赦很有可能受托为之策划——宣帝做了这样的判断。
由于张章提出控告，张赦因而被逮捕。宣帝高明的一招是竟然下了如此命令：
即刻停止对张赦之侦讯。
宣帝当然没有放过霍氏一族之意。他如此做，为的是要等待造反之事成为事实。
为了诛杀国之大老霍光的遗族，必须要有充分的理由。
——霍光遗族理该被诛杀。
宣帝有必要使世人如此理解。
不久，霍云被调为玄菟太守。这是今日的朝鲜地区，在当时来说是天涯海角之地，一旦被调往该处，不晓得什么时候才能回来。因此，要在长安做的事情，非尽快着手不可。
霍氏族人开始陷于焦躁状态。
焦躁会产生疏失。他们在行动上露出破绽了。
等待已久的宣帝确切抓住了这个破绽。
无法狡辩的铁证遂展现在世人眼前。
霍禹遂以大逆之罪，被处腰斩之刑。
霍光夫人以及众多女儿悉数被处极刑，斩首于市。
霍皇后被迫为族人之行为不检点负起责任，后位被废，并被移至昭台宫。她于十二年后再度被移至云林馆，后来在该处自杀。
到最后阶段时，霍家人才晓得他们所拥立的皇帝是怎样的一个人。
“现在，空气变得清新多了。”
霍氏一族被肃清后，宣帝感慨地说。
垄断朝廷的大派系一下子就烟消云散。要是不做果断措置，宣帝或许会永远在霍氏之下成为傀儡吧？
实际上，留存宣帝心中的“庶民经验”，是不会使他甘于成为别人之傀儡的。
于霍氏灭亡的这一年，宣帝拔擢地方长官中治绩最好的北海太守朱邑为大司农。他如此做的用意在于实践信赏必罚、适材适所之原则。
霍皇后被废的第三年，宣帝决定新立皇后。
他这时宠爱的是华氏、张氏、卫氏等人，而她们都生有皇子或公主。
宣帝刻意选立没有生小孩的王氏为后。选择非其所爱的女人为皇后，这是封建君主的一种冷严表现。对君临天下的人而言，有时候得采取迫不得已的手段。
虽然宣帝之治世不如武帝黄金时代的辉煌灿烂，但这或许是整个汉代中，百官最为安居乐业的时期。
这个时期汉的安定，另一个原因也在于匈奴内部发生分裂。