汉八年（地节四年）
正月
白渡之子白克凭借门荫入光禄勋府，成为汉帝的侍郎。
早先，汉帝将霍山调入朝堂，让修武侯白显任奉车都尉，掌管了北军胡骑校尉和越骑校尉。
武帝时，将北军分为八校尉分别是中垒校尉、屯骑校尉、步兵校尉、越骑校尉、长水校尉、射声校尉、虎贲校尉、胡骑校尉。
其中中垒校尉为驻扎在长安城中的中垒、屯骑、越骑、射声、虎贲五校尉的主官，而步兵、长水、胡骑三部位于长安城四周，通常不归中垒校尉管辖。除此之外，还有屯驻各处城门的门卫。
南军则是除了各个宫的卫戍部队外，就是常伴随皇帝身边的羽林骑和期门骑。
如今除了胡骑校尉、越骑校尉之外，南北两军几乎全部都掌握在霍氏手中，包括东西两宫的卫尉。
二月三日
汉帝下令解除了霍光两个女婿东宫（长乐宫）、西宫（未央宫）卫尉的职务，剥夺了他们掌管的禁卫军兵权。
五日
又把霍光的外甥女婿和孙女婿调离了中郎将和骑都尉的位置并收回官印，并让自己的亲信的许、史两家子弟以及一部分修武侯一系的军官，担任南北军和羽林郎的统帅，最终把兵权掌握在自己手中。
十日
汉帝以宣成侯于国有功的理由，提拔霍光的儿子霍禹为大司马，明升暗降，剥夺了他掌握右将军屯兵的实权。
十五日
御史大夫魏相上书如今的上书制度有所缺陷，希望汉帝能够对其有所改变，这样政令才能通达，国家才能及时处理堆叠的政务。
于是汉帝顺势对上书制度进行了改革，下令以后吏民上书，可以直接呈皇帝审阅，不必经过尚书，群臣百官进见皇上也可以独自往来，把霍山、霍云领尚书事的职务架空了。
通过这一系列步骤，加上白氏的助力，使得汉帝迅速掌握了实权，并且是无波澜的接过了霍氏掌握的实权，霍氏在朝堂和军队的权力被剥夺殆尽，权力逐渐集中在汉帝的手中。