严嵩的退休生活，过得不算滋润。
他和严世蕃从南京被抓回来后，便被软禁在北京西山一栋别墅里，这栋别墅，却正是陆炳的旧宅，装修虽然豪华，但失去了自由，失去了权势，再豪华的房子也不过是一栋监牢而已。
严家父子被逮捕进京的时候，很多人都以为清算起来他们非死不可，但徐阶却倾向于留他二人性命。
徐阶暗地里对说丁汝夔：“严嵩所为恶，多是从上皇之欲，追究严嵩，将置上皇于何地？”这时嘉靖也被软禁中，这个老皇帝被冷处理了，而徐阶也不愿意发生任何可能让老皇帝再次复出舆论水面的事情。
蒋逸凡听到消息后曾劝李彦直施加压力迫北京严惩严嵩，李彦直却道：“杀他做什么？如果他还在宰相的位置，自然无论如何要拉他下马，现在他已经下台，就算留下他一条性命，以他现在的名声还能有什么作为？就交给徐师处理吧。”
因此严家父子竟然就保住了性命，老严经过重重挫折，此时已是心灰意冷，小严却还不肯完全死心，他们两人进出不得自由，但管家用人偶尔却还得以出去买点家用杂物，严世蕃就通过这个途径，和外界保持着一点的联系。在这一点上，锦衣卫对他们的看管可就没对嘉靖的看管那么严格了。
这日听说李彦直上疏、徐阶主持要砍了诸王侯的奉养，严世蕃闻言大喜道：“如此一来，等于削藩！诸王势必大恼！姓徐的姓李的有得受了！”
严嵩却摇头道：“没用的。诸王分封而不锡土，列爵而不临民，食禄而不治事，徒拥虚名，坐享厚禄，贤才不能用，智勇无所施，别说徐阶如今要削他们的奉养，就算是要杀他们，他们也无可奈何。”
严世蕃智谋犹胜乃父，这时身在局外，也自知无法影响到政局，只是坐观徐阶李彦直宰割江山而已，但他恨极了李彦直，所以哪怕李彦直遭受到一丁点的麻烦他也幸灾乐祸，说道：“虽然诸侯无力举兵，但几句顶撞痛骂总有的。有人替我们骂骂徐某人李某人，也是一件大快事。”
事情真的就如他父子二人所说，诸王虽然叫苦连天，甚至上表哭诉，但大明中叶以后，防范诸王的体制极严，藩禁极密！诸王就连要出城扫墓都得上表申请，甚至还有“二王”不相见的戒令让他们彼此无法呼应——这些措施原本是皇帝怕王爷们勾结造反，但现在徐阶运用起来，却叫他们无法串联起来支持皇帝，朱元璋虽设立了诸王意图拱卫京畿，但真到了这份上，小皇帝在北京依然是孤家寡人。
诸王要跟中央打嘴仗，徐阶就说：“太祖皇帝虽定了宗人府的体制，但当时太祖只有十几个儿子，如今却有成千上万的子孙，情况不同，这就叫此一时、彼一时也。”又说：“宗室改革一事嘛，不是看改得改不得老祖宗的规矩，而是看对宗亲、对大明有没有好处。”
这两句话，却是周王、鲁王的原话，徐阶拿出这两句话来原话奉还，不但周王、鲁王恼恨，其他诸王也都怨恨他二人多嘴！
这一年，杜太后驾崩，北京有晴天霹雳连响，严世蕃坐在西山别墅里指天号骂：“李哲，李哲！你不得好死！这雷不该在这里响，却该去东南劈了那混蛋！”又过数日，曾出去与魏良弼接头的那管家却忽然被抓了，严世蕃忽然又害怕起来，担心自己私通京官的事被徐阶、李彦直发现，过了两天那管家却又被放了回来，和他同时来的竟然还有高拱。
高拱在这宅子里转了一圈，对严嵩道：“分宜，阁老和都督对你也算不错了，作为晚生我奉劝一句，以后别多事了！”
严家父子一听，就知道自己的作为其实都还在对方的监视之中，严嵩的性子比他儿子更柔，否则何以得享高寿？叹了一口气，道：“肃卿啊，李尤溪他究竟要干什么？真要篡逆吗？若他真要如此，你和分宜就由得他？他眼下权力虽大，但比起驱逐胡虏的太祖皇帝来，他的功业毕竟不足以服人，真有做九五之尊的妄想时，只怕就算一时成了，也难长久！你跟得他这么紧，到时候怕也有覆巢之忧。”
高拱笑道：“这些分宜你就无需作杞人之忧了。”说完要走，外头奔入一个属吏来，跟高拱耳语了一句，高拱脸色微动。
严嵩叹道：“天下又多事了？”
“嘿嘿！”高拱说道：“也没什么事！就是晋王不懂事，竟发檄文要造反！”他故意示以闲暇，表示无事。
“发檄文？”严嵩道：“那么不是正式起兵了？嗯，也对，如今藩王手里，又哪里还有兵？不过是空呼口号罢了。不过啊，分宜要真动了晋王，只怕接下来便牵一发而动全身，其他藩王也要相继起事的。”