1560年，严嵩已有80岁。他的心力和身体都已衰弱，不能再像他从前那样勤恳地侍奉皇帝。一些年来皇帝的多数敕令事实上是由他的儿子严世蕃草拟的，当他入值时，严世蕃陪伴着他。在严的妻子于1561年去世之后，他的儿子必须在家里伺候他，这是严能够让他的儿子避免离开北京去照料他母亲葬礼的唯一办法。这时戴孝的他的儿子不能再和他一道到皇城的西苑去侍奉皇帝。严这时甚至不能看懂皇帝的手诏；他为了回奏，必须把皇帝的诏令带回家中给他的儿子。他的儿子常常喝醉或者干些其他放荡的事，因而什么东西也不能及时准备。当皇帝派太监去催要答复时，严不得不自己起草点什么，而他草拟的东西却被发现原来是不合格的。继续干这种工作，他的确是太老了；他毕竟不是道教的神仙，而是一个有病的老人。他容易受到责难，很快就倒了楣。

    严嵩在内阁的副手大学士徐阶，最初是夏言在朝廷上推荐的，夏言于1548年被严嵩处死。徐阶和严嵩从来不和，在他于1552年成为大学士之后，他努力削弱严在皇帝面前的有利地位，反对他的政策，提出相反的建议，暗中指挥对严和他的代理人的弹劾活动。严怀疑徐以某种方式背地支持弹劾他的各种企图，但他什么也不能证实。他有几次试图使徐被免职，但每次都失败了。徐继续在政策问题上向皇帝提出建议，他终于被允许筹办不死药和草药，这项工作以前是只交给严嵩的。

    皇帝从未完全信任严嵩。他有时会干脆不理或拒绝严的建议，以便行使他裁决事情的绝对权力。当严不能再侍奉他时，他开始寻找一个代替的人。徐阶等待这个机会已有八年。他知道皇帝觉得严嵩已不再有用，知道他瞧不上严的儿子。无论什么时候，只要有可能他就加深皇帝的不满。1562年，他亲自照管1561年12月焚毁的皇帝寝宫的重建工程。严嵩反对重建这座宫，另外建议皇帝移居到上世纪50年代被废黜的英宗皇帝实际上被当作囚徒时住过的另一座宫里去。皇帝拒绝考虑这个建议。他的宫只不过四个月便复原，1562年6月，在他重新定居以后不到两月时，严嵩便被免职。

    在皇帝的知己和顾问陶仲文得病而于1559年从朝廷告退以后，他只好重新挑选一个道教名家来指导扶乩仪式。他的新的扶乩者最初只是焚化交给他的密封的问题，而皇帝很少能够得到一个满意的答复。这种情况不能继续下去。扶乩者和送交包封的太监开始在焚化包封之前阅读所提的问题。他们因而能够按照皇帝的意愿而占卜答案。