徐阶和这个扶乩者联合，开始攻击严嵩。在严被免职之前不久，他是一连串扶乩所得答复中的话题。当皇帝按惯例询问帝国为什么没有治理好时，他被告知，那是因为好人没被任用而不孝顺的人没有退职。问及谁孝顺和忠诚，谁不孝顺不忠诚时，他被告知，徐阶忠诚而严嵩不忠诚。当这个答复随后在别的占卜中得到证实时，皇帝变得非常不安。有关这件事的消息被一个太监非正式地传给了一个御史，这个御史立即弹劾了严嵩的儿子。当严试图代他的儿子说情时，皇帝指责了他。很明显，他已经不再受宠，他于1562年6月被迫去职。

    皇帝这时信任徐阶。1560年，当陶仲文和陆炳在几星期之内相继去世时，皇帝失去了仅有的亲密伙伴。他把陶当作同等的人对待，把陆炳（陆在1539年救过他的命）当作兄弟对待。严嵩走了。只有徐阶仍然受宠。徐小心谨慎，不立即攻击严嵩和他的党羽；他反而显得很和解。当1562年晚期接到弹劾胡宗宪的奏疏时，皇帝说胡不是严党中人，而徐也没有催逼这个问题。

    他不能冒险批评皇帝。过去每一次贬黜严嵩的尝试都因为上奏的人不能把他们的批评限制在严嵩身上而失败了；他们常常也攻击了皇帝的某些政策和决定。立太子的事已经搁置了10多年，而皇帝不想讨论这件事。可是上奏的人认为不得不联系严嵩的罪恶而提出这个问题。皇帝有可能终于对上奏者非常生气，以致他可能忽略他的奏疏的主旨，反而惩罚他。徐阶记住了这一点。

    1562年，严世蕃在他父亲去职时，被谪戍瘴疠之地。他不前往他的戍地，反而回到他在江西的祖居，他在那里开始招募一支大的卫队。1564年9月，在皇帝生日的时候，严嵩进呈一篇如何召鹤（道教神仙的使者）的文字，同时请求允许他的儿子从戍地回来照顾他。这个请求被拒绝了。1564年12月，一个御史上奏说，严世蕃实际上住在江西，并且招募了4000多人。严世蕃和他的同伙被控谋反，被捕，并被带到北京受审。

    对严世蕃的最初的控告书，其中也指控他和几个官员的死有牵连，这几个官员是按照皇帝的命令被处决的。当有人把控告书的草稿给徐阶看时，徐把有关谋反罪行的材料之外的一切事情都删去了。皇帝立即批准了判决。他长期以来就瞧不上严嵩的儿子。1565年4月，严世蕃被处死，他的父亲被贬为平民，严家的财产被没收。严嵩，一个在朝廷上无人可求的无家可归的人，死于这一年的晚些时候。