不巧，公元１０７４年，河北大旱，十个月没下雨，农民断粮，四处逃荒。按说这只是自然灾害，却被变法反对派利用，有官员趁机献给宋神宗一幅《流民图》，硬说旱灾是王安石变法造成的，要求把王安石撤职。宋神宗也是忧民之君，看了《流民图》，很是难过，长吁短叹，夜不能寝。反对派大臣还鼓动了宋神宗的祖母曹太后和母亲高太后在他面前进言，哭诉天下被王安石搞乱了，逼迫宋神宗停止新法。王安石迫于形势，上书辞职。

    在这个微妙时刻，宋神宗如何用人就成为变法成功与否的关键了，如果顺从了大臣的意见，罢免了王安石，则变法就功亏一篑了，若是坚持下来，则可能会向顺利的方向发展。结果，宋神宗并不是一个坚定的领导者，他批准了王安石的辞呈，让他暂时离开东京，到江宁府休养，新法受到了挫败。

    第二年，宋神宗还是想继续变法，把王安石再次召回出相。然而，事有凑巧，刚过几个月，天空出现了彗星。这正常的自然现象在当时是不吉之兆，反对派大臣自然不会放过，趁机攻击新法。王安石虽然竭力为新法辩护，劝说宋神宗不要迷信，但宋神宗还是犹豫不定，王安石