两年后，虞允文被召回，升任枢密使，后虞允文进为首任左丞相，仍兼任枢密使。宋孝宗在抗金问题上，是非常依靠虞允文的，曾对他说：“丙午（靖康元年，１１２６年）之耻，当与丞相共雪之。”这年九月，虞允文再次罢相，以少保、武安军节度使任四川宣抚使，封为雍国公。宋孝宗这样安排是希望虞允文率一军从川陕主攻，自己亲领一军在淮南出师，兵分两路伐金。虞允文则吸收当年被迫从已攻占的西北三路十四州退兵的教训，提出“异时戒内外不相应”。宋孝宗回答得很干脆：“若西师出而朕迟回，即朕负卿；若朕已动而卿迟回，即卿负朕。”于是，虞允文离开京城的那一天，宋孝宗亲自在皇宫正殿赐酒赋诗送行，并特赐虞允文在殿门乘马，持节度使仪仗出京。虞允文这时已经年过花甲，但雄心不减，于乾