到死他都没有明白杨广的为人，他在遗诏中说：

    人生子孙，谁不爱念，既为天下，事须割情。勇及秀等，并怀悖恶，既知无臣子之心，所以废黜。古人有言：“知臣莫若于君，知子莫若于父。”若令勇、秀得志，共治家国，必当戮辱遍于公卿，酷毒流于人庶。今恶子孙已为百姓黜屏，好子孙足堪负荷大业。此虽朕家事，理不容隐，前对文武侍卫，具已论述。皇太子广，地居上嗣，仁孝著闻，以其行业，堪成朕志。但令内外群官，同心戮力，以此共治天下，朕虽瞑目，何所复恨。

    也就是说，他自己认为，杨勇不堪重用，只会贻害后世，而杨广仁孝，能够担当大任。对于这一点，后世史家当然眼睛明亮了，毫不客气地给予批评，慨叹道，隋文帝听信妇人的话，受到邪臣的蛊惑，立杨广，废杨勇，结果托付失所，灭父子之道。最终他坟土未干，子孙就被人屠戮，天下已非隋所有。惜哉！