约的那位漂亮的小姑娘，于是连忙派人去打问，并派人将她和她的母亲请来。谁知此时姑娘早已嫁人，并已生了两个孩子了。她的母亲怕杜牧强行将自己的女儿夺走，就连两个外孙也抱了来。杜牧见此，颇为不快，就说：“既然你已将女儿许给我，为什么又将她嫁人了呢？”母亲回答说：“刺史大人请不必见怪，我以前是将女儿许给你了，但你说的是十年为期呀！你说过了十年你不来，我随便将她嫁给谁都可以，现在已是十四年了！”杜牧自知是自己不对，负了前言，不能责怪人家，于是就说：“你说得有理，强扭的瓜不甜，我不能强人所愿。”于是，就送了这母女一些礼物，让人把她们送走了。

    贺天健绘《杜牧寻春图》

    当天晚上，杜牧怎么也睡不着，他提起笔来，写了一首颇为悔恨的《怅别诗》：

    自恨寻芳到已迟，往年曾见未开时。如今风摆花狼藉，绿叶成荫子满枝。

    词中以花比喻此女，颇有悔恨之意，也微现轻薄之态。这首诗，古今不少诗集都记载了。有的则是记作“自是寻春去较迟，不须惆怅怨芳时。狂风落尽深红色，绿叶成荫子满枝”，略有不同。也有不少人知道杜牧此诗的写作来历后，对杜牧的才子式轻薄与放纵感到无聊，认为他太过分了。有一个叫田昼的，就写了一首诗讥笑杜牧：

    弟病兄孤失所依，当时书语最堪悲。岂面乞得南州牧，却恨寻春去较迟。