于及早伐吴。但是他的宠臣贾充等人搬出种种理由加以反对，一到这个时候，他又迟疑起来，要不怎么说他算不上一个称职的开国皇帝呢。一次，他和中书令张华下棋的时候，恰巧杜预的又一份请战奏疏送到，一直主张灭吴的张华趁机把棋局一推，极力主张伐吴，并催促司马炎当机立断。在这种形势下，司马炎终于同意立即灭吴。贾充等人听到消息又赶来劝说，惹得司马炎发起火来，他们才不敢再唱反调。

    咸宁五年（２７９年）十一月，司马炎命令张华为度支尚书，在后方主持灭吴大计，掌管漕运粮饷。同时，他发布诏书，下令二十万大军，分六路大举进攻吴国。不过司马炎用人惟亲的缺点也表露出来，贾充虽反对此次用兵，但毕竟是司马炎最亲信的大臣，于是被选定为平吴主帅。那贾充起初推辞不去，还是在司马炎一再坚持下才答应的。到了前线后，贾充仍然一再上奏称东吴不易平定，要求司马炎让他班师回朝，而事实上战事进行得很顺利。

    太康元年（２８０年）年初，南下灭吴的六路晋军所向披靡，孙皓派出的军队都被晋军击败，丞相张悌等人战死。这年三月，王训练的水军发挥了作用，顺利沿江而下，攻入石头城。吴主孙皓无计可施，投降了晋军。至此，东吴亡国，全国重归一统。孙皓投降之后，西晋举朝庆贺。司马炎追念羊祜当年为经营平吴战争而作的努力，不由感叹道：“这都是羊祜的功绩啊！”