均以党派立场对待，闹得不亦乐乎。太和四年（830年）十月，在牛党的打击下，李德裕被贬出朝廷，任西川节度使。但是由于李德裕在西川政绩卓著，太和六年（832年），他再次入京担任兵部尚书。牛僧儒则继续领导着自己的朋党与李德裕纠缠斗争下去，一直持续了数十年，这就是历史上的“牛李党争”。

    虽然，争端难免，但是李德裕常常以大局为重，在重大事件面前放弃党派之争。武宗刚即位，就要将曾拥立陈王为太子的杨嗣复、李珏二人处死。李德裕认为武宗刚即位，诛杀大臣会导致政局不稳，尽管杨、李二人是牛党骨干，他仍以大局为重，不计个人恩怨连上三状，极力挽救二人性命。在李德裕等人的苦苦相劝下，武宗终于同意赦免杨嗣复、李珏二人。

    会昌六年（846年）三月，唐武宗病故，宣宗继位，他将李德裕贬出朝廷，升翰林学士白敏中为宰相，之后，牛僧孺、李宗闵等五人同日升迁。九月，李德裕又被解除平章事，贬做东都留守。接着白敏中的党徒李威又检举李德裕辅政时的过失，不久，李德裕被贬为太子少保，并一路贬至崖州司户。大中四年（850年）十二月，李德裕在崖州郁郁而死，时年六十四岁。

    牛李之争，缘起于牛僧儒在穆宗时，与李宗闵一起不避李德裕的父亲李吉甫的权势，向他开炮挑事，李德裕把这事记在心里，和牛僧儒纠缠了数十年。在他们的争端中，有政策上不同的分歧，也有私怨结党斗气。但是在整个政治生涯中，李德裕敢于直言犯谏，劝阻武宗因怀疑大臣不忠而想将他们处死的意气用事；劝告武宗不要过于爱好游猎而荒误政事；同时，他还帮助武宗平定了泽潞节度使刘稹的叛乱，这么说来，李德裕还是唐后期杰出的政治家，也不失为一良相。