可是，下邳城的曹豹，却在这时蠢蠢欲动。曹豹本为陶谦手下资格最老的部属，当时陶谦以刘备为继承人，曹豹便非常不满了。只是由于当时大多数的郡县军团领袖及下邳城官员都支持刘备，曹豹一时孤掌难鸣，也只好表面顺从。

    但是曹豹对刘备的不满却是与日俱增，绝不因为时间的过去而有所淡忘，相反却愈益激烈了。这下遇到了袁术军团攻打徐州，曹豹那深心的不满便再也控制不住了，公然鼓动徐州旧臣，批评刘备统治之无能，并反对刘备和袁术公开对抗的政策。

    曹豹的所作所为当然被张飞察觉，因为这时张飞正在下邳防守。张飞一向根本看不起曹豹，认为他无德也无才，反倒以陶谦老部属自居。这次又是他乘机煽动，便十分生气，认为这个人留着绝对是祸根。于是，便未和僚属们商量，自作主张，私下率领侍从队，突击曹豹府邸。曹豹不防，并也无力对抗张飞，便只得俯首就擒。但张飞绝不将他交给刘备，当场就将其诛杀。

    显然张飞的行动过分莽撞，其引起的反响和震动是十分巨大的。下邳城的官员们无不惊惧万分。于是，曹豹的支持者们便公开拥兵和张飞对抗。下邳顿时陷入一片混乱中。

    袁术得到下邳城动乱的消息，认为是个机会，便派人秘密联络吕布，劝他趁机袭击下邳城。如果吕布答应这样做，他袁术就供给吕布军队大量粮食。吕布被刘备冷落在小沛，本来就有些不高兴，整天壮志未酬郁郁不乐的样子。后来得知袁术和刘备交战，接着下邳城又处于动乱之中，心里就止不住有些痒痒。恰好袁术派人来联络他，吕布焉有不动之理?

    于是，吕布立即率部从小沛下东南渡河，直接攻打下邳。原曹豹阵营的中郎将许耽，见吕布来攻，悄悄开门迎接。吕布杀进城来，徐州旧臣几乎都背叛张飞。张飞处于群攻之下，只好乘乱逃离下邳城。

    刘备的妻子恰好住在下邳，便被吕布擒获，同时擒获的还有刘备的直属将官多人。但是吕布对他们并不加害，反而加以保护，并以礼相待，不敢怠慢疏忽。

    刘备忽听下邳出事，又气又急，便立即率部回军。但是，后有袁术，前有吕布，军中将士亲属又大多沦陷于下邳，掌握在吕布手里。因此，将士无心恋战，军队到达下邳城下竟不战自溃。吕布知道这些将士鉴于亲属关系，不愿硬拼，所以十分得意。

    而刘备由于将士溃散，只好收拾残兵，夺取广陵。谁知，又遭逢袁术主力军。刘备此时已丧失战斗力了，只好再退到海西屯驻。

    由于事情都来得太突然，刘备根本毫无准备，当退居到海西时，军中粮草几乎用尽，全军陷入了严重的饥荒之中，甚至发生了争食饿死