没过多久，袁术就带兵来攻打刘备，刘备在盱眙、淮阴一带抵抗。这时候，曹操上表朝廷，封刘备为镇东将军，封宜城亭侯，这一年是建安元年。刘备和袁术对峙了一个多月，没想到吕布趁着下邳防守空虚，突然发动袭击。下邳守将曹豹也叛变了，偷偷打开城门，把吕布迎了进去。吕布把刘备的老婆孩子都抓走了，刘备没办法，只好带着军队转移到海西。《英雄记》里详细说，刘备留下张飞守下邳，自己带兵去淮阴石亭和袁术打仗，双方互有胜负。陶谦原来的部将曹豹在下邳，张飞因为一点矛盾想杀了他。曹豹赶紧带着手下人坚守营寨，还派人去请吕布。吕布趁机拿下下邳，张飞战败逃走。刘备听说后，急忙带兵往回赶，可等他到下邳的时候，军队已经溃散了。刘备只好收拾残兵，向东攻打广陵，和袁术再战，结果又打了败仗。
后来，杨奉、韩暹在徐州、扬州一带抢劫骚扰，刘备带着人半路拦截，把他们全给杀了。为了要回老婆孩子，刘备向吕布求和，吕布这才把人还给他，刘备就让关羽去守下邳。
刘备退回到小沛，这里面还有段曲折故事。《英雄记》记载，当时刘备的军队驻扎在广陵，处境极其艰难，粮草断绝，饥饿的士兵们陷入绝境，甚至出现了人吃人的惨状。在穷途末路之下，刘备实在走投无路，只好派手下官吏向吕布投降。吕布答应让刘备回到徐州，还打算和他联手去攻打袁术。吕布不仅给刘备准备了刺史规格的车马、童仆，还在泗水边上，将刘备的妻子儿女、部下及其家属都送还给他，并且设宴为他送行，表面上看起来一片和气。不过《魏书》里还有另一种说法，吕布手下的将领们纷纷劝他：“刘备这人反复无常，不好控制，不如早点除掉他，以绝后患。” 可吕布却没听进去，还把将领们说的这些话告诉了刘备。刘备听后心里十分不安，为了找个安稳的容身之所，他派人去劝说吕布，请求驻扎在小沛，吕布最后同意了，刘备这才前往小沛。
到了小沛之后，刘备慢慢又聚集了一万多士兵。吕布一看刘备的势力又壮大起来，心里很是忌惮，担心刘备威胁到自己，于是亲自带兵去攻打刘备。刘备根本抵挡不住吕布的进攻，大败而逃，只好去投奔曹操。曹操对刘备非常热情，不仅隆重地接待了他，还封他为豫州牧。曹操让刘备前往沛县收拢逃散的士兵，不仅供应给他军粮，还额外给他增派兵力，让他向东去攻打吕布。吕布派手下大将高顺迎战，曹操则派夏侯惇前去支援刘备，可夏侯惇没能抵挡住高顺的攻势，支援失败，刘备再次惨败，他的妻子儿女也被高顺俘虏，送给了吕布。
曹操见情况不妙，决定亲自东征。据《英雄记》记载，建安三年春天，吕布派人带着金子去河内买马，结果半路上被刘备的军队劫走了。吕布因此大为恼火，立刻派中郎将高顺、北地太守张辽等人去攻打刘备。同年九月，高顺等人攻破了沛城，刘备孤身一人狼狈逃走，他的妻子儿女又一次被吕布俘获。到了十月，曹操亲自率军征讨吕布，刘备在梁国境内与曹操相遇，随后便跟随曹操一同东征。最终，他们在下邳包围了吕布，并将吕布生擒活捉。刘备这才重新找回了妻子儿女，跟着曹操回到了许都。曹操上表朝廷，封刘备为左将军，对他的礼遇愈发隆重，外出时同坐一辆车，就座时同席而坐，关系看起来十分亲密。
后来，袁术打算经过徐州向北去投奔袁绍，曹操便派刘备率领朱灵、路招等人去半路截击袁术。可还没等刘备赶到，袁术就病死了。
在刘备还没出发去截击袁术之前，汉献帝的舅舅、车骑将军董承（臣松之考证：董承是汉灵帝母亲董太后的侄子，按辈分来说，他是汉献帝的岳父，只是古代没有 “丈人” 这个称呼，所以称他为 “舅”）收到了汉献帝藏在衣带中的密诏，密诏内容是让他们想办法诛杀曹操。刘备得知此事后，一开始并没有采取行动。有一天，曹操和刘备闲聊，曹操很随意地对刘备说：“当今天下称得上英雄的，只有你和我罢了，像袁绍之流，根本不值一提。” 刘备当时正在吃饭，听到曹操这话，吓得连手里的勺子和筷子都掉在了地上。好在他反应够快，当时正好打雷，刘备便借着这个机会对曹操说：“圣人说‘遇到剧烈的雷声和大风，一定要有所反应’，果然有道理啊，这雷声的威力，竟然能把我吓成这样！” 就这样，刘备暂时掩饰住了自己的惊慌。之后，刘备便和董承以及长水校尉种辑、将军吴子兰、王子服等人一起谋划诛杀曹操的事情。可就在他们还没来得及动手的时候，刘备就接到了截击袁术的命令，离开了许都。后来，他们密谋的事情泄露，董承等人都被曹操处死了。
刘备占据下邳后，朱灵等人返回许都。刘备当机立断，杀掉了徐州刺史车胄，留下关羽镇守下邳，自己则回到小沛。关于刘备离开许都还有另一种说法，据《胡冲吴历》记载，曹操经常派亲信暗中监视手下将领，一旦发现谁宴请宾客，就找借口将其杀害。刘备察觉到了曹操的猜忌，为了打消曹操的怀疑，他整天闭门不出，带着手下人在院子里种芜菁。有一次，曹操派人来窥探他的动静，等人走后，刘备对张飞、关羽说：“我怎么可能是甘心种菜的人呢？曹操肯定已经对我起疑心了，我们不能再留在这里了。” 当天夜里，刘备就打开后营栅门，和张飞等人骑着快马连夜逃走，曹操之前赏赐给他的衣服等物品，他全都封存好留下，然后前往小沛重新招兵买马。不过臣松之认为，曹操派刘备率领众将去截击袁术，郭嘉等人都曾劝谏曹操不要这么做，曹操却没有听从，这件事很清楚，刘备并不是因为种菜才逃走的。《胡冲吴历》里的说法，实在是太过离谱了。
小主，这个章节后面还有哦，请点击下一页继续阅读，后面更精彩！