劉備聽說後，急忙帶兵返回下邳，可惜呀，軍隊被呂布打得落花流水。
劉備和張飛只能收拾殘兵敗將，向東跑去取廣陵，想著和袁術碰碰運氣，可誰知又被打得鼻青臉腫。
最後，他們只能先低低頭，暫時投靠呂布，在小沛找了個地方安頓下來。
呂布也還算講義氣，把劉備的好破孩子都送還了。
可讓人想不到的是，劉備在小沛沒多久就東山再起了，很快就聚集了一萬多人馬。
公元 198 年，呂布的軍隊準備用黃金購買軍馬，結果這些黃金卻被劉備的部下給搶走了。
呂布哪能忍下這口氣，立刻派遣高順等人前去攻打劉備。
劉備根本抵擋不住，這時候夏侯惇接到命令前來救援劉備，可誰承想，連夏侯惇也被高順給擊敗了。
沒過多久，高順就將劉備的軍隊徹底擊潰了。
劉備這下可慘了，失去了立足之地，沒辦法，他只能帶著張飛等人去投奔曹操。
後來，劉備和曹操聯手進攻呂布，呂布最終戰敗身亡。
呂布一死，張飛就被任命為中郎將。
公元 199 年，車騎將軍董承接到了漢獻帝的密令，也就是大家常說的“衣帶詔”，他打算聯合劉備、偏將軍王子服、長水校尉種輯和議郎吳碩一起謀劃誅殺曹操這個大權臣。
然而，這個計劃還沒有開始行動，就被曹操提前察覺到了。
曹操是個心思縝密的人，他找到劉備，兩人坐在亭子裡，曹操笑眯眯地對劉備說：“當今天下英雄，能稱得上這個名號的，我看只有你我二人。袁本初那些人，充其量也就是個跑龍套的。”
劉備一聽這話，心裡咯噔一下，暗想：“這曹操果然狡猾，他這是在試探我呢！”
他當時正在吃飯，筷子夾著一口菜正要送進嘴裡，卻因為心中一驚，手微微一抖，筷子“啪”地一聲掉在了地上。
劉備這一下可真是尷尬到了極點，他心想：“這曹操心思縝密，我這一下露餡了可怎麼辦？”
就在這時，恰巧天上傳來一個轟隆隆的響雷，劉備心中一動，趕緊藉機對曹操說：“聖人說得好，迅雷風烈必變。這話說得沒錯，一個響雷，竟嚇得我筷子都掉了！”
不知不覺一年過去了，到了公元 200 年，衣帶詔的事竟然洩露了出去，董承那些人都慘遭曹操殺害。
劉備驚慌失措，只好帶著關羽、張飛倉皇出逃。這一路，他們不僅殺了徐州刺史車胄，還派關羽鎮守下邳，自已和張飛則屯兵小沛。
曹操得知後，派劉岱、王忠前來攻打，結果被張飛和關羽擊退了。
曹操很生氣，決定親自出馬，這一次劉備打輸了，關羽也被曹操擒獲，劉備和張飛只好狼狽地逃到袁紹那裡去。
也是在這一年，夏侯霸的堂妹外出砍柴，被張飛撞見，張飛見夏侯氏是良家女子，就娶了她為妻。
到了公元 201 年，張飛又和劉備一起在汝南勾結劉闢、龔都等人，企圖攪亂曹操的大後方。
這一次，許都以南的很多地方都積極響應他們，曹操見狀，趕忙派蔡陽前去鎮壓。
可這蔡陽運氣不好，碰上了劉備，結果丟了性命。
不過，後來劉備還是被曹仁打敗了，沒辦法，張飛只好跟著劉備一起去投靠荊州劉表，在新野安營紮寨。