刘邦率领五路诸侯兵马有五十六万，向东攻打楚国，项羽听闻后，留部将继续攻齐，自己亲率精兵三万去救援彭城。刘邦攻下彭城后搜集珍宝美人，大摆宴会。项羽率军从早晨开始，由萧县从西打到东，中午时打到彭城，大破刘邦军，杀死汉兵十余万。刘邦军逃往南山，项羽率军追到灵壁东阻拦，汉兵落入睢水十余万，睢水为之不流。项羽把刘邦包围了三层，却被一阵大风吹乱楚军，刘邦趁机率领数十骑兵走脱。
刘邦逃往下邑，收集败亡散卒至荥阳，各路败军先后前来会合，萧何也发动关中没有登记在册的百姓前来投奔刘邦，刘邦因此军势得以重振。项羽乘胜来战，无法取胜。 刘邦彭城大败后，诸侯反叛刘邦，归附项羽。
公元前204年，刘邦在荥阳修筑甬道用以过河取敖地的粮食，项羽军多次侵夺甬道，刘邦军无法取得粮草补充，非常害怕，于是与项羽议和，项羽同意。
后来刘邦以韩信引兵三十万为前军，将军孔熙为左翼、陈贺为右翼，刘邦率部跟进，将军周勃断后。项羽引兵十万，先与韩信大战，韩信军失利往后退却，令左右两翼包夹项羽军，项羽军抵敌不住，于是往后撤，韩信趁机反击，项羽军大败，退到壁垒坚守，刘邦乘胜领大军将项羽重重包围。