日军大量向徐州地区增加兵力，主要出于4种考虑。
一是通过台儿庄战役，日本军国主义者看到徐州附近集结了大量中国军队，认为这是进行一场决战的好时机，是歼灭中国军队的主力，挫伤中国军民抗日意志的好时机。
二是春季来临，日军对北方强国苏联的战备有所松弛，在全局上日军有较多的机动兵力可以南调，战略预备队的力量加强。
三是日本最高军事当局受台儿庄战役失败的影响，对中国军队的战斗力进行新的评估，认为徐州不可能轻易取得，必须调集重兵，四面合围，才能打通津浦铁路，攻占徐州。
四是台儿庄作战失败后，一些军官萌发了报复中国军队的心理。
出于以上考虑，日军统帅部对徐州地区的军事态势作了新的判断，对北平、天津、山西、江苏、安徽等地日军的作战任务重新进行调整，抽出第14、第16、第114师团，命令这3个师团向徐州地区运动，配备各种重武器，调遣数百架飞机，进行徐州作战，打通津浦路。
4月3日，日军大本营研究了进行徐州作战的可能性。
4月7日，日军大本营下达了组织徐州作战的命令。陆军部根据上述命令，制定了《徐州附近作战指导要领案》。其基本作战意图是：徐州作战，华北方面军和华中派遣军联合组织实施，以华北方面军为主，华中派遣军配合华北方面军作战。作战开始后，主力兵团向西迂回，从侧后保卫徐州，歼灭中国军队第5战区主力。其任务区分主要是：