洛阳城中的南梁士兵不足一万人，而羌人、胡人的士兵却多达十倍，军副马佛念对陈庆之说：“将军您的威势传扬在黄河、洛水一带，威名震惊中原，功劳高，权势重，被北魏怀疑，一旦发生意料不到的祸患，难道就不担心吗？不如趁其不备，杀死元颢占据洛阳城，这是千载难逢的机会啊。”陈庆之不听。元颢先是任命陈庆之为徐州刺史，因为陈庆之执意要求镇守彭城，元颢心中忌惮他，没有派他去，说：“梁武帝把洛阳一带全权委托给我，忽然听说你要舍弃朝廷的委托，想要前往彭城，会认为你急着升官发财，不为国家考虑，不仅有损于您的名声，恐怕我也会受到牵连。”陈庆之不敢再提。
尔朱荣与元颢相持在黄河上。陈庆之镇守北中城，元颢亲自占据黄河南岸；陈庆之三天经历十一场战争，死伤很多人。有夏州义士为元颢镇守黄河中的小块陆地，他秘密与尔朱荣谋划，请求为尔朱荣破桥立功，尔朱荣之后再率兵赶来。当桥被毁的时候，尔朱荣没有及时接应，元颢将通敌的士兵全部杀光，尔朱荣怅然若失。又因为安丰王元延明沿着黄河镇守，而北方的军队没有船能渡河，商议着打算返回北方，再计划以后的事情。黄门郎杨侃说：“大王您从并州发兵的那天，就知道夏州义士会来做内应所以才来的呢，还是打算施展雄才大略匡复皇室才来的呢？用兵打仗，谁不是打散了再聚起来，伤疤好了再去打仗；何况如今我们军队没有损伤，怎么可能因为这一件事没有成功就荒废全部的计划呢？如今四方百姓对您都很尊敬，想要看您的举动；如果一事无成就率兵返回，百姓会失望，各自考虑是否要留下，到时候是胜是负，就无法预料了。不如征调民间木材，多造一些木筏，掺杂一些小船，沿着黄河排列几百里，都做出准备渡河的架势，首尾相距很远，让元颢不知如何防备，一旦渡河成功，一定会创立大的功业。”高道穆说：“如今国家飘摇，皇上忧虑，臣子受辱。大王您拥有百万大军，辅佐天子号令诸侯，如果分出兵力制造木筏，分散渡河，击破元颢的军队易如反掌；为什么要舍弃这个机会返回北方，让元颢的军队得以重整，在天下征集兵力呢？这就是所谓的纵容敌人强大，到时候后悔都来不及啊。”尔朱荣说：“杨黄门已经陈述了这条计策，应该商议一下。”刘灵助对尔朱荣说：“不超过十天，黄河以南一定会平定。”伏波将军正平人杨剽与他的部族居住在马渚，说他们有几艘小船，请求作为尔朱荣的向导。戊辰日，尔朱荣命令车骑将军尔朱兆与大都督贺拔胜捆扎木材制作木筏，从马渚西侧的硖石连夜渡河，袭击元颢的儿子、领军将军元冠受的军队，将其抓获；安丰王元延明的士兵听说后，四散溃逃。元颢失去据点，率领手下几百名骑兵向南逃走，陈庆之收拢了几千名步兵和骑兵，摆开阵形返回东边，元颢攻下的所有城池，一下子都向北魏投降。尔朱荣亲自追赶陈庆之，正赶上嵩高河水涨，陈庆之的将士死的死散的散，陈庆之只好剃光头发装扮成和尚，抄小路逃出汝阴，回到建康。因为陈庆之有功劳，只被免去右卫将军一职，封为永兴县侯。