但这种优遇并不如何持久。尤利乌斯二世的性格和米开朗琪罗的同样无恒。他一会儿热心某个计划，一会儿又热心另一个决然不同的计划。另一个计划于他显得更能使他的荣名垂久，他要重建圣彼得大寺。是米开朗琪罗的敌人们怂恿他倾向于这新事业的，那些敌人数不在少，而且都是强有力的。他们中间的首领是一个天才与米开朗琪罗相仿而意志更坚强的人物——布拉曼特，他是教皇的建筑家，拉斐尔的朋友。在两个理智坚强的翁布里亚伟人与一个天才粗野的翡冷翠人中间，毫无同情心可言。但他们所以决心要打倒他，无疑是因为他曾向他们挑战之故。米开朗琪罗毫无顾忌地指责布拉曼特，说他在工程中舞弊。那时布拉曼特便决意要剪除他。
他使他在教皇那边失宠。他利用尤利乌斯二世的迷信，在他面前说据普通的观念，生前建造陵墓是大不祥的。他居然使教皇对于米开朗琪罗的计划冷淡下来，而乘机献上他自己的计划。一五○六年正月，尤利乌斯二世决定重建圣彼得大寺。陵墓的事情搁置了，米开朗琪罗不独被压倒了，而且为了他在作品方面所花的钱负了不少债务。他悲苦地怨艾，教皇不再见他了。他为了工程的事情去求见时，尤利乌斯二世教他的马弁把他逐出梵蒂冈宫。