吕后听后很高兴，按张良所言，派人带着太子书信，卑辞厚礼，请四人下山，在吕泽家中供养。
公元前 196 年，英布造反，刘邦重病，便想让太子带兵攻讨。商山四皓认为太子带兵对形势非常不利，于是找到吕泽说：“太子带兵，即使有功劳也不能再提高地位了，无功而返，从此就有祸事了。而且军中诸将都是跟随皇上平定天下的枭将，现在让太子率领他们，就像让羊率领狼一样，他们必定不肯尽力，无功而还是必然的。我们听说过‘母爱者子抱’这样一句话，现在戚夫人日夜服侍皇上，赵王如意常被抱在皇上面前，皇上说‘总不能让不肖之子位居爱子之上’，这不是明摆着是要改立太子吗？你要赶快让吕后找机会向皇上泣涕进言说：‘英布是一员猛将，善于用兵，现在诸将都是陛下故旧，让太子率领他们，就像羊率领狼一样，必不肯尽力，如果让英布知道了这些情况，必定鼓行而西直捣长安。陛下虽然患病，也应卧在辎车中亲征，诸将才不敢不出力。’”吕后找一个机会，按照四人的话向刘邦哭诉一番。刘邦说：“我也觉得竖子没能力带兵，还是我自己去吧。”于是率兵而东。张良强起病躯，到刘邦军营说：“我理应随陛下出征，可是病得太重了。英布的士兵剽悍，不要与他们硬战。陛下去了，应当让太子做将军，监督关中兵马。”刘邦说：“就按你的话办。你虽然重病在身，还是要尽力辅佐太子。”