留侯于是说道：“我家世代做韩相国，等到韩国灭亡，我不惜万贯家财，为韩国找强大的秦国报仇，全天下都为此震动。如今我凭着三寸之舌当了帝王的老师，封邑万户，位居列侯，这对于一个平民来说是至高无上的荣耀，我已经非常满足了。我愿意舍弃人世间的富贵，随着赤松子去云游。”于是张良学辟谷术，锻炼轻身之道。正逢高帝驾崩，吕后对留侯怀有感恩之心，便竭力劝他进食，对他说：“人活一世，时光有如白驹过隙那么迅速，何必自找苦吃到这种地步啊！”留侯不得已，勉强听太后之命而进食。
八年后，留侯去世，谥号为文成侯。他的儿子张不疑继承侯位。
当初张子房在下邳桥上遇到的那个给他《太公兵法》的老丈，在与其别后十三年，张良随高帝经过济北时，果然在谷城山下见到那块黄石，便将其取回，奉若至宝般祭祀它。留侯去世后，黄石也随之埋葬。以后每逢冬夏节日扫墓祭祀张良的时候，也同时祭祀这块黄石。
太史公说：大多数学者都说没有鬼神，然而却又说有精怪。至于像留侯遇到的老丈赠书的事，也真够神奇的了。高祖多次遭遇困厄，而留侯常在这种危急关头出力建功，难道能说这不是天意吗？皇上说：“论在营帐之中出谋划策，在千里之外决定胜负的才能，我比不过子房。”我原本以为此人大概是高大奇伟的样子，等到看过他的画像后，却发现他的相貌就像一个美丽的女子。孔子说过：“以相貌来评判人，我在对待子羽上就有失误。”对于留侯也可以这样说。