留侯于是说道:“我家世代做韩相国,等到韩国灭亡,我不惜万贯家财,为韩国找强大的秦国报仇,全天下都为此震动。如今我凭着三寸之舌当了帝王的老师,封邑万户,位居列侯,这对于一个平民来说是至高无上的荣耀,我已经非常满足了。我愿意舍弃人世间的富贵,随着赤松子去云游。”于是张良学辟谷术,锻炼轻身之道。正逢高帝驾崩,吕后对留侯怀有感恩之心,便竭力劝他进食,对他说:“人活一世,时光有如白驹过隙那么迅速,何必自找苦吃到这种地步啊!”留侯不得已,勉强听太后之命而进食。
八年后,留侯去世,谥号为文成侯。他的儿子张不疑继承侯位。
当初张子房在下邳桥上遇到的那个给他《太公兵法》的老丈,在与其别后十三年,张良随高帝经过济北时,果然在谷城山下见到那块黄石,便将其取回,奉若至宝般祭祀它。留侯去世后,黄石也随之埋葬。以后每逢冬夏节日扫墓祭祀张良的时候,也同时祭祀这块黄石。
太史公说:大多数学者都说没有鬼神,然而却又说有精怪。至于像留侯遇到的老丈赠书的事,也真够神奇的了。高祖多次遭遇困厄,而留侯常在这种危急关头出力建功,难道能说这不是天意吗?皇上说:“论在营帐之中出谋划策,在千里之外决定胜负的才能,我比不过子房。”我原本以为此人大概是高大奇伟的样子,等到看过他的画像后,却发现他的相貌就像一个美丽的女子。孔子说过:“以相貌来评判人,我在对待子羽上就有失误。”对于留侯也可以这样说。