第三段叙述旧地重游，从后事说道佳人已经殒殁，再回到眼前，哀思不断。幽兰、杜若两句写时光飞逝，纵然如此，词人尚且还淹留水乡。别后他重游故地，伊人竟音信全无。“事往花委，瘗玉埋香”，最后他才打探到，她已经香消玉殒了。这令词人悲痛不已，心中愈发地思念她。他想起了她的样子：“长波妒盼，遥山羞黛”。她眼波盈盈，令秋水生妒；她眉色如黛，令青山失色。“渔灯”几句则是回忆他们当初分别的情景。末三句写他们分别前他在青楼墙壁上题诗寄恨，现在想来，那墙壁已斑驳，那诗已蒙尘了吧。
第四段抒发痛悼之情，融情于景，情意绵绵不断。词人登上高亭，只见草色无穷。而青草在古诗词中常寓离恨，无穷的草色恰如无尽的离恨。在满腔愁恨中，词人又自叹年华老去，心意悲凉至极。“暗点检”几句说当年的信物都在，但芳踪却无处寻觅。他欲寄书而信不达，只能将相思之意弹入弦中。他深情地呼唤着逝去的爱人，希望她的香魂能听见！