後來潘谷不幸醉酒落井而死。他的朋友蘇軾寫詩紀念他，其中有兩句說：

「布衫漆黑手如龜，未害冰壺貯秋月。」

一個只顧埋頭工作、不拘小節、但品行正直的形象躍然紙上。

「冰壺秋月」 中冰壺指盛水的玉壺，比喻潔白明淨。多借指人的品格。

（出自蘇軾《贈潘谷》）