潘祖荫有收藏、赏鉴古器珍玩的爱好。诸凡金石书画，固然都是潘氏酷嗜之物，而对鼻烟具有极高的鉴赏水平，则令潘氏在近代以来古玩鉴赏界中卓尔不群，独步天下。

    鼻烟先风行于欧洲，据说，拿破仑嗜之如命，月吸三公斤以上。明代万历年间，鼻烟传入我国；到了清代，则衍变出一种“鼻烟文化”——不但烟粉制作精益求精，鼻烟壶的制作工艺也空前绝後：鼻烟中的极品，不必薰香，“而自有木瓜、苹果、玫瑰、橙、柚等香气；一两之值，可达百金”。烟壶之名贵者，“多用宝石，有套至十三色者，一壶之值总在千金左右”。和珅倒台，从他家抄出的名贵鼻烟壶有上千只；论收藏数量，和氏当为有清第一人，但是，论赏鉴水平，则无人堪与祖荫抗手。潘氏殁後，杨度之弟杨钧（也是一个大玩家）便曾感叹：“世无潘伯寅（祖荫字），即无可赏鉴鼻烟者”。更绝的是，潘祖荫不仅“赏鉴鼻烟”，更用鼻烟壶来“赏鉴”人才。

    祖荫是咸丰二年的探花，此後仕履多与文教事业有关，数次充任主考，为天子选拔人才。每逢阅卷，祖荫便在抽屉内放两个鼻烟壶（一个红色，一个绿色），以手探之：