家世对潘惟德影响比较大。他一辈子都是一个花钱大手大脚的人，另一方面，家族过于辉煌的历史使他形成了很深的家族情结。潘惟德一生坎坷，回忆家族的光荣也许是他惟一的寄托
老苏州人有两句俗话：“半潘”和“一条河一条街”。
“半潘”是指老苏州的两个潘姓世家——富潘和贵潘。富潘在鼎盛时期曾经拥有苏州观前街的大部分商号：元大昌酒店、稻香村糕点、黄天源糕团、文昌眼镜店……生意甚至做到了天津、北京和郑州，北京的老绸缎庄“瑞蚨祥”就是潘家的重要产业。贵潘是苏州的科举世家，自乾隆年间，科举成名做大官的就没有断过，最有名的是乾隆年间的状元潘世恩和他的孙子潘祖荫，曾经官拜尚书。这一商一官两个潘家，“占了半个苏州城”，可见势力之大。
所谓“一条河一条街”，这是说苏州独特的城市格局。官太尉河在城中曲折而过，所有的街道都依河而建，有河道的地方，必有一条街道。街道都是青石板的小路，不宽，恰好能容一辆马车通行。
富潘的祖宅礼耕堂座落在平江路卫道观前，恰好毗邻官太尉河。故事就从这座房子和这个家族讲起。
老潘的遗物
富潘的十九代传人潘志强是个印刷厂的老板，他打开一个大塑料袋，里面是他的父亲、第十八代传人潘惟德的遗物：一套家谱、几个旧笔记本、一些剪报、信件和照片。
2005年1月，77岁的退休会计潘惟德患病去世，这个时候，他苦心整理了四年的潘氏家谱还没有最后完成。儿子潘志强是开印刷厂的，他把父亲整理的家谱排版印刷了60套出来，每套都是厚厚5本。他承认自己没有好好看过，只不过父亲交代的事情，自己必须做完：“他的东西太多太多了，乱七八糟的，我理起来没个头绪的。”
这些家谱主要是记载潘氏家族的成员名单和流变，并没有提到富潘的起源和家族生意规模。苏州市政府地方志办公室的张学群正在研究苏州地方名门望族的历史，他看过潘氏家谱之后说：“从家谱上看不出潘家有多么富有。过去的生意人都不张扬，他们从穷到富、怎么富起来的，外人都不得而知。那时候要挣钱都要好几代人的努力，不像现在，可能几个月就富了。”
