赫夫纳与首任妻子米莉威廉姆斯据悉，赫夫纳曾两次结婚。22岁时，他以“童男”之身步入婚姻殿堂，可妻子米莉·威廉姆斯却向他坦白，在他服兵役期间与另一个男人上过床。赫夫纳崩溃了，“那是我生命中最具毁灭性的一刻。”他原谅了米莉，但心中对爱情和女性贞操的信仰，从此灰飞烟灭。成功创办《花花公子》后，他开始以“报复性的方式”，染指生活中邂逅的每一个漂亮女人，甚至还尝试了一次同性恋。他抽烟斗，开最酷的车，主持电视节目“花花公子的阁楼”，购买豪宅，创办俱乐部……他说：“我又一次获得了重生。”
第二任妻子金伯利·康瑞德过度的性生活让赫夫纳的心脏不堪负荷。1985年，他经历了一次轻微中风，之后开始反省自己的生活方式。并于1989年迎娶第二任妻子金伯利·康瑞德。金伯利是《花花公子》1989年年度“玩伴女郎”，比赫夫纳小36岁。他们将发生过无数风流韵事的“花花公子豪宅”变成一个温馨的家，共同生养了两个儿子，演绎了一个“模范家庭生活的样本”。然而生活再次捉弄了他。在共同生活的9年里，他恪守誓言忠于婚姻，可金伯利不甘寂寞，红杏出墙。这对创造了“花花哲学”的赫夫纳无疑是一记响亮的耳光：花花公子渴望重返家庭，而他的花花女郎却拒绝回归。
回头浪子一旦再次失足，就会变本加厉地堕落。72岁生日那天，他以与4位“玩伴女郎”共洗鸳鸯浴的方式，祭奠自己灵魂中“清教徒”的死亡。此后，他身边的女伴走马灯般变换，“花花公子豪宅”里时常同时进驻数名“玩伴女郎”。也不知道哈里斯是否真的是赫夫纳生命中最后一个女人，不过有一点可以确定，最终长眠于赫夫纳身边的女人一定不是她。早在1992年，赫夫纳就花7.5万美元在洛杉矶的西林村纪念公园购买了一块墓地。他的隔壁墓穴里，躺着所有男人的梦中情人玛丽莲·梦露。
