群间知识转移与表示蒸馏技术在公平推荐中的应用
《Knowledge-Based Systems》:Inter-Group Knowledge Transfer and Representation Distillation for Fair Recommendation
【字体:
大
中
小
】
时间:2026年01月12日
来源:Knowledge-Based Systems 7.6
编辑推荐:
推荐系统公平性研究:针对性别数据分布不均导致的偏见问题,提出FairIR框架,通过跨性别组知识迁移和自适应对比蒸馏优化样本分布与特征表示,实验表明在MovieLens、LastFM和Tmall数据集上显著降低公平性差距,尤其对男女性别比1:6的Tmall数据效果突出。
施俊杰|刘亚楠|刘海峰|周俊生
南京师范大学计算机与电子信息学院/人工智能学院,南京,210046,中国
摘要
随着在线平台上推荐系统的成功,人们开始担心它们可能通过有偏的推荐加剧社会不平等。由于消费习惯和文化行为等固有差异,男性和女性表现出不同的数据分布,从而导致结果不平等。一些使用伪造数据或施加算法约束的现有方法未能与现实世界模式保持一致,可能会降低数据质量并对推荐性能产生负面影响。为了解决这个问题,我们研究了从数据和算法两个方面来解决不公平问题的方法。具体来说,为了从数据层面缓解性别导致的数据不平衡,我们提出了一种群体分布对齐机制。该机制通过生成和注入跨群体增强样本来在性别群体之间传递偏好知识。为了解决数据层面表示的局限性,从算法层面,我们提出了基于公平性的表示蒸馏方法。通过自适应对比训练,我们优化了增强样本,以实现公平表示并与原始分布有效整合。在三个真实世界数据集MovieLens-1M、LastFM和Tmall上的实验清楚地表明,我们提出的框架显著提高了推荐公平性,特别是在性别差距较大的Tmall数据集上(男性:女性=1:6)。实验结果显示,与现有技术方法相比,我们的方法有效降低了公平性差异指标,其中DP下降了8.87%,EO下降了9.03%。
引言
推荐系统(RSs)[1]、[2]、[3]作为现代信息系统的核心组成部分,在社交网络[4]、[5]、[6]、在线教育[7]、医学出版[8]等领域得到广泛应用[9]。近年来,研究重点逐渐从提高准确性转向增强个性化和公平性[10]、[11]。由于固有的数据偏见,推荐系统放大了社会歧视,对某些群体造成了系统性歧视[12]。例如,尽管资格相同,招聘推荐系统更倾向于选择男性而非女性[13]。课程推荐系统在教育资源分配上也存在偏见[14]。多个数据源经常低估了代表性不足群体的表现,使少数族裔学生群体处于不利地位[15]。如图1a和1b所示,推荐系统由于数据分布不平衡而做出不公平的预测。结果表明,系统从较大群体中学习参数,导致对主导群体的推荐更加有利,而对代表性不足群体的推荐质量降低。以Tmall为例,男性的推荐准确率低于女性,导致购买转化率降低和资源分配不公平。
现有方法主要从数据和算法两个方面解决不公平的推荐系统[16]。然而,它们面临两个主要挑战:1)基于数据的方法难以将生成/移除的数据整合到原始分布中。一些方法通过清洗敏感特征[17]或生成伪造数据[18]来减少偏见,从而在一定程度上改善了公平性。然而,这些方法依赖于人为假设,无法与现实保持一致,可能会降低原始数据质量并对系统性能产生负面影响。2)基于算法的方法使用特定的模型结构,难以推广到不同的基础模型或公平性任务。一些方法修改模型结构或损失函数来约束算法行为,包括正则化约束[19]、[20]、对抗学习[21]和后处理技术[22]。这些方法有以下局限性:正则化方法依赖于预定义的公平性指标,难以适应不同的公平性要求。同时,对抗学习和因果推断方法通常是为固定的基础模型设计的。
为了解决这些挑战,我们提出了一种新的公平意识推荐系统(FairIR),结合了组间知识传递和基于公平性的表示蒸馏,以提高推荐公平性。为了初步缓解不同性别群体之间的数据不平衡,我们提出了一种称为组间知识传递的机制。该机制通过生成和注入跨群体增强样本,在性别群体之间传递偏好知识。为了解决数据层面表示的局限性,从算法层面,我们提出了基于公平性的表示蒸馏方法。通过自适应对比训练,我们优化增强样本,以实现公平表示并与原始分布有效整合。在三个真实世界数据集MovieLens-1M、LastFM和Tmall上的实验清楚地表明,我们提出的框架显著提高了推荐公平性,特别是在性别差距较大的Tmall数据集上(男性:女性=1:6)。实验结果显示,与现有技术方法相比,我们的方法有效降低了公平性差异指标,DP下降了8.87%,EO下降了9.03%。
介绍
推荐系统(RSs)[1]、[2]、[3]作为现代信息系统的核心组成部分,在社交网络[4]、[5]、[6]、在线教育[7]、医学出版[8]等领域得到广泛应用[9]。近年来,研究重点逐渐从提高准确性转向增强个性化和公平性[10]、[11]。由于固有的数据偏见,推荐系统放大了社会歧视,对某些群体造成了系统性歧视[12]。例如,招聘推荐系统在职位分配上更倾向于选择男性而非女性[13]。课程推荐系统在教育资源分配上也存在偏见[14]。多个数据源经常低估代表性不足群体的表现,使少数族裔学生群体处于不利地位[15]。如图1a和1b所示,推荐系统由于数据分布不平衡而做出不公平的预测。结果表明,系统从较大群体中学习参数,导致对主导群体的推荐更强,而对代表性不足群体的推荐质量降低。以Tmall为例,男性的推荐准确率低于女性,导致购买转化率降低和资源分配不公平。
现有方法主要从数据和算法两个方面解决不公平的推荐系统[16]。然而,它们面临两个主要挑战:1)基于数据的方法难以将生成/移除的数据整合到原始分布中。一些方法通过清洗敏感特征[17]或生成伪造数据[18]来减少偏见,从而在一定程度上改善了公平性。然而,这些方法依赖于人为假设,无法与现实保持一致,可能会降低原始数据质量并对系统性能产生负面影响。2)基于算法的方法使用特定的模型结构,难以推广到不同的基础模型或公平性任务。一些方法修改模型结构或损失函数来约束算法行为,包括正则化约束[19]、[20]、对抗学习[21]和后处理技术[22]。这些方法有以下局限性:正则化方法依赖于预定义的公平性指标,难以适应不同的公平性要求。同时,对抗学习和因果推断方法通常是为固定的基础模型设计的。
为了解决这些挑战,我们提出了一种新颖的公平意识推荐系统(FairIR),结合了组间知识传递和基于公平性的表示蒸馏,以提高推荐公平性。为了初步缓解不同性别群体之间的数据不平衡,我们提出了一种称为组间知识传递的机制。该机制使用跨群体样本渗透策略,从数据丰富的群体中提取交互特征,并应用差异化的噪声转换,然后将转换后的样本注入数据稀缺的群体。这一过程是双向的,确保每个群体都能从另一个群体的偏好模式中获益。然而,仅生成的增强样本可能包含不现实的特征模式。为了进一步优化数据层面的局限性和与现实的匹配度,我们从算法层面提出了基于公平性的表示蒸馏方法。该方法使用自适应对比训练来引导增强样本从真实样本中学习正确的特征表示,同时与负样本保持足够的距离。这确保了生成的增强样本可以无缝整合到原始数据分布中,避免了特征污染问题。这种双数据-算法协同设计既解决了数据层面样本整合的挑战,又适应了不同的基础模型。
FairIR框架由两个密切相关的组件组成:组间知识传递和基于公平性的表示蒸馏。对于组间知识传递,它使用群体分布对齐来识别不同性别群体之间的表示不平衡。然后使用跨群体样本渗透策略从数据丰富的群体中提取交互特征,并创建差异化的噪声转换。最后,将转换后的噪声样本双向注入数据稀缺的群体。这实现了群体间的相互偏好知识传递和分布重塑。对于基于公平性的表示蒸馏,该组件构建了正负样本对。正样本对包含用户嵌入向量和噪声转换后的项目嵌入的组合。然后使用自适应对比训练来优化噪声样本与原始样本之间的距离,确保生成的增强样本可以无缝整合到原始数据分布中,避免特征污染问题。FairIR被设计为一个通用框架,具有很强的鲁棒性,在密集和稀疏数据场景中都能保持优异的性能。
本文的主要创新包括:
•组间知识传递:为了缓解数据分布不平衡导致的性别偏见,我们提出了一种新颖的群体分布对齐机制。从嵌入空间的角度来看,这种方法通过构建差异化的噪声样本来在群体之间传递性别偏好知识。
•基于公平性的表示蒸馏:为了确保生成的增强噪声样本能够有效整合到原始分布中,我们提出自适应对比训练来优化噪声样本和原始样本,通过构建公平的跨样本对。
•与基于嵌入的推荐算法的集成:该方法被设计为一个通用框架,可以轻松集成到任何基于嵌入的推荐模型中。
本文的其余部分组织如下:第2节回顾了一些与公平意识推荐系统相关的工作。第3节详细介绍了我们提出的FairIR方法。第4节描述了实验设置和结果。第5节提供了消融研究和模型分析。最后,第6节总结了本文。
章节片段
相关工作
以往的研究从数据和算法的角度,基于各种准确性和公平性指标[23]、[24],解决了一些推荐系统中的问题。
概述
FairIR是一个数据驱动的公平意识推荐框架。我们的核心思想是将一个群体的部分偏好信息传递到另一个群体,以重新平衡数据分布。FairIR使用可学习的扰动将多数群体的真实正面样本传播到少数群体中,使它们成为少数群体的近邻候选者,然后利用对比学习使这些增强样本更接近真实情况
数据集
我们在三个公共数据集上评估了我们的方法:MovieLens1 [51]、LastFM2 [17]、[52]和Tmall3,每个数据集代表了不同的推荐领域和人口统计分布,统计数据显示在图2中。
MovieLens。 MovieLens-1M是一个广泛使用的电影推荐基准数据集
超参数的影响
为了观察负样本数量kn和温度参数τ对模型的影响,我们在图8中展示了各种超参数值对三个数据集模型的影响。可以看出,将kn从少量增加到大量负样本对推荐性能(HR、NDCG)的影响很小。然而,过多的负样本会对模型训练造成压力,导致在相同训练量下性能略有下降
结论
本文解决了由于性别群体之间数据分布不平衡导致的推荐系统中的公平性问题,并提出了一种称为FairIR的新颖公平意识框架。该方法结合了组间知识传递和基于公平性的表示蒸馏,以实现公平推荐。通过跨群体偏好知识提取和双向注入,我们在使用自适应对比学习的同时,传递了人口群体之间的交互模式
作者声明
署名者特此声明,本手稿是原创的,尚未在其他任何场所发表,目前也没有被其他机构考虑发表。
我们确认手稿已经得到了所有署名作者的审阅和批准,并且没有遗漏符合作者资格标准的任何人。
我们进一步确认,手稿中列出的作者顺序已经得到了所有署名作者的批准。
我们承认
CRediT作者贡献声明
施俊杰:写作 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,软件,资源,项目管理,方法论,调查,形式分析,数据管理,概念化。刘亚楠:写作 – 审稿与编辑,可视化,验证,方法论,调查,资金获取,数据管理。刘海峰:写作 – 审稿与编辑,可视化,验证,监督,软件,资源,项目管理,方法论,
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号