基于自适应公平性度量选择的长期公平性感知推荐

《Information》:Long-Term Fairness-Aware Recommendation via Adaptive Fairness Metric Selection

【字体: 大 中 小 】 时间:2026年08月29日 来源:Information 4.3

编辑推荐:

  推荐系统中的公平性问题因算法偏见引发的社会与监管关注而日益受到重视。现有的公平性感知方法通常通过表示学习移除敏感属性,或利用因果路径干预(如反事实或特定路径去偏)来区分敏感属性与用户偏好之间的真实因果效应与混杂因素导致的关联。然而,在评估环节,大多数先前工作同

  
推荐系统中的公平性问题因算法偏见引发的社会与监管关注而日益受到重视。现有的公平性感知方法通常通过表示学习移除敏感属性,或利用因果路径干预(如反事实或特定路径去偏)来区分敏感属性与用户偏好之间的真实因果效应与混杂因素导致的关联。然而,在评估环节,大多数先前工作同时采用人口统计均等(Demographic Parity, DP)与机会均等(Equal Opportunity, EO)作为标准,却忽视了二者之间的内在张力以及敏感属性的因果本质。具体而言,若敏感属性真实驱动偏好差异,强制执行DP将迫使不同群体获得相同的曝光率,这与自然的兴趣多样性相悖,并严重损害准确性;反之,对于虚假关联,仅依赖EO无法消除混杂引入的偏差。更重要的是,这些度量通常以静态、一次性方式计算,忽略了推荐是一个迭代过程,即使微小的初始差异也可能通过反馈回路随时间放大,最终导致显著的长期不公平。然而,现有研究很少关注此类动态、长期的公平性影响,在评估与优化两方面均存在关键空白。为解决这一问题,研究人员提出了基于自适应公平性度量选择的长期公平性感知推荐(Long-term Fairness-aware Recommendation via Adaptive Fairness Metric Selection, LFR-via-AFMS)。该框架首先学习因果结构,以判断敏感属性对用户偏好具有真实因果效应还是仅存在虚假关联。基于该诊断结果,框架自适应地选择最合适的公平性准则:对于真实因果关系采用机会均等(EO),以允许群体间合法的偏好差异;对于虚假关联采用人口统计均等(DP),以完全消除不合理的差异。自适应选择的度量随后被整合进演员-评论家强化学习奖励中,在不牺牲准确性的前提下优化长期公平性。在阿里巴巴和MovieLens数据集上的大量实验(含五次独立运行与统计显著性检验)表明,所提方法相比最先进的基线方法实现了更优的公平性-准确性权衡,且自适应度量选择对于同时维持公平性与推荐质量不可或缺。研究人员通过已知真实标签的仿真研究验证了因果诊断模块,并通过敏感性分析确认了其在不同阈值选择下的稳健性。
本文提出了一种名为LFR-via-AFMS的因果驱动的公平性感知推荐框架,其核心思想是依据敏感属性与用户偏好之间的因果作用类型,自适应地选择公平性度量,并将该度量嵌入强化学习奖励中以实现长期公平性优化。该研究旨在解决现有公平性推荐方法中普遍存在的三个问题:一是固定公平性度量(如始终采用DP)无法适应不同数据生成场景;二是DP与EO之间存在内在矛盾,同时优化两者会导致次优解和准确性下降;三是静态一次性评估忽略了反馈回路导致的长期不公平累积。研究人员首先通过等价检验进行因果结构识别,以区分真实因果效应与虚假关联;随后根据诊断结果选择路径特定公平表示或解耦变分自编码器进行去偏;最后采用演员-评论家强化学习(Actor-Critic RL)框架,将自适应公平性惩罚(EO或DP)集成进奖励函数,并引入拉格朗日乘子施加长期公平性约束。在MovieLens-1M(真实因果)和阿里巴巴展示广告数据集(虚假关联)上的实验以及混合子数据集验证表明,LFR-via-AFMS在不同因果场景下均能取得更优的公平性-准确性权衡,且长期公平性漂移显著小于固定度量基线。

研究共包含三项核心方法:其一,因果结构识别模块采用基于核的条件独立性检验与等价检验,结合功效分析,判定敏感属性与偏好之间是否存在真实因果路径,该模块在已知真值的仿真数据上达到95%的分类准确率;其二,条件表示学习模块根据因果标志选取去偏策略——当为真实因果关系时,使用路径特定公平表示,通过对抗判别器阻断经由曝光E的不公平中介路径,同时保留通过内在偏好U传递的合法因果信号;当为虚假关联时,采用解耦变分自编码器(Disentangled VAE),利用希尔伯特-施密特独立性准则(HSIC)强制偏好隐变量与敏感属性统计独立,从而剔除全部虚假信号;其三,演员-评论家强化学习模块采用近端策略优化(PPO),奖励函数中自适应地加入EO或DP惩罚,并通过拉格朗日对偶上升动态调整惩罚强度,以维持长期公平性预算。实验采用MovieLens-1M(6040名用户,性别敏感属性,真实因果场景)和阿里巴巴展示广告数据集(10000名用户,性别敏感属性,虚假关联场景),并构建模拟环境评估10000步交互的公平性漂移。

5.3 整体性能:在MovieLens上,LFR-via-AFMS正确识别真实因果性并选择EO作为优化目标,取得最高NDCG和Recall,同时达到最低EO差异(K=10时为0.0723),显著优于最优基线;固定DP变体虽降低DP但严重损害推荐质量(NDCG从0.2356降至0.2052),且EO反而恶化,证实真实因果下强制DP会引发矛盾目标。在阿里巴巴上,LFR-via-AFMS正确切换至DP,取得最优DP(0.0651)且保持竞争力准确性;固定EO变体无法修复虚假关联导致的DP差距(0.2210),验证了自适应度量选择的必要性。

5.4 因果诊断验证:通过两类仿真实验(真实因果与虚假关联,各100次试验)检验因果诊断模块,总体准确率达95%;阈值敏感性分析显示,在不同显著性水平(0.01至0.05)和等价界(0.1至0.3)下因果判断稳定,下游性能波动小于1%;代理偏好维度变化(8至128)下诊断结果不变,证明算法对矩阵分解代理超参数不敏感。

5.5 消融研究:从BPR-MF基线出发,单独加入因果诊断(选择正确度量但无去偏表示)即可改善公平性;进一步加入条件表示学习模块显著降低目标不公平度量并提升准确性;完整模型(含自适应惩罚)在两个数据集上均取得最优权衡,证明三个组件缺一不可。

5.6 数据集内自适应:在MovieLens混合子群体(部分年龄段性别为真实因果,部分为虚假关联)和阿里巴巴混合类别(化妆品类别为真实因果,电子产品类别为虚假关联)构建的混合数据集上,LFR-via-AFMS能同时适应两种因果状态的子群体,达到Oracle性能的96%至98%,而任何固定度量基线均无法同时满足两类子群体的公平与准确目标。

5.7 参数敏感性:公平性惩罚权重的帕累托前沿显示,在=0.1时两个数据集均处于稳定区域(MovieLens中EO降低且NDCG损失小于;阿里巴巴中DP降低且NDCG略有提升);容差阈值过小导致过惩罚与训练不稳定,过大则公平约束失效,推荐的=0.05与=0.03能平衡噪声容忍和公平性维持。

5.8 长期公平性演化:在10000步模拟交互中,LFR-via-AFMS能将目标公平性度量(MovieLens的EO差异、阿里巴巴的DP差异)持续保持在容差阈值以下;固定错误度量变体(MovieLens上的FixedDP、阿里巴巴上的FixedEO)出现严重公平性漂移;即使采用正确固定度量的变体(FixedEO在MovieLens、FixedDP在阿里巴巴)在后期也呈逐渐上升趋势,而LFR-via-AFMS因拉格朗日乘子的动态调节保持了稳定裕度。量化结果显示,LFR-via-AFMS的公平性漂移在MovieLens上比最优基线低46%,在阿里巴巴上低34%,均具有统计显著性。

讨论与结论部分总结:本研究揭示了同时采用DP与EO作为评估标准的理论矛盾性,提出应以敏感属性的因果角色作为度量选择依据。通过等价检验实现因果诊断,结合自适应公平性惩罚的强化学习优化,LFR-via-AFMS在不同因果场景下均实现了公平与准确性的优异平衡,并有效抑制了反馈回路导致的长期不公平累积。研究局限包括:因果诊断依赖矩阵分解代理的质量、静态离线诊断无法捕捉因果结构的时变性、仅支持二值敏感属性、无曝光日志时的曝光插补存在近似误差、长期评估依赖仿真环境。未来工作将扩展至多值及交叉敏感属性、发展在线因果发现方法、探索基于因果强度的连续度量插值,并在真实推荐系统中进行部署验证。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号