搜索中的多样性与公平性：同一枚硬币的两面？

《ACM Transactions on Information Systems》：Diversification and Fairness in Search: Two Sides of the Same Coin?

信息检索系统常因偏向流行内容导致特定群体或属性曝光不足，研究公平性与多样性的平衡。实验基于TREC 2021、2022及NTCIR-17数据集，分析显式多样化技术对名义和顺序属性的影响，发现其在名义属性和交叉公平上效果显著，但对顺序属性效果有限。

　　

摘要

信息检索系统旨在向用户返回相关且有用的内容，但往往偏向于热门项目。这意味着在搜索结果中，某些代表性不足的群体或属性无法获得应有的关注。例如，对于“物理学家”这样的查询，如果按照性别、国籍或社会群体等特定属性对结果进行排序，可能会显得公平，但对所有这些群体来说并不一定公平。理想情况下，除了提供相关答案外，结果列表还应在广泛的属性范围内实现公平展示。我们证明了虽然系统可以在多个属性上做到公平，但并不一定具备多样性（即存在冗余或缺乏新意）。为此，我们在研究中引入了多样性这一维度，并通过使用TREC 2021 Fair Ranking Track、TREC 2022 Fair Ranking Track和NTCIR-17 FairWeb-1的测试集，探讨了公平性与多样性指标之间的关系，同时研究了这些多样化技术在名义属性和序数属性上的影响，以及交叉公平性方面的效果。研究结果表明，当属性为名义类型时，显式的搜索结果多样化技术能够改善查询效果；但当属性为序数类型时，这些技术未能提供更公平和更多样化的结果。此外，在交叉公平性方面，显式的搜索结果多样化技术的表现也显著优于基线检索方法。