CFaiRLLM：大型语言模型推荐系统中的消费者公平性评估

《ACM Transactions on Intelligent Systems and Technology》：CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System

公平评估框架CFaiRLLM在推荐系统中的有效性研究，通过对比传统相似性度量与真实偏好对齐方法，结合多采样策略和交叉敏感属性分析，发现真实偏好对齐能有效提升公平评估的准确性，尤其在音乐推荐等非结构化领域，交叉敏感属性会显著放大公平差距。

　　

摘要

本研究对以往关于基于大型语言模型（LLM）的推荐系统中公平性评估的研究采取了批判性的态度。以往的研究主要通过比较包含和不包含敏感用户属性的推荐列表来评估消费者的公平性。这些方法隐含地将推荐物品之间的差异视为偏见，而忽略了这些差异可能是由于与用户真实偏好相一致的个性化调整所导致的。此外，早期的研究通常单独关注单一的敏感属性，忽略了交叉身份之间的复杂相互作用。为了解决这些不足，我们提出了CFaiRLLM，这是一个改进的评估框架，它不仅考虑了真实偏好的一致性，还严格检验了交叉公平性，同时考虑了多个敏感属性之间的重叠情况。CFaiRLLM还引入了多种用户画像采样策略——随机、高评分和基于时效性——以便更好地理解在LLM中生成的画像所带来的影响，同时考虑到这些系统固有的token限制。由于公平性取决于对用户口味和偏好的准确理解，这些策略为推荐系统中的公平性提供了更现实的评估。

为了验证CFaiRLLM的有效性，我们使用了MovieLens和LastFM数据集进行了广泛的实验，应用了多种采样策略和敏感属性配置。评估指标包括物品相似性度量和真实偏好一致性（Jaccard相似性和PRAG），从而对推荐系统的公平性进行了多方面的分析。结果表明，与基于相似性的度量方法相比，真实偏好一致性提供了更加个性化和公平的评估结果，尤其是在考虑了敏感属性和交叉属性时，差异更为显著。值得注意的是，我们的研究发现，在LastFM这样的不太结构化的领域（如音乐推荐）中，交叉属性会更加明显地放大公平性差距。这些发现表明，未来的推荐系统公平性评估应纳入真实偏好一致性，以确保推荐结果的公平性和个性化。