理解基于ChatGPT的推荐系统中的偏见：提供商公平性、时间稳定性和时效性

《ACM Transactions on Recommender Systems》：Understanding Biases in ChatGPT-based Recommender Systems: Provider Fairness, Temporal Stability, and Recency

本研究分析基于ChatGPT的推荐系统偏见，特别是提供商公平性。通过对比结构、系统角色和意图的提示设计策略，在顶K推荐和顺序式上下文学习中验证发现：准确性导向提示（如COT）优于多样性导向提示，后者虽提升时效性但降低准确性达50%。系统角色声明（如“作为公平推荐者”）比直接指令更有效，且公平性声明在嵌入系统角色后效果显著。顺序式ICL在包含用户人口统计信息时对HR有提升，但零样本学习在NDCG和覆盖率上表现更优。研究揭示了大语言模型推荐系统的偏见机制与优化路径。

　　

摘要

本文探讨了基于ChatGPT的推荐系统中存在的偏见，重点关注提供者公平性（即项目层面的公平性）。通过大量的实验和超过一千次API调用，我们研究了提示设计策略（包括结构、系统角色和意图）对评估指标的影响，这些指标包括提供者公平性、目录覆盖范围、时间稳定性和时效性。第一个实验在经典的前K推荐中检验了这些策略，而第二个实验则评估了顺序上下文学习（ICL）的效果。

在第一个实验中，我们评估了七种不同的提示场景对前K推荐准确性和公平性的影响。以准确性为导向的提示（如Simple和Chain-of-Thought (COT)）表现优于多样化提示，尽管多样化提示提高了内容的时效性，但准确性降低了多达50%。将公平性嵌入系统角色中（例如“作为一个公平的推荐器”）比在提示中直接添加公平性指令更为有效。我们还发现，多样化提示能够推荐更新的电影，从而提供比传统协同过滤（CF）模型更广泛的类型分布。该系统在多次运行中表现出高一致性。

第二个实验研究了顺序ICL，比较了零样本学习和少量样本学习场景。结果表明，在提示中包含用户人口统计信息会影响模型的偏见和刻板印象。然而，ICL并没有始终如一地提高项目公平性和目录覆盖范围。零样本学习获得了更高的NDCG和覆盖率，而当包含年龄组上下文时，ICL-2在命中率（HR）上略有提升。总体而言，我们的研究为理解RecLLMs的偏见提供了见解，特别是在提供者公平性和目录覆盖范围方面。通过研究提示设计、学习策略和系统角色，我们指出了将大型语言模型集成到推荐系统中的潜力与挑战，为未来的研究奠定了基础。更多详细信息请参见https://github.com/yasdel/Benchmark_RecLLM_Fairness。