通过参数化知识的视角，对大型语言模型中的负面偏见进行多方面的分析

《Artificial Life》：A Multifaceted Analysis of Negative Bias in Large Language Models through the Lens of Parametric Knowledge

本文揭示大型语言模型（LLMs）的负偏见由提示格式和知识不足导致，通过构建评估集系统分类数据（正确/错误/不充分知识），发现模型在缺乏知识时倾向生成负面响应，不同提示场景（如提供上下文、选项及链式思考）影响负偏见程度，为缓解问题提供关键见解。

　　

摘要：

负面偏见指的是大型语言模型（LLMs）在二元决策任务（例如，是/否问题回答）中倾向于生成过多负面响应的倾向。以往的研究主要集中在检测和解决导致负面偏见的因素上。然而，影响负面偏见的根本性详细因素尚未得到充分探讨。在本文中，我们发现LLMs表现出格式层面的负面偏见，即提示的格式对其响应的影响大于负面响应的语义。为了对负面偏见进行细致研究，我们构建了一个评估流程，该流程根据模型的参数知识将数据集系统地分为三个子集：正确、错误以及相关知识不足。通过对这个评估集的分析，我们发现了一种“捷径行为”——当模型缺乏回答是/否问题所需的知识时，它们往往会生成负面响应，从而导致负面偏见。我们进一步研究了在不同参数知识相关的提示场景下负面偏见的变化情况。观察到，提供相关背景信息以及设置“我不知道”选项通常可以减少负面偏见，而思维链式提示则可能加剧这种偏见。最后，我们证明负面偏见的程度会因提示类型的不同而有所差异，这会影响响应的方向。我们的工作揭示了影响负面偏见的多种因素，为缓解LLMs中的负面偏见提供了关键见解。