DCHD：基于密度聚类的大型语言模型幻觉检测方法

《Knowledge-Based Systems》：DCHD: Density Clustering-Based Hallucination Detection in Large Language Models

　　陈嘉颖|吴强|杜康凡|江伟|王超|顾桂英|杜旭生摘要幻觉是大型语言模型在各类应用中面临的主要挑战，尤其是在农业、医疗保健和教育等高风险领域。因此，幻觉检测，即识别事实错误的输出，已成为一个重要的研究方向。虽然黑盒方法因无需访问模型而具有广泛适用性，但其性能往往有限。现有技术通常依赖于浅层语义特征或弱监督，这限制了它们识别复杂事实矛盾的能力。我们通过引入基于密度聚类的幻觉检测方法（DCHD）来克服这些局限。我们的核心创新在于将幻觉检测重新定义为语义异常检测问题。DCHD在黑盒框架内实现这一理念，通过将生成的响应嵌入到高维空间中，将幻觉识别为低密度异常值。所提出的DCHD方法不依赖于内部建模和外部知识，这使其具有广泛的适用性和资源效率优势。我们使用六种开源大型语言模型，在不同领域的六个代表性数据集上评估了该方法。实验结果表明，与著名的语义熵方法相比，DCHD在AUC指标上的平均相对提升率为4.88%。引言大型语言模型在自然语言理解和生成方面取得了显著进展，能够处理各种任务[1,2]。这些模型基于Transformer架构[3]，通常通过自监督学习目标在大规模语料库上进行预训练。这使得它们能够捕捉自然语言中的丰富统计规律、语义表示和上下文依赖关系。借助这种预训练方法[4]，大型语言模型获得了丰富的隐性知识，并在问答[6]、总结[7]、推理[8]和对话生成[9]等多种下游任务中展现出强大的泛化能力。尽管取得了这些进展，但大型语言模型的生成特性也带来了根本性的局限[10]。它们并非通过明确的事实验证来生成内容，而是根据所学到的上下文优化后续标记的条件概率来生成内容[11]。这种概率机制源于自回归Transformer架构，该架构本质上更注重语言流畅性而非明确的事实依据。因此，大型语言模型常常会产生幻觉，生成语法正确但事实错误或逻辑不一致的输出[12]。在医学[13]、金融[14]和法律[15]等高风险领域，这类幻觉尤其令人担忧，因为错误信息可能会带来严重的现实后果。因此，确保大型语言模型生成内容的可靠性对于其安全可靠的应用至关重要[16]。为了解决上述问题，人们提出了多种幻觉检测方法。这些方法大致可分为白盒、灰盒和黑盒三种类型。白盒方法通过利用模型内部表示来实现高精度[17,18]，但由于其对特定架构和参数访问的依赖，其可移植性受到很大限制，尤其是对于专有模型而言。灰盒方法利用中间信号，如标记概率[19,20]，但这些信号并不总是事实正确性的可靠指标，尤其是在开放式生成任务中。相比之下，黑盒方法由于具有架构独立性，因而最为通用，能够与封闭源的应用程序接口兼容。然而，现有的黑盒方法也存在一些明显缺陷。具体而言，那些依赖外部知识库的方法会受到这些资源可用性和覆盖范围的限制[21]。而那些采用启发式策略（如多数投票[22]）的方法，往往无法检测到那些虽然表述流畅且语义连贯，但实际上存在细微错误的“复杂幻觉”。为了解决这些局限，亟需一种强大的黑盒框架，能够通过捕捉更深层次的矛盾来识别幻觉，而无需依赖模型内部结构或外部验证工具。为了克服这些限制，我们提出了基于密度聚类的幻觉检测方法（DCHD），这是一种无需依赖模型内部结构或外部知识的无监督黑盒框架。DCHD的原理在于，事实一致的问题-回答对在潜在嵌入空间中表现出较高的分布密度，而幻觉则表现为偏离这些核心簇的语义异常值。DCHD通过联合编码问题和候选回答，同时捕捉回答之间的相似性以及与原始查询的一致性，从而通过三个阶段实现语义异常检测：（1）候选回答生成，（2）基于密度的聚类，（3）异常分数量化。这种方法通过定量异常分数和聚类可视化结果提供了高度的可解释性。与那些依赖成对相似性或局部一致性的传统方法相比，DCHD能够捕捉回答的全局分布，从而更好地检测细微的语义偏差。此外，其无监督且与架构无关的设计确保了其在不同任务和领域中的广泛应用。我们使用多种开源大型语言模型，在不同领域对所提出的方法进行了评估。特别是，我们以农业领域作为代表性的测试案例。农业问答涉及动态的、本地化的且知识密集型信息，这使得它成为幻觉检测的挑战性场景[[23], [24], [25]]。为了便于基准测试，我们构建了一个针对中文农业领域的专用数据集AgriExpertQA，并证明所提出的DCHD方法在接收者操作特征曲线下面积这一指标上，其性能显著优于最强的竞争基线方法。这些结果表明，所提出的框架能够在复杂且专业的环境中有效识别出幻觉内容。本研究的主要贡献如下：（1）我们将幻觉检测重新定义为嵌入空间中的异常识别问题，为黑盒幻觉检测提供了一种新的无监督建模视角。（2）我们提出了DCHD，这是一种基于密度聚类的方法，它将幻觉响应识别为嵌入空间中的低密度异常值，从而实现无需外部知识的快速轻量级黑盒检测。（3）我们开发并发布了AgriExpertQA，这是一个针对中文农业领域的专用问答数据集，为农业及其他专业领域的幻觉检测提供了现实的基准。相关研究现有的幻觉检测和缓解技术通常被分为白盒、灰盒或黑盒三类，它们的区别在于获取模型内部组件所需的权限程度。每类方法都有不同的幻觉识别策略，各自在有效性、成本和适用性之间存在一定的权衡。问题设定本节阐述了大型语言模型的响应生成过程，并明确了幻觉检测任务。定义3.1（LLM生成）。给定一个输入查询xi，大型语言模型的响应生成过程被建模为一个条件生成过程，该过程定义了在给定xi条件下输出序列的概率分布。具体而言，输入查询xi=(xi1,xi2,...,xiL)包含L个标记，模型以自回归方式生成输出序列yi=(yi1,yi2,...,yiT)。实验本节中，我们评估了DCHD在幻觉检测任务上的性能。首先介绍实验设置，包括数据集、基线方法和评估指标。随后，我们通过全面分析实验结果来验证所提方法的稳健性和有效性；分析内容包括消融实验和参数敏感性分析。结论在本研究中，我们提出了DCHD，这是一种无监督的幻觉检测框架，它将事实错误的响应识别为语义嵌入空间中的低密度异常值。作为一种黑盒方法，DCHD无需访问模型内部结构或依赖外部知识来源，就能有效提高大型语言模型在专业领域的可靠性。在六个代表性数据集上进行的大量定量评估表明，DCHD使AUROC指标的相对提升率为4.88%。作者致谢陈嘉颖：写作审阅与编辑、验证及资金获取；吴强：软件、研究、初稿撰写；杜康凡：可视化与数据整理；江伟：可视化与数据整理；王超：可视化与数据整理；顾桂英：验证、项目管理及资金获取；杜旭生：方法论、概念设计、形式分析。CRediT作者贡献说明陈嘉颖：写作——审阅与编辑、验证、资金获取。吴强：写作——初稿撰写、软件。杜康凡：可视化、数据整理。江伟：可视化、数据整理。王超：可视化、数据整理。顾桂英：方法论、资金获取。杜旭生：验证、方法论。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文的研究工作。致谢作者感谢匿名审稿人提出的宝贵建议和意见。本研究得到了新疆维吾尔自治区重点研发计划（编号2023B01029-1、2023B01033-1）、新疆维吾尔自治区天山创新团队计划（2023D14012）以及苏州市应用基础研究（医疗卫生）科技创新项目（编号SYW2025193）的支持。我们同时也感谢相关研究机构的支持。