置信度加权语义熵：大语言模型中幻觉检测与不确定性估计的鲁棒框架

《Neurocomputing》：Confidence-weighted semantic entropy: A robust framework for hallucination detection and uncertainty estimation in large language models

　　

摘要
大型语言模型（LLMs）经常生成事实上错误但语言流畅的回答，这使得在随机解码下，可靠的不确定性估计对于幻觉检测至关重要。现有的基于熵的方法表现出互补的弱点：预测熵（PE）通过将同义回答视为不同的结果而高估不确定性，而语义熵（SE）虽然折叠了释义，但假设集群权重均匀，忽略了不同采样含义间的置信度不平衡。我们提出了置信度加权语义熵（CWSE），这是一个利用似然加权聚合来估计语义假设不确定性的框架。通过将 token 级置信度投影到语义等价类上，CWSE 抑制低概率的捏造内容，并更好地反映模型的信念分布。我们进一步引入了一种任务自适应的多样性调节机制，以区分认知不稳定性和开放式查询中合理的偶然多样性。在四个基准数据集（SQuAD, TriviaQA, NQ-Open, 和 SVAMP）上的实验表明，在 AUROC 和 AURAC 指标上相比强基线模型有持续改进，在 TriviaQA 上的代表性 AUROC/AURAC 值达到 0.783/0.729，在 SVAMP 上达到 0.879/0.688。我们的结果表明，CWSE 为短短语生成设置下的幻觉检测提供了更稳定、可靠和可解释的不不确定性信号。

引言
大型语言模型（LLMs）在问答、对话系统和信息检索方面展现了卓越的能力 [1], [2]。随着这些模型越来越多地应用于医疗、法律和金融等高风险领域，其输出的可靠性和准确的不确定性估计已成为关键关注点。即使是单个错误但自信的回答也可能导致严重后果，例如误导性的医疗建议或错误的法律分析。例如，在医疗领域，如果 LLM 生成的医疗建议不正确，可能导致误诊或不适当的治疗建议。同样，在法律应用中，错误的法律分析可能误导从业者。这些场景强调了可靠的不确定性估计和幻觉检测对于构建可信 LLM 的重要性 [3], [4], [5], [6]。

当前的不确定性估计方法，包括预测熵（PE）和语义熵（SE），存在固有的局限性。PE 基于 token 级概率估计不确定性，但由于同义词变化往往高估不确定性。例如，“巴黎”、“巴黎市”和“法国首都巴黎”是语义等效的回答，但 PE 无法识别这一点，导致高估。SE 通过将语义等效的回答聚类来改进这一点，减少了同义表达的冗余。然而，许多基于 SE 的方法对所有语义集群采用均匀处理，未能解释不同回答之间置信度的变化。此外，现有方法往往难以区分认知不确定性（例如，缺乏知识）和多样性（例如，开放式任务中有效的多种视角）。

一个关键难点在于 LLM 生成中的不确定性混合了多个来源。对于事实性问题，高不确定性通常反映认知不确定性，表明模型并不可靠地知道答案。在这种情况下，语义一致性应压缩不确定性。然而，对于开放式提示，多样性可以反映可接受回答的合理多重性，而不是模型的困惑。在这种情况下，采样生成中的高分散并不一定是失败信号。因此，有效的度量标准应对事实性查询的语义分歧敏感，同时对于自然允许多种视角的提示，谨慎地将多样性解释为不可靠。我们将幻觉定义为生成与给定输入/上下文不支持或事实不一致的内容；不确定性分数作为可靠性信号来识别此类高风险生成。图 1 说明了这些局限性：

事实性问题示例：
问题：“法国首都是什么？”假设模型生成 ["Paris", "The city of Paris", "Paris, the capital of France"]，概率分别为 [0.5, 0.3, 0.2]。根据公式 (2)，预测熵为 PE=1.0297。根据 (3), (4)，所有三个字符串落入一个语义集群，因此语义熵为 SE=0.0000。PE 可能报告高不确定性，而 SE 通过语义聚类将它们合并为一个集群，产生更准确的度量。

开放式问题示例：
问题：“你如何评价巴黎作为一个城市？”模型可能产生 ["Paris is romantic and elegant", "Paris is overly crowded", "Paris has a rich cultural heritage"]，概率分别为 [0.7, 0.2, 0.1]。根据公式 (2)，预测熵为 PE=0.8019。根据 (3), (4)，如果这三个答案被分配到三个不同的语义集群，语义熵为 SE=log3=1.0986。每个答案在语义上都是独特的，反映了多个有效的视角。PE 和 SE 都得出高不确定性，尽管模型并不一定困惑；这凸显了需要多样性感知调整。重要的是，高不确定性本身并不意味着幻觉：对于开放式提示，多样但有效的回答自然会得出高熵；这激发了我们进行多样性感知调整，以避免在幻觉检测中过度惩罚合法的开放性。

除了语义分组，我们观察到模型的内部偏好结构提供了额外的可靠性线索。当多个生成落入不同的语义集群时，它们的相对似然性通常携带有意义的信息：主导的高似然集群通常表明模型集中在特定含义上，而多个具有可比似然质量的集群表明真正的不稳定性。基于频率的语义熵平等对待所有样本，可能对随机解码产生的低概率异常值反应过度。这激发了概率感知聚合：语义集群应根据置信度质量而非原始计数进行加权，以便不确定性反映模型分配概率的位置，而不仅仅是采样字符串的频率。

从这些观察中，我们识别出一个关键挑战：基于熵的可靠性信号可能将表面形式的可变性与语义可变性混淆，使得难以区分冗余释义与真正多样化的回答，包括对于开放式问题合法的多样性。这一挑战在实践中通常以两种密切相关的方式出现：
•语义等价处理有限：PE 依赖于 token 级概率，无法解释语义等效的回答，导致对事实性问题的不确定性高估。
•多样性感知不足：SE 减少了同义词的冗余，但通常假设均匀的集群权重，忽略了置信度差异和开放式问题的性质。

为了应对这些挑战，我们提出了置信度加权语义熵（CWSE），它引入了两项关键创新：
•置信度加权语义熵：通过根据生成响应的概率分布对语义集群进行加权，CWSE 减轻了均匀加权导致的信息损失，并为事实性问题提供了更忠实的不不确定性度量。
•多样性感知调整：通过结合词汇多样性和问题类型门控机制，CWSE 动态调节开放式问题的不确定性，在不将其误解释为不稳定性的情况下捕捉视角多样性。

因此，CWSE 结合了 PE（捕捉概率不确定性）和 SE（处理语义等价性）的优点，并通过多样性感知调整进一步增强。例如，对于“法国首都是什么？”，CWSE 有效地将 ["Paris", "The city of Paris", "Paris, the capital of France"] 的不确定性降低到接近零，而对于“你如何评价巴黎作为一个城市？”，它保持合理的不确定性水平以反映多个有效视角。从更广泛的机器学习角度来看，概率建模和聚合已在跨领域的复杂非线性机制中的稳健预测中得到广泛研究。相关工作涵盖神经网络预测、高斯过程回归、图形/DAG 依赖分析和复合/组合预测 [7], [8]。我们将这些研究作为背景动机引用，而不是作为 LLM 幻觉检测的直接基线，因为它们主要处理连续值预测或结构化依赖建模，而我们的设置关注由随机解码产生的离散语义假设。在我们的设置中，CWSE 实例化了在采样语义假设上的聚合原则，权重源自似然质量。

我们的贡献总结如下：
•我们介绍了 CWSE，一个将置信度加权与多样性感知调整相结合的框架，提高了不确定性指标的稳健性和可解释性。
•我们提出了一种动态问题类型门控机制，区分事实性和开放式问题，并相应地调整熵估计策略。
•我们使用 LLaMA-2 7B 和 LLaMA-2 13B 在四个基准数据集上进行了广泛评估，表明 CWSE 在 AUROC 和 AURAC 指标上一致优于现有的不确定性估计方法。

本文的其余部分组织如下：第 2 节回顾了关于不确定性估计、语义不确定性和多样性感知评估的相关工作；第 3 节介绍了具有概率加权语义聚合和问题类型调节的 CWSE；第 4 节描述了实验设置、基线和评估指标，随后是主要结果和分析；第 5 节以局限性和未来方向作结。

章节片段
相关工作
LLM 的快速普及，如 LLaMA 系列和 GPT-4，推进了自然语言处理（NLP）的最先进水平 [9], [10]。然而，幻觉的出现——生成语法上合理但事实错误的生成——仍然是其在临床医学、法学和财务分析等高风险领域部署的关键瓶颈 [11], [12]。因此，鲁棒的幻觉检测和精确的不确定性量化

提出的方法
我们提出了 CWSE，一个用于 LLM 的统一不确定性估计框架，整合了 (i) 来自生成似然的模型内部置信度，(ii) 采样响应的语义聚类，以及 (iii) 多样性和问题类型感知调节。CWSE 扩展了语义熵 [13]，通过纠正其等权假设，并明确考虑词汇变化何时反映任务开放性而非认知不确定性。本节形式化了 CWSE 的组件并展示了

实验
本节以有组织的方式呈现实验评估。我们首先描述数据集、模型、实现细节、基线、评估指标、评估协议和统计报告，以及语义聚类协议。然后我们呈现主要结果，随后是定性错误分析、消融研究、超参数讨论以及计算成本和可扩展性分析。这些实验评估了 CWSE 的定量性能和

结论与未来工作
在本文中，我们提出了置信度加权语义熵（CWSE），一个用于短短语生成设置下 LLM 幻觉检测和不确定性估计的统一框架。通过结合预测熵的概率敏感性与基于聚类方法的语义聚合，CWSE 解决了现有方法的两个根本局限性：由词汇变化引起的不确定性高估，以及忽视

代码可用性
CWSE 的源代码公开可用，地址为：https://github.com/lab797949/cwse

CRedIT 作者贡献声明
王志鹏：写作 – 初稿，可视化，验证，方法论，调查，形式分析，数据整理，概念化。廖梦洁：写作 – 审查与编辑，监督，项目管理，资金获取，形式分析，概念化。张建：写作 – 审查与编辑，监督，资源，项目管理，资金获取，概念化。

竞争利益声明
作者声明，他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

王志鹏 研究生，大数据技术与工程项目，管理科学与工程学院，北京信息科技大学，北京，中国。王志鹏是北京信息科技大学管理科学与工程学院大数据技术与工程项目的研究生。他的研究兴趣包括可信人工智能，LLM 中的幻觉检测

王志鹏 | 廖梦洁 | 张建
北京信息科技大学管理科学与工程学院，北京，102206，中国