《Image and Vision Computing》：Sarah: Hallucination detection for large vision language models with semantic information locator and purifier in uncertainty quantification method
编辑推荐：
幻觉检测不确定性量化框架 Sarah 单次推理语义定位净化 大视语言模型
Fang Yue|Yang Zhang|Yawen Liu|Yetian Yu
北京交通大学电子与信息工程学院，中国北京 100044
摘要
大型视觉语言模型（LVLMs）在多模态应用中展现出了显著的潜力，但其可靠性受到幻觉现象的制约——即生成的文本与视觉输入、语言上下文或事实知识之间存在不匹配。现有的检测方法通常依赖于多轮推理或外部工具，这限制了它们的效率和泛化能力。为了解决这一问题，我们提出了Sarah（一种基于不确定性量化的幻觉检测框架，结合了语义信息定位器和净化器）。Sarah仅需单轮推理，避免了在幻觉检测阶段使用多轮推理或外部验证工具。该框架引入了两个正交模块：语义信息定位器通过受限扰动动态加权词元的重要性；语义信息净化器通过词汇聚类来区分语义和表达的不确定性。在五个现成的LVLM以及三个开放式和封闭式基准测试上的广泛实验表明，Sarah的性能优于大多数最新相关方法，同时具备更快的处理速度。进一步分析还揭示了LVLMs的关键局限性：超过13.4%的先进LVLM输出包含幻觉内容。我们的工作为幻觉检测和模型诊断提供了一种高效、可扩展且可解释的解决方案，为未来的改进留下了空间。
引言
大型视觉语言模型（LVLMs）在多模态AI系统中取得了重大进展，能够处理和整合视觉与文本数据，以解决需要两种模态共同理解的复杂任务[1]、[2]、[3]、[4]。尽管这些模型具有出色的能力，但它们容易产生幻觉现象——即生成的内容与事实准确性不符或与提供的视觉和文本上下文相矛盾[2]、[5]。这种现象主要源于知识边界受限、知识召回失败以及依赖过时的预训练语料库等问题[2]、[6]。幻觉检测涉及验证生成输出中的每个信息单元与输入图像和文本之间的事实一致性和准确性，面临三个主要挑战。首先，LVLM的输出通常同时包含正确信息和幻觉信息[7]，使得检测任务变成了复杂的细粒度分析，而不仅仅是简单的二分类问题。其次，针对外部参考的彻底验证在计算上非常耗时且资源密集。第三，现有的评估指标通常产生不透明的单一维度分数，难以准确说明错误的具体性质和位置。
为了解决这些挑战，我们提出了Sarah，这是一种基于不确定性的LVLM幻觉检测框架。我们的方法引入了四个关键创新（见图1）：（1）独立声明提取：该框架将生成的内容分解为离散的声明，每个声明代表一个独立的信息单元[8]、[9]、[10]；（2）语义信息处理：通过语义信息定位器和净化器模块，我们增强了语义一致性并减少了干扰。定位器在输出的全局上下文中识别语义上重要的词元，净化器处理词元级别的分布，聚合语义等价的词元，并消除由语言变化引起的不确定性；（3）不确定性量化：每个提取的声明都经过我们的不确定性量化方法进行严格验证；（4）决策机制：我们的多阈值决策机制专门针对高不确定性词元，有效减少了低幻觉内容的干扰。
所提出的检测框架具有显著优势：它能够精确识别导致幻觉的具体组件，并提供了一种不需要外部知识或模型修改的不确定性量化数学方法。在三个成熟的视觉语言基准测试中的全面评估表明，Sarah的表现与人类评估和我们的自动化标注系统高度一致[11]、[12]。我们的结果在LVLM生成的内容的幻觉检测方面取得了显著改进。此外，使用Sarah进行的全面分析揭示了各种LVLM可靠性的关键问题，其中GPT-4o在图像字幕任务中表现最佳。这些发现不仅验证了人类评估的结果，也与先前的研究结果一致，证明了Sarah作为模型评估和改进工具的稳健性。我们的贡献可以总结如下：
- 我们提出了Sarah，这是一种单轮不确定性量化框架，用于LVLM中的幻觉检测，其核心步骤无需外部工具，从而提高了鲁棒性和泛化能力。
- 我们设计了两个新颖的正交模块——语义信息定位器和净化器——它们共同优化了词元的重要性，并消除了不确定性类型的歧义，实现了无干扰的细粒度检测。
- 我们的方法在五个LVLM和三个基准测试中始终表现出领先性能，超越了大多数竞争基线，并显著减少了推理时间。
- 我们提供了模型无关的诊断见解，发现超过13.4%的顶级LVLM输出包含幻觉内容，突显了关键的可靠性问题。
部分摘录
大型视觉语言模型
大型视觉语言模型（LVLMs）已成为多模态AI领域的革命性范式，集成了三个核心架构组件：文本编码器、图像编码器和跨模态对齐模块[13]、[14]。LVLMs的最新进展显著提升了在多种视觉语言（VL）任务中的性能，包括自动驾驶、具身机器人技术和医学诊断[15]、[16]、[17]、[18]。
该领域的显著贡献
方法
以下部分详细介绍了Sarah。第3.1节介绍了独立声明提取过程，第3.2节和第3.3节分别描述了语义信息定位器和语义信息净化器，第3.4节解释了如何量化和检测幻觉。
实验
比较方法。由于LVLMs和LLMs本质上都是自由形式的生成模型，我们对比了六种针对LLMs或LVLMs设计的最新幻觉检测方法，包括Faithscore、GAVIE、InterrogateLLM [43]、VL-Uncertainty、KLE [44]、Semantic Density [45]和Semantic Entropy。
LVLMs。我们在5个流行的“现成”LVLM上进行了实验，包括GPT-4o（“o”代表“omni”）、LLaMA-3.2-Vision-Instruct-11B、LLaVA-1.5（模型大小分别为7B和13B）。
结论
在这项工作中，我们提出了一种基于不确定性量化的新方法，用于评估和检测LVLM在两个开放式问答任务和一个封闭式问答任务中的幻觉现象。该方法仅需单次推理即可完成，无需图像输入，并能够精确测量导致幻觉的位置。这一能力得益于我们创新的语义信息定位器和净化器。尽管使用了外部工具，
CRediT作者贡献声明
Fang Yue：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、监督、软件开发、项目管理、方法论研究、资金筹集、正式分析、数据管理、概念构建。Yang Zhang：撰写 – 审稿与编辑、监督、资源管理、项目管理、资金筹集、概念构建。Yawen Liu：撰写 – 审稿与编辑、验证、数据管理。Yetian Yu：撰写 – 审稿与编辑、验证、数据管理。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的工作。
致谢
本工作得到了中央高校基本科研业务费（编号2025JBMC016）的支持。
