用于缓解大规模视觉-语言模型中幻觉的轨迹一致性解码方法

《Information Processing & Management》：Trajectory-consistent decoding for mitigating hallucinations in Large Vision-Language Models

　　摘要大型视觉语言模型（LVLMs）仍然存在幻觉问题，即生成内容与输入图像不一致。尽管对比解码已成为一种有效的免训练幻觉缓解策略，但现有方法通常通过扰动生成过程来构建幻觉分布，这会破坏原始生成轨迹并带来大量推理开销。为解决这一问题，我们提出LightCD，一种轨迹一致且高效的对比解码方法，用于缓解幻觉。我们观察到，在下一词元预测过程中，最后一个词元将其大部分注意力分配给少量锚定词元，这使它们成为在不破坏前述生成轨迹的情况下诱发幻觉的自然干预点。基于这一观察，LightCD仅对最后一层Transformer的最后一个词元进行干预，以构建轨迹一致的幻觉分布。具体而言，它采用选择性注意力扰动来抑制锚定词元携带的关键信息，并结合无残差机制，构建用于对比解码的高质量幻觉分布。通过构建轨迹一致的幻觉分布，LightCD在降低响应延迟的同时实现了有效的幻觉缓解。在四个主流多模态幻觉基准上的大量实验表明，LightCD持续优于现有方法。特别是在POPE上，它将准确率和F1分数分别提高了6.11和7.54个百分点，同时与竞争性对比解码方法相比实现了约2倍的解码加速，验证了其在幻觉缓解和推理效率方面的优越性。引言大型视觉语言模型（LVLMs）的出现进一步增强了我们理解和建模现实世界的能力，在图像理解、视觉问答和视觉推理等复杂任务中表现出卓越的性能（Liu等，2024；Lou等，2026；Wang等，2025；Xie等，2026；K. Zhang等，2026；Zhou等，2026）。然而，LVLMs中的幻觉问题严重限制了它们在更广泛场景中的适用性和可靠性（Li等，2026；Lin等，2026；Xiao等，2026；Yin等，2025；X. Zhang等，2026）。幻觉是指生成的响应在语义上连贯流畅，但包含与输入图像无关或不一致的内容，例如错误描述物体的存在、外观或数量。在自动驾驶和工业制造等高风险场景中，这可能导致灾难性后果。对比解码近年来已成为缓解LVLMs幻觉的主流范式。通过构建幻觉分布并将其与原始分布进行对比，对比解码对模型输出进行词元级校准，从而生成更可靠的响应（Huo等，2025；Li等，2026；Wan等，2025）。与监督微调相比，对比解码无需额外训练，具有更强的泛化性和可扩展性，因此受到广泛关注（J. Chen等，2024；Lin等，2026）。由于原始分布在解码过程中保持不变，现有研究的核心在于如何构建高质量的对比（幻觉）分布，这直接决定了对比解码的有效性。现有的幻觉分布构建方法通常可分为两类，如图1所示。第一类通过输入扰动诱发幻觉。代表性研究是VCD（Leng等，2024），它通过向输入图像添加高斯噪声来构建幻觉分布。第二类依赖模态特定干预来构建幻觉分布。例如，SID（Huo等，2025）通过保留低贡献视觉词元来诱发幻觉，而ONLY（Wan等，2025）通过增强文本信息来构建对比分布。尽管取得了有前景的结果，这些方法存在一个共同局限：它们忽视了轨迹一致性对对比解码有效性的重要性。现有方法无论是基于输入扰动还是模态级干预，通常通过使用不同输入或中间表示进行独立的前向传播来获得原始分布和幻觉分布。因此，它们的隐藏状态在通过Transformer层传播时沿着发散轨迹前进，导致所得的幻觉分布包含与模型在当前决策步骤的潜在幻觉倾向无关的偏差。此外，重复的模型推理和复杂的中间层操作引入了大量计算开销和解码延迟。为解决上述局限，我们提出LightCD，一种轨迹一致的对比解码框架，在保留最终Transformer层之前的逐层处理轨迹的同时构建幻觉分布。该设计减少了轨迹无关偏差，旨在产生更紧密反映当前解码步骤潜在幻觉倾向的幻觉分布。具体而言，在LVLMs的自回归生成过程中，最后词元的隐藏表示编码了用于下一词元预测的上下文信息。进一步的经验分析表明，只有一小部分锚定词元对最后词元表示起主要贡献（见第4.2节），表明这些词元在模型的下一词元预测中发挥关键作用。基于这一观察，LightCD仅通过利用选择性注意力扰动（SAP）在最后一层进行干预，并结合无残差机制（RFM）来抑制锚定词元的影响，从而诱发与原始生成轨迹保持一致的幻觉。与现有使用不同输入或中间表示构建两个分布的方法不同，LightCD使原始分布和幻觉分布共享相同的隐藏状态和直到最后一层Transformer的相同逐层处理轨迹。因此，幻觉分布来源于模型当前决策状态，减少了与当前解码上下文无关的偏差，为对比解码提供了轨迹一致的依据。此外，由于LightCD避免了额外的前向传播和复杂的多层操作，它显著降低了对比解码的推理延迟。我们在多个广泛使用的幻觉基准上进行了大量实验。结果表明，LightCD在幻觉缓解和推理效率方面均持续优于现有对比解码方法。此外，我们在通用多模态任务上验证了LightCD的有效性，表明它在提高可靠性的同时保持了LVLMs的原始能力。我们的贡献总结如下：•我们提出LightCD，一种轨迹一致的对比解码框架，在不破坏原始生成轨迹的情况下构建幻觉分布，能够更忠实地校准模型错误。•我们开发了选择性注意力扰动（SAP）和无残差机制（RFM），仅在最后一层决策阶段诱发幻觉，以最小计算开销实现高效的幻觉构建。•在多个LVLM和幻觉基准上的大量实验表明，LightCD持续达到最先进性能，同时与现有对比解码方法相比将解码延迟降低约2倍。章节片段相关工作大型视觉语言模型（LVLMs）在广泛的多模态任务中取得了显著成功，包括视觉问答、图像描述和多模态推理（Gangal等，2023；Liu等，2024；Mishra等，2023；Qwen Team，2025；Tyagi等，2025；Wang等，2025）。尽管具有令人印象深刻的能力，LVLMs仍然容易产生幻觉，生成与视觉输入不一致或不受其支持的内容（Leng等，2024；Li等，研究目标本研究的目标是有效缓解大型视觉语言模型中的幻觉，同时避免现有对比解码方法带来的高计算成本。许多现有方法通过引入随机噪声或模态特定干预来构建幻觉分布，通常需要额外的前向传播，大幅增加推理开销。更重要的是，此类扰动可能改变模型的原始生成。LVLMs推理流程LVLMs使用图像编码器后接全连接层将图像对齐到LLM的语义空间，生成视觉词元序列V={v1,v2,…,vm}，其中m是视觉词元数量。类似地，分词器将输入提示处理为文本词元序列T={t1,t2,…,tn}，其中n是文本词元长度。这些词元随后被拼接形成输入序列I={V,T}，送入LLM。输入I经过L层处理。LightCDLightCD是一种轨迹一致的解码框架，以更高效率缓解幻觉（图3）。它引入选择性注意力扰动，抑制最后一层的优势注意力头以引发幻觉信号，以及无残差机制，阻断残差引起的跨层混合以保持扰动效果。所有干预仅在最后一层Transformer上应用，确保原始生成轨迹。实验设置数据集和基线为全面评估LightCD的有效性，我们在四个广泛使用的多模态基准上进行实验，包括POPE（Li等，2023）、MME（Fu等，2025）、CHAIR（Rohrbach等，2018）和MMVet（Yu等，2024），涵盖判别性幻觉检测、生成性幻觉缓解和通用多模态推理。POPE和MME是判别性幻觉基准，模型回答诸如“是否存在一个<理论和实践意义我们的工作为缓解大型视觉语言模型中的幻觉提供了理论和实践方面的见解。从理论角度来看，我们的发现揭示了对比解码的有效性关键取决于所诱导的幻觉分布是否以与模型原始生成轨迹一致的方式构建。现有对比解码方法通常通过输入扰动或结论在本文中，我们重新审视了用于缓解大型视觉语言模型幻觉的对比解码，并指出现有方法的一个关键局限：对比分布的构建通常依赖输入扰动或模态特定干预，这破坏了轨迹一致性，从而限制了对比解码的有效性。为解决该问题，我们提出lightcd，一种轻量级、即插即用的对比解码框架，应用。credit作者贡献声明zhenzhong zheng：写作——审阅与编辑，写作——初稿，验证，方法论，数据管理。xiang cheng：写作——审阅与编辑，监督，资源，方法论。shuo liu：验证，方法论，数据管理。利益冲突声明作者声明，他们没有已知的相互竞争的经济利益或个人关系可能影响本文报告的工作。致谢本工作得到国家自然科学基金（资助号：62372051）的支持。zhenzhong zheng|xiang cheng|shuo liu zheng：写作——审阅与编辑，写作——初稿，验证，方法论，数据管理。xiang cheng：写作——审阅与编辑，监督，资源，方法论。shuo liu：验证，方法论，数据管理。利益冲突声明作者声明，他们没有已知的相互竞争的经济利益或个人关系可能影响本文报告的工作。致谢本工作得到国家自然科学基金（资助号：62372051）的支持。zhenzhong zheng|xiang cheng|shuo>