一种低阶共识方法，用于减轻自动驾驶中视觉语言模型产生的幻觉现象

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：A low-rank consensus method for vision language model hallucination mitigation in autonomous driving

　　•提出了一种低秩框架，通过多VLM语义共识来减少开放式驾驶场景描述中的幻觉现象。该方法仅依赖于模型输出，不需要真实数据、外部知识或访问VLM的内部结构。基于残差的排名可以有效识别无幻觉的标题，在多个基准测试中实现了最先进的选择精度。该方法具有可并行性，与多智能体辩论相比，推理时间减少了51-67%，从而实现了实时部署。

引言
视觉语言模型（VLM）在交通领域得到了越来越多的应用，用于解释复杂的交通场景以支持自动驾驶中的决策（Guo等人，2024年；Hu等人，2025年；Liao等人，2024年；Qian等人，2024年）。然而，这些模型经常产生幻觉（Kalai等人，2025年），这些幻觉听起来合理但实际上是错误的细节，并且没有基于视觉输入（Farquhar等人，2024年）。图1展示了驾驶场景中的两种典型幻觉类型。此类幻觉可能在交通场景中带来严重的安全风险。例如，VLM可能会将停动的车辆描述为在移动，或者报告不存在的行人。如果没有独立的验证，这些输出可能会误导下游的解释或决策支持模块。因此，减轻VLM的幻觉对于其在自动驾驶中的安全部署至关重要。

VLM中的幻觉问题可以在三个阶段解决：数据、模型和推理（Bai等人，2025年；Huang等人，2025年；Zhang等人，2025年）。数据级缓解方法通过过滤、注释更正、数据平衡或包含针对幻觉的示例来提高训练数据的质量（Liu等人，2025a）。模型级方法通过架构设计、对齐训练、微调或修改解码机制来减少幻觉。这些策略可以提高VLM的内在可靠性，但通常需要访问训练数据、模型参数或大量的计算资源。对于自动驾驶领域的应用开发者来说，专注于推理阶段的缓解措施是必要且实际的。大多数最先进的VLM要么是只能通过API访问的专有黑箱模型（例如GPT-4V），要么需要昂贵的计算资源进行训练或适配（Kuang等人，2024年；Wang等人，2025b）。此外，交通环境的动态特性——包括不同的天气条件、区域差异和不断变化的场景——使得为每个场景维护专门的模型变得不切实际（Li等人，2024年；Zhang等人，2026年）。因此，能够在推理过程中减轻幻觉的方法，并且可以与其他现有的VLM模型配合使用，是在生产系统中减少幻觉的最可行路径。尽管有这种明确的需求，但在自动驾驶领域，推理阶段的幻觉缓解解决方案仍然很大程度上未得到探索。

为了填补这一空白，我们研究了来自更广泛VLM文献中的现有基于推理的缓解方法，这些方法可以根据它们的信息需求分为三类，如表1所述。

方法
1. 需要模型内部信息的方法利用令牌概率、注意力权重或不确定性估计等信息来识别可能的幻觉内容（Azaria和Mitchell，2023年；Li等人，2023a）。虽然这些方法有效，但它们与仅提供最终输出的商用API不兼容，限制了它们的实际应用性。
2. 一系列方法通过分析LLM/VLM的潜在空间和嵌入结构来检测幻觉。例如，HaloScope（Du等人，2024a）利用跨问题统计规律性，假设相似类型问题的答案在表示空间中表现出一致的语义模式，并将异常值识别为幻觉。然而，这一假设并不能直接应用于图像标题生成，因为在图像标题生成中，幻觉可能对应于语义上占主导地位但在视觉上没有支持的内容，即与常见模式一致但实际上并不存在的描述。
3. 需要外部知识的方法将模型输出与外部来源（如知识库（Li等人，2023b；Liu等人，2025b）、检索系统（Gao等人，2023）或结构化数据库）进行验证。在自动驾驶背景下，这可能包括与高清地图、交通规则数据库或历史传感器数据对比。然而，维护全面和最新的知识来源需要大量资源，并且不可避免地存在覆盖范围缺口——尤其是在不寻常的场景或新开发的区域。

自包含的方法仅依赖于模型输出，不需要内部模型信息或外部知识。代表性的方法包括投票（Wang等人，2024b）和辩论（Wang等人，2023）。投票方法为给定问题生成多个响应候选者，并选择出现频率最高的答案作为最终输出。这种机制已被证明是一种简单而有效的策略，适用于多种训练范式。然而，多数投票依赖于精确匹配，限制了其在封闭式任务（如算术问题和选择题）中的适用性。对于开放式图像描述——这构成了现实世界自动驾驶场景的大部分——由于不同的标题可能使用不同但同样有效的表达方式来描述相同的场景，精确匹配变得不可行（Jiang等人，2025年）。从封闭形式答案选择到开放式图像描述的这一根本转变使得现有的基于投票的机制变得不足，需要一种新的方法来比较语义上多样的候选者，而无需依赖完全一致。

多智能体辩论方法尝试通过让多个模型进行迭代讨论并通过论证和细化达成共识来克服这一限制（Du等人，2024b）。虽然这种方法可以处理开放式问题，但它具有高昂的计算开销：每轮辩论都需要多次VLM推理调用，而单次VLM推理可能需要几秒钟，因此多次辩论迭代的累积延迟使其不适合需要在几毫秒内做出决策的实时应用。

因此，迫切需要一种能够有效减轻开放式视觉语言任务中幻觉的方法，而不需要漫长的迭代过程——结合了处理多种交通场景所需的广泛适用性和实时自动驾驶系统所需的效率。本文介绍了一种自包含的方法，通过低秩矩阵分解标题嵌入来解决现有方法的局限性。我们的关键洞察是，对同一场景的准确描述往往在嵌入空间中表现出一致的语义模式（Chen等人，2024年）。先前的工作进一步表明，与幻觉相关的信号可以通过模型表示的潜在子空间来表征（Du等人，2024a）。基于这些观察结果，我们将特定于标题的偏离共享低秩结构的情况视为幻觉或其他低共识信息的潜在指标。给定由单个或多个VLM生成的多个候选标题，我们构建了一个句子嵌入矩阵，并应用奇异值分解（SVD）将其分为一个捕捉共享语义信息的低秩共识矩阵和一个表示不一致性和潜在幻觉的稀疏残差矩阵。通过测量每个标题的残差分量的大小，我们识别并选择残差最小的标题，作为最可靠且幻觉最少的描述。

所提出的方法在NuScenes数据集（Caesar等人，2020年）上得到了验证，这是一个包含复杂交通场景的大规模自动驾驶数据集。最近在自动驾驶车辆领域的进展越来越多地将VLM集成为核心感知（Ma等人，2026年）和控制（Long等人，2026年）组件。因此，在这一领域检测和减轻VLM的幻觉不仅是对我们方法的严格测试，也是在高风险现实世界应用中展示实际价值的一种方式，特别是在开放式图像标题生成中，准确解释交通参与者、物体状态和空间关系对于下游决策至关重要。

所提出的方法为自动驾驶应用提供了三个贡献：
1. 我们引入了一种基于句子嵌入的低秩共识方法，通过多VLM共识来减轻自动驾驶场景描述中的幻觉。
2. 该方法仅依赖于VLM生成的标题，使其与任何黑箱VLM兼容，并且无需真实数据即可部署。
3. 其可并行架构实现了亚秒级的幻觉缓解，满足了自动驾驶系统所需的实时要求。

本文的其余部分组织如下：第2节正式定义了问题，第3节介绍了我们的低秩分解框架。第4节描述了实验设置和评估方法。第5节展示了在真实场景数据集上的全面结果。最后，第6节讨论了局限性及未来研究方向。

问题陈述
我们考虑一个图像或视频帧，并旨在生成n个不同的描述或标题。设C={c1,c2,?,cn}为所有候选标题的集合，其中每个ci是由一个或多个视觉语言模型（VLM）生成的：ci=fVLMI,Pi,i∈1,2,?,n，其中Pi可能因每个查询而略有不同（例如，不同的提示、采样参数或不同的VLM模型）。例如，在NuScenes设置中，我们的提示Pi专注于车辆和关键交通参与者，而不是背景细节。

方法论
所提出的方法是识别幻觉最少的标题，如图2所示。VLM代理为同一图像生成候选标题，然后将这些标题转换为嵌入向量。我们从一个嵌入向量构建一个矩阵，并对其应用低秩近似得到一个共识矩阵和一个共识偏差矩阵。与低秩共识偏差较小的标题获得较低的幻觉风险分数，从而能够我们对标签进行排名并选择最可靠的标题。

数据集
我们的实验使用了NuScenes v1.0-trainval数据集，这是一个提供全面多模态传感器数据的自动驾驶场景数据集。我们选择了300个关键帧，包括各种场景（交叉口、工作区、停车场）和交通参与者（车辆、行人、骑自行车的人），如图3所示。虽然原始NuScenes图像的分辨率为1600×900像素，但我们将其压缩到大约400×300像素，以模拟更具挑战性的感知任务。

结果
我们在两种设置下评估了所提出的低秩幻觉缓解框架。第5.1节是同质多智能体结果：标题由单个VLM使用不同的随机种子生成。这测试了低秩方法是否对单个VLM的多样化输出有效。第5.2节是异质多智能体结果：标题由不同的VLM生成。这研究了低秩方法是否对不同VLM的输出有效。

结论和未来研究
本文提出了一种低秩共识方法，用于在推理过程中无需真实数据参考的情况下减轻VLM输出中的幻觉。该方法将多个候选标题表示在一个语义嵌入矩阵中，并应用截断的SVD来捕捉它们的共享低秩结构。然后通过残差范数来衡量每个标题与这种结构的偏差，从而实现高效的标题排名和选择。

在NuScenes数据集上的实验表明，所提出的方法有效。

作者贡献声明
Keke Long：撰写——原始草案，方法论。
Jiacheng Guo：研究。
Tianyun Zhang：监督。
Hongkai Yu：撰写——审阅与编辑，监督。
Xiaopeng Li：撰写——审阅与编辑，监督。

利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能会影响本文报告的工作。

致谢
本研究得到了国家科学基金会的资助，项目编号为NSF-DST：“将‘公地悲剧（ToC）’转化为‘交界处自动驾驶车辆的协同行为（ECB）与元学习’（No. 2343167）”。