信息协调作为桥梁：一种用于实现可靠自主驾驶场景理解的神经符号架构

《Expert Systems with Applications》：Information Coordination as a Bridge: A Neuro-Symbolic Architecture for Reliable Autonomous Driving Scene Understanding

【字体：大中小】 时间：2026年09月28日 来源：Expert Systems with Applications 9.4

编辑推荐：

　　 • InfoCoordiBridge 实现了多传感器感知与大型语言模型（LLM）推理的融合。 •

•
InfoCoordiBridge 实现了多传感器感知与大型语言模型（LLM）推理的融合。
•
ICA 将确定性的协调原语适配为具有来源感知能力的 SceneSummary。
•
SSRE 通过实体锚定和验证来支持高级驾驶推理。
•
公平的对比实验检验了原始联合、后期融合以及以 LLM 作为协调器的基准方法。

引言

自动驾驶的鲁棒性在很大程度上取决于感知系统是否能够在复杂的开放世界交通环境中提供准确且可解释的场景理解。因此，多模态传感器融合已成为可靠环境感知的基石（Peng, Qin, Tang, Zhang, & Deng, 2022）。在现有的表示方法中，鸟瞰图（BEV）能够统一异构传感器视图，同时保留丰富的视觉语义和精确的几何结构。基于 BEV 的融合方法（如 BEVFusion (Liu et al., 2023b) 和 TransFusion (Bai et al., 2022)）表明，在 BEV 空间进行特征级融合可以显著提升下游任务（例如 3D 对象检测）的性能，这标志着多模态感知的一个重要里程碑。

尽管有这些进展，以 BEV 为中心的融合方法仍然主要局限于封闭的感知范式：模型通常输出预定义的低级注释，如边界框和 segmentation masks（Wang et al., 2023）。然而，高级驾驶决策需要更深入的场景理解，以推断交通参与者的意图、解决复杂交互并推理非典型事件；这种理解需要开放世界的常识和逻辑推理。大型语言模型（LLMs）在自然语言理解和推理方面展现了强大的能力，为弥合感知输出与决策制定之间的语义差距提供了有希望的途径（Ahn et al., 2022）。

受此启发，最近的研究将 LLMs 整合到自动驾驶流程中。它们根据感知输出来规划（Huang et al., 2024a）或回答关于驾驶场景的自然语言问题（Qian, Chen, Zhuo, Jiao, & Jiang, 2024）。然而，这一趋势暴露了一个关键问题：跨模态感知结果往往在语义上不一致，而 LLMs 缺乏内置的先验来协调这些不一致性，因此容易产生幻觉。先前的研究报告指出，在自动驾驶等安全关键领域，LLMs 可能产生听起来合理但实际上与现实不符的结论（Chakraborty, Ornik, & Driggs-Campbell, 2025; Heo, Son, & Park, 2025）。由此产生的风险已成为可信开放世界场景理解的主要瓶颈，这也直接推动了我们这项工作。

在架构层面，许多最近的基于 LLM 的驾驶系统仍然将语言模型视为一个松散耦合的后处理器，放置在感知前端之后。在这样的流程中，异构感知输出通常作为固定证据传递给 LLM，即使它们包含重复的实体、不兼容的属性、特定于传感器的坐标约定或不确定的单模态观测结果。因此，LMM 不得不同时承担两个角色：低级证据协调和高级语义推理。这种设计在安全关键的驾驶场景中存在问题，因为 LMM 不是确定性的数据关联或不确定性融合模块，上游的不一致性可能会被转化为看似合理但缺乏支持的实体、解释或驾驶建议。

因此，本文的核心问题不是替换现有的 BEV 感知、跟踪或传感器融合算法，而是设计一个可靠的多源感知与基于 LLM 的驾驶认知之间的接口。我们认为，高级推理应该基于一个紧凑的、全局一致且具有来源感知能力的世界状态，而不是基于原始的多代理感知日志。这样的接口应保留与规划相关的几何和动态事实，暴露冲突和不确定性以供审核，并减少不受支持的证据传播到基于语言的推理中。

为此，我们提出了 InfoCoordiBridge，这是一个以 BEV 为中心的神经符号架构，它在异构感知模块和可验证的推理之间插入了一个明确的信息协调桥梁。该框架首先将多个感知代理的输出标准化为类型化结构化事实以及可选的、以模态为中心的概要。然后，它使用信息协调与抽象（ICA）模块将这些多源事实编译成一个具有来源感知能力的 SceneSummary，作为单一的可审核真相来源。最后，SceneSummary 驱动的推理引擎（SSRE）在协调的世界状态下执行实体锚定的风险评估、决策推理和一致性验证。详细架构在第 4 节中介绍。

在这种应用层面的感知到推理设计基础上，我们的贡献有四个方面：

(1) 我们将基于 LLM 的驾驶认知表述为一个感知到推理的接口问题，并提出了 InfoCoordiBridge 作为一个以 BEV 为中心的神经符号架构，它明确区分了多源证据协调和高级语言推理。

(2) 我们设计了一个具有来源感知能力的 SceneSummary 接口，它将已建立的物体级后期融合、关联和不确定性感知原语组织成一个紧凑的、冲突感知且可审核的世界状态表示，用于下游的 LLM 推理。

(3) 我们开发了 SSRE，这是一个由 SceneSummary 驱动且考虑验证者的推理工作流程，它确保事实声明和高级决策可以追溯到协调的场景实体，而不是未协调的原始感知日志。

(4) 我们在 nuScenes、NuScenes-QA、Waymo 以及一个与 Waymo-QA 模板对齐的基准测试上进行了实验，证明所提出的接口提高了融合的一致性、事实依据和抗幻觉能力，同时保持了竞争性的感知性能。

本文的其余部分组织如下：第 2 节回顾相关工作；第 3 节明确任务定义；第 4 节详细介绍了所提出的方法，包括多代理感知层、ICA 模块和 SSRE 工作流程；第 5 节展示了实验结果和讨论；第 6 节总结了本文并提出了未来的研究方向。

章节片段

任务定义

我们研究可靠的开放世界场景理解方法，用于自动驾驶。给定同步的多模态传感器观测数据，目标是生成 (i) 全局一致、具有来源感知能力的世界状态，作为单一的真相来源；以及 (ii) 基于此世界状态的可追溯的高级决策。为了实现一个可审核的感知到推理流程，我们将任务分解为三个层次子任务：多代理感知、信息...

方法

我们提出了 InfoCoordiBridge，这是一个以 BEV 为中心的神经符号架构，用于实现可靠的开放世界自动驾驶场景理解。设计的目标是将 (i) 来自异构传感器的丰富神经感知与 (ii) 确定性的符号协调相结合，从而使下游推理在一个全局一致且可审核的世界状态下进行，而不是基于冗余或冲突的感知日志。

实验结果与分析

本节描述了用于评估 InfoCoordiBridge 的实验设置，该神经符号架构将信息协调作为感知和推理之间的桥梁。具体来说，我们评估了从感知到推理的完整流程，包括多模态 3D 对象检测、场景一致性分析、关于驾驶场景的开放领域问题回答，以及使用信息协调与抽象（ICA）进行的高级决策推理...

结论

本文提出了 InfoCoordiBridge，这是一个以 BEV 为中心的神经符号架构，用于实现可靠的开放世界场景理解。所提出的框架通过一个明确的协调层将多模态感知与大型语言模型（LLM）推理相结合。具体来说，我们引入了 (i) 一个产生类型化结构化事实和以模态为中心的概要的多代理感知接口；(ii) 一个信息协调与抽象（ICA）模块...

未引用的参考文献

表 4 和图 4。

CRediT 作者贡献声明

Shuo Liu： 编写 – 原始草稿，方法论。 Lei Shi： 构念化。 Haowen Liu： 资源，数据管理。 Jing Xu： 形式化分析，监督。 Yufei Gao： 调查，可视化。 Yucheng Shi： 编写 – 审阅与编辑，构念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

引言