在开放异构系统中，基于不确定性引导的可靠协作地面机器人感知技术

《Pattern Recognition Letters》：Uncertainty-Guided and Reliable Collaborative Ground Robot Perception for Open Heterogeneous Systems

开放异构环境中协同感知的通信高效框架研究，提出主动查询与自适应传输协同策略，结合双流多级融合架构，在OPV2V-H和DAIR-V2X数据集上实现99%+传输压缩率与最优检测精度。

　　

田一涵|张宣|卓书晨|张东|田志强|刘玉英|杜少毅

中国陕西省西安市西安交通大学人工智能与机器人研究所，人机混合增强智能国家重点实验室，西安宁西路28号，710049

摘要

协作感知通过克服遮挡问题显著提高了自动驾驶的安全性；然而，在开放异构环境中的部署受到通信瓶颈的阻碍。尽管现有框架支持异构代理的动态集成，但它们往往忽视了通信效率，导致在严格的数据压缩下现有中间融合方法的性能严重下降。虽然最近的模块化框架成功弥合了异构代理之间的语义差距，但它们对密集中间融合的依赖引入了沉重的通信负担。为了将这些可扩展系统从理论转化为实际部署，我们提出了一个适用于开放异构网络极端带宽限制的通信高效框架。我们的方法通过两种协同设计解决了效率与鲁棒性之间的权衡。首先，为了最大化信息效用，我们引入了一种考虑稀疏性的主动查询策略，并结合了前景感知的自适应传输策略。这使得本车能够明确查询盲区，同时传输器过滤背景噪声，在有限的预算下优先处理最具信息量的特征。其次，为了保证可靠性，我们设计了一种双流多级融合策略，该策略可以并行执行协作中间融合和单 agent 检测。通过协调高精度特征交互与可靠的局部提议，我们的系统保持了基线可靠性，防止了由于稀疏表示导致的性能下降。在 OPV2V-H 和 DAIR-V2X 数据集上的验证表明，我们的方法在检测精度方面达到了最先进水平，同时数据传输量减少了 99% 以上。

引言

通过车对一切（V2X）通信的协作感知有效地克服了单 agent 系统的物理限制，如遮挡和视野受限 [1]、[2]、[3]、[4]、[5]。与静态的同质实体集合不同，现实世界的协作网络本质上是动态的，需要异构代理的临时参与。最近的可扩展框架 [6]、[7]、[8] 通过将多样化的代理特征映射到统一的表示空间来处理开放异构性。然而，一个关键矛盾仍然存在：这些可扩展框架本质上依赖于密集的中间特征融合，引入了沉重的通信负担。虽然异构访问问题得到了缓解，但极端带宽限制已成为阻碍物理部署的主要瓶颈。因此，根本挑战在于在不影响开放异构网络中高精度 3D 对象检测的前提下大幅减少所需的传输带宽。

为了克服这一限制，我们提出了一个适用于开放异构协作感知的鲁棒且通信高效的框架。在可扩展的模块化中间融合框架 [6] 的基础上，我们重新设计了推理过程，以在有限的带宽预算内严格优化性能。

首先，为了解决通信瓶颈，我们引入了一种考虑稀疏性的主动查询策略，并结合了前景感知的自适应传输策略。与被动广播不同，本车评估其感知不确定性以识别信息稀疏区域，并主动针对这些特定区域进行查询。作为响应，传输器采用前景感知策略过滤掉对协作检测贡献微不足道的非信息区域，确保仅传输高置信度的前景特征。这种从被动广播到交互驱动通信的转变在最大化信息效用的同时最小化了带宽消耗。

其次，为了在受限条件下减轻性能下降，我们提出了双流多级融合策略。当传输受到限制时，仅依赖中间融合可能会暴露出脆弱性。因此，我们的架构采用两个并行流，同时融合协作中间特征以实现精确度，并结合单 agent 检测。通过适应性地整合这些流，系统在高置信度场景中利用丰富的融合特征，并在中间融合受损时利用单 agent 检测作为可靠的保障。

我们总结的主要贡献如下：

•

我们提出了一种考虑稀疏性的主动查询策略来缓解通信瓶颈。通过启用对盲区的主动查询并应用前景感知的自适应传输策略，我们将数据传输量减少了 99% 以上，同时保持了信息增益。

•

我们引入了一种双流多级融合架构以提高系统鲁棒性。该设计将中间协作特征与可靠的单 agent 后融合输出自适应地集成，确保在严格带宽限制下的稳定性。

•

在异构的 OPV2V-H [6] 和 DAIR-V2X [9] 基准测试中，我们的方法在低带宽条件下实现了最先进的检测精度，证明了其在资源受限的现实世界部署中的实用性。

相关工作

相关工作

在本节中，我们回顾了与我们方法相关的文献，分为两个不同的维度：开放异构环境中的协作感知框架和通信效率策略。

方法论

基于现有可扩展范式（如 HEAL [6]）提供的统一 BEV 表示，我们的方法论专注于通过不确定性引导的交互协议来解决随之而来的通信瓶颈。具体来说，我们重新设计了推理过程，通过三个关键组件在极端带宽预算下严格优化检测性能：考虑稀疏性的主动查询、前景感知的自适应传输和双流多级融合。图 1

实验

在本节中，我们评估了所提出框架在开放异构协作感知任务上的性能。首先介绍了实验设置，并使用 OPV2V-H 和 DAIR-V2X 数据集验证了该方法。接下来，我们将我们的方法与最先进的方法进行比较，以展示其在检测精度和通信效率方面的优势。最后，我们进行了消融研究以验证关键模块的有效性，包括主动查询

结论与未来工作

我们提出了一个适用于开放异构协作感知的鲁棒且通信高效的框架。通过将考虑稀疏性的主动查询与前景感知的自适应传输相结合，我们实现了基于不确定性引导的交互，最大化了信息效用，同时最小化了冗余。此外，我们的双流多级融合通过动态整合协作特征与单 agent 提议来确保系统可靠性。在 OPV2V-H 和 DAIR-V2X 上进行了验证

CRediT 作者贡献声明

田一涵：方法论、概念化。张宣：资金获取。卓书晨：概念化。张东：概念化。田志强：概念化。刘玉英：概念化。杜少毅：概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

杜少毅报告称获得了中国国家自然科学基金的支持。杜少毅报告称获得了陕西省重点研发计划的支持。杜少毅报告称获得了广东省基础与应用基础研究重大项目的支持。如果有其他作者，他们也会进行声明