GanCom:通过对抗性训练实现注意力增强的特征压缩,以提高通信效率的协作感知

《Neurocomputing》:GanCom: Attention-enhanced feature compression for communication-efficient collaborative perception via adversarial training

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neurocomputing 6.5

编辑推荐:

  卢斌|王少红|单航冠|向志宇|傅哲伟|刘二云 浙江大学,中国浙江省杭州市浙大路38号,310007 **摘要** 随着自动驾驶技术的快速发展,现代自主系统正准备进行大规模部署,为多智能体协作感知提供了可能性。信息共享使自主智能体能够互补,显著提高了场景理解能力。然而

  卢斌|王少红|单航冠|向志宇|傅哲伟|刘二云
浙江大学,中国浙江省杭州市浙大路38号,310007

**摘要**
随着自动驾驶技术的快速发展,现代自主系统正准备进行大规模部署,为多智能体协作感知提供了可能性。信息共享使自主智能体能够互补,显著提高了场景理解能力。然而,现有的协作感知方法在通信效率和感知精度之间存在根本性的权衡困境。为了解决这一瓶颈问题,我们提出了GanCom,这是一种基于对抗训练的注意力增强型特征压缩插件,用于实现高效通信的协作感知。具体而言,压缩器采用基于注意力的多级特征增强来最大化压缩数据中的信息保留量。通过对抗训练,重构器重建原始特征,而判别器进一步提高其重建质量。在真实世界和模拟数据集上的广泛实验表明,GanCom的性能优越,通信量减少了1500倍以上,且性能下降几乎为零,优于所有先前的最佳方法。此外,GanCom还表现出良好的推理效率,适用于实际应用。

**引言**
随着自动驾驶技术的快速发展[1],现代自主系统大规模部署只是时间问题。然而,单智能体系统仍受限于传感器故障、感知范围受限和环境障碍,难以满足严格的安全和可靠性要求。解决这一挑战的一个方法是在不同智能体之间共享信息,这被称为多智能体感知或协作感知[2]。最近的研究表明,协作感知可以应用于各种自动驾驶任务,包括目标检测[3]、语义分割[4]和轨迹预测[5],显示出增强的性能和对遮挡的更好鲁棒性,成为推进自动驾驶系统的一个有前景的方向。然而,在实践中,无线通信资源和可靠性的限制显著限制了延迟敏感型协作感知的性能。常见的V2X通信方法使用基于IEEE 802.11p的DSRC(专用短距离通信)技术[6],其信息传输速率约为27Mbps。也就是说,在一个有10个智能体参与、帧率为10Hz的协作场景中,每个智能体每帧传输的数据上限仅为约35KB,这是大多数当前方法无法实现的。

为了降低感知信息的通信成本,人们推动了协作感知架构的发展。如图1所示,根据传输阶段,协作感知可以分为数据级早期协作[7]、特征级中间协作[8]和输出级晚期协作[9]。早期协作通过交换原始数据获得详细信息,但需要大量的带宽;晚期协作汇总所有智能体的输出,虽然带宽效率高,但性能和鲁棒性较差;中间协作则在智能体之间汇总中间特征,实现了更好的性能-带宽平衡。由于其对抗噪声的能力和特征的可压缩性,它逐渐成为协作的主要选择[3]、[4]。

为了解决带宽限制,已经开发了许多方法。早期的方法使用自动编码器[10]来压缩通道编号,但压缩率较低,远远不够。当2com[11]提出了一种握手机制来决定何时通信以及如何构建通信组;基于此,Where2comm[8]通过引入空间置信度图实现空间位置选择,How2comm[12]将选择扩展到元素级别;CoSDH[13]进一步提出了一个供需感知的信息选择机制,ERMVP[14]对选定的前景特征进行加权合并。然而,这些方法主要依赖于选择性信息交换,本质上会导致动态的通信量。因此,在拥挤区域众多协作智能体之间的传输不可避免地会导致通信瓶颈和显著的传输延迟。CodeFilling[15]学习码本并使用其索引来表示原始特征,但这种方法会产生较大的训练开销,且固有的近似不可避免地引入了失真。

鉴于上述讨论,在压缩鸟瞰(BEV)特征时,面临两个挑战:1)如何实现更高效的特征压缩,特别是在低维、紧凑的表示中保留更多信息?2)如何从这种压缩表示中恢复更准确的特征?为了解决这两个挑战,我们提出了GanCom,这是一种基于对抗训练的注意力增强型特征压缩算法,用于实现高效通信的协作感知。它由三个核心组件组成:压缩器用于减少通信数据量,重构器从压缩数据中重建特征,判别器通过对抗训练改进重构器的输出。特别是对于第一个挑战,我们在压缩器中应用了基于注意力的多级特征增强。通过车道级、周围几何建模和非结构化空间捕获,有效缓解了BEV特征的稀疏性,从而显著丰富了最终的低维压缩特征。这种增强后的表示通过量化和编码进行二值化以供传输。重构器随后从二进制代码中重建原始特征。对于第二个挑战,我们采用了软标签噪声对抗重建优化策略,利用对抗训练在极高的压缩率下实现高质量的特征重建,解决了量化噪声问题。此外,我们设计的三阶段训练流程使GanCom能够作为即插即用模块在现有协作感知系统中使用,确保无需架构修改即可无缝集成。

为了评估GanCom,我们在真实世界数据集DAIR-V2X[16]、V2V4Real[17]和模拟数据集OPV2V[18]上进行了全面实验。结果表明,GanCom的性能显著优于所有比较的最佳方法,通信量减少了1500倍以上,且性能下降几乎为零。此外,GanCom还保持了足够的推理效率,适用于实际应用。我们的贡献总结如下:
1) 我们提出了GanCom,一种专为低带宽协作感知定制的特征压缩框架,实现了突破性的压缩率(超过1500倍),同时保持了高检测精度。
2) 我们提出了一种基于注意力的多级增强机制,用于解决激光雷达BEV特征的固有稀疏性问题,我们设计的定制注意力可以汇总稀疏特征,确保关键对象和道路信息在压缩后仍然可用。
3) 我们提出了一种对抗重建优化范式,用于对抗量化噪声,在极高的压缩率下实现高质量的特征重建。
4) 我们在真实世界和模拟数据集上进行了全面实验,结果表明GanCom显著优于现有最佳方法,在通信效率和感知性能之间提供了更好的平衡。

**部分摘录**
**3D目标检测**
基于激光雷达的3D目标检测是自动驾驶中最常见的任务,包括三种类型的方法:基于点的[19]、基于体素的[20]和基于点-体素的[21]。基于点的方法可以提取更详细的特征,但计算开销较大。PointRCNN[22]采用两阶段策略:第一阶段生成一些提案,第二阶段通过特征聚合进行细化和优化。基于体素的方法计算开销较高。

**整体架构**
为简单起见,考虑一个包含两个智能体的场景:一个本车和一个协作者(车辆或基础设施),两者都配备了激光雷达,并具有感知、通信和检测能力。设 和 分别表示本车和协作者的原始观测数据,如图2所示,我们的框架工作如下:其中 和 是从特征提取器中提取的特征。 是协作者发送给本车的消息。

**DAIR-V2X**
我们使用具有挑战性的DAIR-V2X[16]来评估我们的方法和其他最佳方法。DAIR-V2X是第一个来自真实场景的大规模、多模态、多视图车辆-基础设施协作自动驾驶数据集,包含9000帧,涉及一辆车和一个路侧单元,两者都配备了激光雷达和摄像头。原始数据集没有提供摄像头视野之外的注释,因此我们使用CoAlign[37]提供的全视图注释。

**结论**
我们提出了GanCom,一种具有即插即用能力的注意力增强型特征压缩算法,用于协作感知系统。在真实世界和模拟场景中的广泛实验证明了其最佳性能。我们希望我们的工作能够加速协作感知的实际应用。未来,我们将把工作扩展到RGB图像等多模态数据。

**作者贡献声明**
卢斌:撰写——原始草案、可视化、验证、方法论、数据策划、概念化。
王少红:撰写——审阅与编辑。
单航冠:撰写——审阅与编辑。
向志宇:撰写——审阅与编辑。
傅哲伟:撰写——审阅与编辑。
刘二云:撰写——审阅与编辑、监督、资源管理。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
本工作部分得到了浙江省重点研发计划(授权号2025C01039、2024C01017、2024C01010)、国家自然科学基金(授权号U21B2029)和浙江省自然科学基金(授权号LR23F010006)的支持。

卢斌于2022年在中国长沙湖南大学电气与信息工程学院获得学士学位,目前在中国杭州浙江大学信息科学与电子工程学院攻读博士学位。他的研究兴趣包括计算机视觉和自动驾驶。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号