基于图驱动的上下文协同网络，实现稳健的3D物体检测

《Neural Networks》：Graph-driven Contextual Synergy Network for Robust 3D Object Detection

　　

摘要

3D物体检测是场景理解中的关键任务。然而，当前方法存在两大瓶颈：一是跨模态融合时因空间错位导致的语义模糊问题，二是复杂场景中各候选点缺乏足够的上下文表征。为解决这些问题，本文提出了一种图驱动的上下文协同网络（GCS3D），旨在从语义和几何两个维度系统提升点的表征能力。具体而言，该算法引入了语义表征校正模块（G-SRR）来增强跨模态表征。通过基于3D邻域的区域级语义聚合来减少投影偏差，该模块借助空间感知门控机制（SGM）自适应调节视觉特征的注入强度，从而实现稳健的跨模态融合。在上下文关联建模方面，该框架引入了图引导的几何一致性交互模块（G-GCI）。通过构建锚点间的局部拓扑图并执行位置感知的特征交互，该模块有助于整合互补的邻域信息，进而提升锚点表征的特征一致性和区分度。此外，还采用了空间尺度感知分配器（SSA-Assigner），根据预测质量动态分配监督信号，充分挖掘优化后的锚点表征的潜力。在SUN RGB-D和ScanNet V2数据集上的大量实验表明，GCS3D取得了优异的性能，mAP@0.25分数分别达到70.39和73.86，证明了该策略在复杂室内场景中的有效性与鲁棒性。

引言

3D物体检测是现代场景理解系统的核心基础（Dao等人，2024），它在从增强现实（Liu等人，2023）到具身机器人操作与导航（Liu, Wang, Zhan, Zheng, & Che, Xu, Shen, Han, Jin, Ye, & Shimada）等诸多领域都发挥着不可或缺的作用。点云能够直接编码空间坐标和结构拓扑，因此成为这项任务中最主要的输入方式。但由于传感器视角受限、遮挡现象以及采样密度不均，原始点云往往存在稀疏、无序且结构不完整的问题。这类由数据本身缺陷导致的信息匮乏，会阻碍检测网络准确捕捉细微的语义信息和精确的几何细节。为应对这些挑战，单模态方法（Kolodiazhnyi, Vorontsova, Skripkin, Rukhovich, Konushin, 2025, Li, Li, Gao, Gao, Wu, Liu, 2025b, Qi, Litany, He, Guibas, 2019, Rukhovich, Vorontsova, Konushin, 2022）致力于优化网络架构和学习机制，从稀疏数据中挖掘出内在的几何上下文关联，恢复具有区分度的语义和结构特征。而多模态策略（Hao, Zhang, Li, Dong, Cheng, Tiwari, Ning, 2024, Li, Si, Liang, An, Tian, Zhou, Wang, 2025a, Li, Ma, Hou, Shi, Yang, Liu, Wu, Chen, Li, Qiao, et al., 2023a, Song, Yang, Xu, Liu, Xu, Jia, Jia, Wang, 2024, Wang, Huang, Gao, Wang, Liu, 2025b）则利用RGB图像中的丰富纹理和语义线索作为外部补充，从而提升语义区分能力和几何定位精度。

尽管现有的3D物体检测方法已取得一定进展，但在处理受校准噪声和遮挡影响的复杂场景数据时，构建稳定且具有区分度的特征表征仍显不足。

在跨模态融合方面，现有方法（Huang, Liu, Chen, Bai, 2020, Liu, Huang, Li, Chen, Wang, Bai, 2022, Qi, Chen, Litany, Guibas, 2020）大多采用刚性的“点对像素”投影策略来建立对应关系。然而，这种刚性投影容易受到传感器校准误差、深度估计噪声以及视差效应的影响，从而导致语义错位（例如，如图1(a)所示，错误地将前景点映射到背景像素上）。虽然有一些研究试图通过引入几何校准网络（Zhang等人，2025）或可变形注意力机制（Chen, Li, Zhang, Fang, Jiang, Zhao, 2022a, Chen, Li, Zhang, Fang, Jiang, Zhao, Zhou, & Zhao, Li, Ma, Hou, Shi, Yang, Liu, Wu, Chen, Li, Qiao, et al., 2023a, Li, Yu, Meng, Caine, Ngiam, Peng, Shen, Lu, Zhou, Le, et al., 2022）来解决这一问题，但这些方法往往存在极高的计算成本。此外，主流的融合范式（Jiang, Wang, Bi, Wang, Zhang, 2024, Qi, Chen, Litany, Guibas, 2020, Rukhovich, Vorontsova, Konushin, 2023）通常将获取的跨模态特征视为同等可靠的输入。这类策略忽视了不同3D点对视觉环境的依赖程度存在显著差异这一事实。在没有先验调节机制的情况下，模型难以自适应地调整视觉信息的注入强度，导致特征融合缺乏针对性，进而阻碍最优多模态表征的学习。

在特征表征优化层面，无论方法是基于体素的（Rukhovich, Vorontsova, Konushin, 2022, Wang, Ding, Dong, Shi, Li, Li, Li, Wang, 2022）还是基于点的（Qi, Litany, He, Guibas, 2019, Xie, Lai, Wu, Wang, Zhang, Xu, Wang, 2021），现有的特征增强方法主要聚焦于编码器阶段，而这实际上是一种隐式的上下文聚合过程。然而，作为检测头中生成候选点的关键组成部分，锚点直接包含了语义置信度和几何结构信息。因此，其表征质量会对最终的分类和回归性能产生决定性影响。与仅局限于编码器阶段的建模方式不同，在锚点层面进行特征建模可以将优化重点放在更接近预测阶段的表征层次上，从而更精准地描述候选点的局部几何拓扑结构。从根本上讲，一组空间上相邻的锚点可以作为一个物体的一组互补描述符（例如，某些锚点可能具备精确的中心定位能力，而其他锚点则在尺度估计方面更具稳定性，如图1(a)所示）。遗憾的是，目前的 方法（Rukhovich, Vorontsova, Konushin, 2022, Rukhovich, Vorontsova, Konushin, 2023）通常将这些锚点视为独立的预测单元，未能充分利用它们之间的潜在上下文协同效应。

为克服这些局限，本文提出了图驱动的上下文协同网络（GCS3D），该网络旨在从语义和几何两个互补维度重塑锚点表征。其核心设计思路如图1所示。GCS3D通过语义表征校正模块（G-SRR）来解决多模态错位问题。如图1(b)的上半部分所示，与刚性投影策略不同，G-SRR利用3D邻域图结构构建灵活的区域级关联，从而减轻刚性映射带来的对齐误差。此外，还采用了空间感知门控机制（SGM）来自适应调节不同空间位置上视觉流的权重。同时，该框架还引入了几何一致性交互模块（G-GCI）。与将锚点视为独立单元的方法不同，G-GCI基于锚点间的空间相邻关系构建局部几何关联图（见图1(b)的下半部分）。通过引入位置感知的注意力交互机制，该模块促进了相邻锚点之间的特征融合，使得中心锚点能够在预测之前整合互补的上下文信息。最后，为适配优化后的特征分布，GCS3D还加入了空间尺度感知分配器（SSA-Assigner）。该组件根据预测质量制定动态的监督标准，确保高质量锚点能获得更精确的梯度反馈。

综上所述，本文的主要贡献如下：

• 1.
  提出了一种基于局部图建模的跨模态语义增强机制。该机制通过基于3D邻域引导的区域级语义聚合，缓解由投影引起的语义错位，同时借助SGM自适应调节视觉线索的贡献程度。
• 2.
  提出了一种基于锚点级的几何一致性交互策略。通过明确建模锚点间的局部拓扑关系，该策略有助于整合互补的邻域信息，进而提升中心锚点的表征能力。
• 3.
  设计了一种空间尺度感知的监督分配方法。该方法通过结合预测质量来筛选高质量锚点用于训练，使监督信号与优化后的锚点表征相匹配，从而进一步提升检测性能。

章节节选

基于点云的3D物体检测

基于点云的3D物体检测旨在利用点云数据固有的几何信息，实现精确的物体识别与定位。PointNet（Qi等人，2017）率先实现了对非结构化点云的直接处理，而后基于投票的策略（Cheng, Sheng, Shi, Yang, Xu, 2021, Qi, Litany, He, Guibas, 2019, Xie, Lai, Wu, Wang, Zhang, Xu, Wang, 2020）进一步推动了该领域的发展。与此同时，基于DETR的方法（Liu, Zhang, Cao, Hu, Tong, 2021，

整体架构

在本节中，我们将介绍GCS3D，这是一种专为系统性地解决跨模态语义错位问题以及由独立锚点预测带来的感知瓶颈而设计的3D物体检测框架。如图2所示，该框架由三个相互协作的组件构成：G-SRR利用3D邻域结构重塑跨模态关联以实现语义对齐，同时还能自适应地调节

数据集与评估指标

我们在两个基准数据集上对所提出的方法进行了系统性评估：SUN RGB-D（Song等人，2015）和ScanNet V2（Dai等人，2017）。

SUN RGB-D是一个单视图RGB-D数据集，包含具有全景视角的单帧图像，这为模型提供了更广阔的视野和全面的整体场景上下文。遵循（Qi等人，2019）的数据划分方案，该数据集被分为5,285个训练样本和5,050个测试样本，其中

结论

本文提出了GCS3D，这是一种通过明确的拓扑建模和深度上下文交互，有效缓解复杂室内场景中跨模态语义错位问题，并克服由独立锚点预测带来的感知瓶颈的框架。其核心贡献在于建立了一种“图构建-邻域协同”机制，系统地重构了锚点的语义和几何表征。该框架整合了三个关键组件：

CRediT作者贡献说明

Miaohui Zhang：写作——审阅与编辑，写作——初稿撰写，可视化，软件，项目管理，方法论，研究，形式分析。Chengyi Zhang：写作——审阅与编辑，可视化，软件，资源整理，形式分析，数据整理。Linxian Zhu：写作——审阅与编辑，资源整理，项目管理，形式分析。Shengjie Ren：写作——审阅与编辑，资源整理，项目管理，形式分析。Ming Xin：写作——审阅与编辑，

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Miaohui Zhang|Chengyi Zhang|Linxian Zhu|Shengjie Ren|Ming Xin