跨模态图信号滤波与尺度自适应高斯瓦瑟斯坦回归用于开放词汇室内三维目标检测

《Digital Signal Processing》：Cross-Modal Graph Signal Filtering and Scale-Adaptive Gaussian Wasserstein Regression for Open-Vocabulary Indoor 3D Object Detection

　　摘要开放词汇室内三维目标检测要求在稀疏深度观测、遮挡、密集布局和显著目标尺度变化下，准确定位基础类别和新颖类别。然而，传统的RGB-点云融合可能在深度补全过程中引入边界错位，而基于重叠的回归目标在预测框和真实框不重叠时提供的定位指导有限。为解决这些问题，我们提出CM-GSPDet，一种集成跨模态图信号恢复、全局-局部特征调制和尺度自适应概率框回归的多模态框架。首先，跨模态图信号滤波器从空间邻近性和RGB外观构建结构感知图，并通过拉普拉斯正则化信号重建恢复密集深度，在保持物体边界的同时促进区域平滑性。其次，双分支编码器利用全局池化场景上下文动态调制局部空间特征，改善密集杂乱场景中的表示。第三，三维边界框被建模为高斯分布，并使用目标尺度归一化的高斯Wasserstein损失进行优化，在物体尺度间提供连续定位监督。在SUN-RGBD和ScanNetv2上进行的开放词汇基础/新颖类别协议实验表明，在两个室内基准上均有一致改进。在SUN-RGBD上，CM-GSPDet在IoU阈值0.25下达到7.15 APnovel、13.68 APavg和44.35 ARavg。相对于复现的CoDA基线，APnovel提升1.05个百分点，对应17.2%的相对增益，ARavg提升2.50点。在ScanNetv2上的额外评估证实，所提出的设计在不同室内传感和场景分布下仍具竞争力。引言开放词汇室内三维目标检测旨在定位训练期间观察到的基础类别以及具有有限类别特定三维监督的新颖类别。这一能力对于机器人感知、辅助系统和具身场景理解至关重要，因为在部署期间遇到的物体无法被穷举预定义[[1], [2], [3]]。室内场景因严重遮挡、密集空间布局和物体尺寸的显著变化而尤为具有挑战性。RGB图像提供密集的外观和语义信息，而深度图或点云提供明确的几何结构。因此，结合这些互补模态已成为室内三维感知的重要方向[4,5]。尽管最近有进展，可靠的RGB-3D融合仍然困难。投影到图像平面的深度观测通常是稀疏、嘈杂或不完整的，特别是在物体边界和遮挡区域附近[[6], [7], [8]]。传统的邻域插值和基于投影的融合可能在不同表面间传播深度，产生过度平滑的过渡和跨模态边界错位[[9], [10], [11], [12]]。基于学习的深度补全可以提供更强的先验，但其预测可能引入与观测测量不一致的几何结构。这些限制促使需要一种结构感知恢复机制，在保持可用深度值的同时，利用RGB外观控制几何传播。第二个挑战来自密集杂乱的室内场景。局部特征对于表示物体边界和细粒度几何至关重要，但主要依赖局部查询的检测器可能遗漏严重遮挡或紧密排列的物体。场景级上下文可以通过提供全局布局信息来减少这种歧义。然而，直接相加或拼接局部和全局特征可能无法充分控制它们的相对贡献。因此，需要局部空间特征与全局场景上下文之间更具适应性的交互。边界框回归引入了额外困难。室内物体从大型家具（如床和沙发）到小型物体（如显示器和桌面物品）不等。高斯框表示提供中心、尺度和方向差异的连续描述[13]，而广义三维IoU公式[14]和高斯组合距离[15]寻求更稳定的几何优化。然而，当预测框和真实框在空间上分离时，传统的基于重叠的目标仍可能提供弱或零监督，并且回归响应可能在物体尺度间显著变化。现有的概率公式未针对室内物体的长尾尺度分布进行专门归一化。这促使需要一种尺度感知的概率回归目标。为解决这些挑战，我们提出CM-GSPDet，一种用于开放词汇室内三维目标检测的多模态框架。它结合了RGB引导的图信号恢复、全局-局部动态特征调制和目标尺度归一化的高斯Wasserstein回归。我们的重点不是将图正则化、全局-局部建模或高斯框表示作为全新概念呈现，而是将它们调整和集成用于开放词汇室内场景中的边界保持、上下文推理和尺度感知定位。主要贡献总结如下：1）我们开发了一种跨模态图信号恢复模块，将稀疏深度观测表示为RGB引导结构感知图上的信号。拉普拉斯正则化在同质区域内促进平滑性，同时阻止跨外观边界的传播。2）我们引入了一种全局-局部动态调制编码器，使用场景级上下文重新校准局部空间特征，旨在减少密集杂乱环境中的特征歧义和漏检。3）我们提出了用于三维边界框的目标尺度归一化高斯Wasserstein回归目标。该归一化提供尺度感知的定位监督，并在预测框和真实框有限或无重叠时保留信息丰富的梯度。本文的其余部分组织如下。第2节回顾了开放词汇和多模态三维检测、基于图的深度恢复、全局-局部上下文建模和概率框回归的相关工作。第3节介绍了所提出的CM-GSPDet框架及其三个主要组件。第4节描述了数据集、评估协议、实现细节和效率测量。第5节报告了定量比较、效率分析、消融研究、鲁棒性评估和失败案例。最后，第6节总结论文并讨论未来方向。章节片段开放词汇和多模态室内三维目标检测室内三维目标检测已从几何主导的流水线向多模态和开放词汇框架发展。Frustum PointNets将二维提议提升到三维视锥体中进行框估计[16]。借助视觉-语言预训练，PointCLIP通过多视图投影将CLIP知识迁移到点云[17]，PointCLIP V2将该范式扩展到开放世界三维识别和检测[18]，CLIP2对齐语言、图像和真实世界点云以实现可迁移的三维...所提出方法给定RGB图像 ??∈???×??×3 及其对齐的稀疏深度观测或点云，目标是预测一组有向三维边界框及其类别置信度分数。所提出的CM-GSPDet框架专为开放词汇室内三维目标检测设计，其中检测器在基础和新颖物体类别上均被评估。如图1所示，该框架包含三个主要组件。首先，跨模态结构感知图信号...数据集和评估协议我们在两个室内RGB-D基准上评估CM-GSPDet，即SUN-RGBD [40]和ScanNetv2 [41]。SUN-RGBD包含10,335个对齐的RGB-D样本，带有46个类别的有向三维框标注，包括5,285个训练和5,050个验证样本。按照采用的开放词汇协议，最频繁的10个类别视为基础类别，其余36个类别视为新颖类别。类别特定监督仅对基础类别可用，而新颖物体发现和语义...与开放词汇方法的定量比较为评估CM-GSPDet的有效性和跨基准通用性，我们在SUN-RGBD和ScanNetv2上进行定量比较。除代表性的视觉-语言和多模态基线外，我们还包括CoDA [21]及其近期扩展CoDAv2 [22]作为强开放词汇参考方法。为进行受控比较，所有标记为?的方法均在统一提议生成、基础/新颖类别划分和评估流水线中复现...结论本文提出CM-GSPDet，一种用于开放词汇室内三维目标检测的多模态框架，解决了边界模糊、上下文建模不足和物体尺度变化问题。CM-GSP将RGB引导的深度恢复表述为稀疏图正则化信号重建问题，在视觉一致区域内促进传播，同时减少跨边界扩散。SS-Enc通过...代码可用性为促进可复现性和未来研究，CM-GSPDet的源代码、预训练模型和实现细节已在GitHub上公开：https://github.com/caozei8543/CM-GSPDet-MODEL-CODE。Qunlei Xu|Zhengyang Zhang|Hongfei Cao|Shuchen Bai|Xinglin Zhang|Tao Cao