基于深度的多模态早期优化用于6D姿态估计

《Neurocomputing》：Depth-guided multi-modal early optimization for 6D pose estimation

　　摘要：零样本6D物体姿态估计通常采用两阶段流程，即实例分割与姿态估计。然而，第一阶段的分割错误可能会影响点云数据，进而降低后续的配准精度，尤其是在纹理较弱、环境复杂或照明条件不佳的场景中，仅依赖RGB信息的分割往往不稳定。直接将SAM应用于原始深度图也不够理想，因为由此生成的掩码往往不稳定，无法为后续的姿态恢复提供可靠的几何信息。我们提出了DG-M2EO（深度引导的多模态早期优化）这一无需训练的RGB-D前端框架，它在冻结的预训练模型基础上运行，将深度引导的候选生成机制引入零样本6D姿态估计中。该框架包含基于SAM的专用深度分支，以及逆深度归一化、几何一致性恢复和几何感知型掩码过滤功能，从而使基于深度的掩码能够作为可靠的候选对象用于后续的姿态恢复。此外，它还包含多模态匹配与评分模块，以及早期优化规则，可在深度候选结果已经足够可靠时减少不必要的计算。在四个BOP19数据集（T-LESS、TUD-L、YCB-V和LM-O）上的实验表明，DG-M2EO在纹理较弱、RGB特征不明显的工业数据集上表现尤为出色，而在YCB-V数据集上的性能也与现有方法相当。与相同后端架构下的SAM6D相比，DG-M2EO将Mean4 BOP19平均召回率从74.1提升至76.1，整体提升了2.0个百分点，其在各数据集上的性能提升幅度分别为+6.3、+2.71、+0.6%。同时，LM-O数据集的结果表明，深度分支的效果取决于场景的几何质量，在严重遮挡、环境复杂或深度信息质量较差的情况下，其效果可能会下降。

引言：6D物体姿态估计旨在从视觉或多模态传感器数据中恢复物体在笛卡尔空间中的位置与方向[1][2][3]。这是计算机视觉与机器人技术中的基础性问题，为机器人抓取、操作、增强/混合现实以及自动化工业检测等应用提供了支撑[4][5]。在工业环境或环境复杂的场景中，由于纹理较弱、物体外观模式重复以及存在遮挡现象，可靠的姿态估计尤为重要，因为这些因素会显著降低感知的准确性。过去十年中，无论是基于深度学习的监督学习方法还是基于模板匹配的方法，都在已知物体类别或实例的情况下取得了优异的成果[3][6]。不过，这些方法通常依赖于特定物体的训练数据，因此每遇到新物体就需要重新收集数据并进行标注，这限制了方法的通用性并增加了应用成本。为了解决这一问题，大规模视觉与几何基础模型的出现[7][8][9]引发了人们对零样本6D姿态估计的兴趣。在这种模式下，无需额外训练，即可直接利用现有的3D模型或几何先验来预测未知物体的姿态[10][11]，从而大大提升了应用的灵活性。典型的零样本处理流程包括两个阶段：实例分割模块与姿态估计模块[9][10][12]。然而在实际应用中，这一流程的性能往往受限于第一步，也就是分割掩码的质量[13][14]。掩码存在的缺陷，如边界偏移、前景遗漏或背景污染，都可能影响到点云数据，通过配准过程放大误差，最终降低姿态优化的稳定性。尽管像SAM[7]、FastSAM[15]和MobileSAM[16]这样的先进无训练分割模型在开放场景中表现良好，但它们仅依赖RGB外观特征，缺乏明确的几何约束。因此，在工业环境或其他具有挑战性的场景中，如纹理较弱、环境复杂或照明条件不佳的环境里，第一阶段生成的掩码可能不够完整，从而导致姿态估计出现误差[17][18]。原则上，当物体外观信息不足时，深度信息可以提供稳定的几何形状信息[14][19]。但实际上，原始深度图往往存在噪声、缺失区域以及与RGB数据的对齐问题[20]，这使得它们难以直接使用。目前大多数零样本处理流程仅在配准阶段利用深度信息来优化匹配，却很少在分割阶段引入明确的几何约束以抑制上游的噪声[21]。因此，一旦初始掩码存在几何缺陷，后续的优化就无法完全弥补这些问题。例如，SAM6D[12]就依赖SAM生成的掩码进行模板匹配，而掩码边界的不稳定性会大幅降低其姿态估计的精度。FreeZe[10]则采用视觉-几何特征融合技术来实现高精度的全球3D-3D配准，但它仍然只关注匹配阶段，没有改善上游的掩码质量。近期的方法（如FreeZeV2[22]、UnPose[23]、InstantPose[24]）虽然在多模态融合、不确定性引导或推理速度方面有所改进，但仍然主要在后期拟合或优化阶段使用深度信息，而早期的分割阶段则几乎没有得到改进。为了解决这一瓶颈，我们提出了DG-M2EO（深度引导的多模态早期优化），如图1所示，该方案明确地复用了Segment Anything Model（SAM）来进行RGB与深度信息的实例分割。虽然SAM通常是针对RGB输入设计的，但直接将原始深度图输入SAM会导致掩码不稳定。因此，我们构建了一种双分支的SAM架构，其中一个分支负责处理RGB外观特征，另一个分支则用于处理深度相关的几何信息（见3.1节）。在深度分支的基础上，我们还加入了三个具备几何感知功能的模块：(i)逆深度归一化模块，该模块能够放大近距离的几何差异，并通过最小-最大缩放将深度图转换为伪RGB格式的三通道输入，使其与SAM的图像编码器兼容，从而有助于在纹理较弱或具有反射特性的场景中凸显细节；(ii)几何一致性恢复模块，该模块通过将掩码双线性重采样回原始分辨率，并严格限制边界框的范围，以此消除多尺度处理带来的误差以及掩码上采样导致的失真，进而减少边界偏移，保持掩码与底层深度数据的对齐；(iii)几何感知型掩码过滤模块，该模块通过设置更高的面积阈值以及深度有效性检查，去除不可靠的候选对象，同时保留那些具有几何支撑的候选项。这些模块共同构成了一个具备几何感知功能的处理流程，使得双分支的SAM能够生成互补的候选集合，随后这些候选集合会被送入统一的多模态匹配与评分阶段进行筛选，之后再进入从粗略到精细的配准阶段，最终完成6D姿态的估计（详见3.2节的物体匹配与评分模块，以及3.3节的姿态估计模块）。重要的是，DG-M2EO可以无缝集成到现有的零样本处理流程中（如SAM6D[12]、FreeZe[10]、InstantPose[24]），而无需修改后端的配准模块。尤其是，对于那些需要利用实例掩码/裁剪区域（以及可选的初始姿态）来构建点云数据的姿态估计模块而言，DG-M2EO并不依赖具体的后端架构，因此可以直接替代原有的仅基于RGB的分割方式。我们在四个核心的BOP数据集[3][5][13][25]，即T-LESS、TUD-L、LM-O和YCB-V上进行了对比实验与消融实验，以验证在早期优化阶段利用深度信息对姿态估计的助力作用。本文的主要贡献如下：我们在SAM的基础上构建了一个双分支的实例分割模块，既可用于RGB信息的处理，经过几何感知预处理后也可用于深度信息的处理。这些明确的几何约束有助于稳定边界，并在复杂场景中恢复被遗漏的前景信息，从而直接提升姿态匹配的精度。我们还设计了一个无需训练、能够利用深度信息的多模态匹配模块，并加入了早期优化规则，该模块可以与现有的零样本基础模型无缝集成。实验结果表明，所提出的框架在纹理较弱的工业数据集上表现尤为出色，这进一步证明了在早期优化阶段利用深度信息的价值。

相关工作：近年来，6D物体姿态估计的泛化能力与鲁棒性取得了显著进展[13][26]。早期的方法大多采用模板匹配或监督学习策略：LINEMOD[3]使用二值模板进行RGB-D匹配，PoseCNN[5]则借助卷积网络在复杂环境中预测已知物体的姿态，SSD-6D[6]则通过匹配预渲染的模板来提高对纹理较差的物体的识别能力。尽管这些方法在处理已知目标时效果不错，但它们的泛化能力有限。

方法部分：本文介绍了我们基于Segment Anything Model（SAM）设计的用于零样本6D物体姿态估计的DG-M2EO框架。DG-M2EO的目标是检测输入RGB-D图像中在训练阶段未曾出现过的所有新物体，并估算出它们的完整6D姿态。为了解决这一难题，DG-M2EO将整个处理过程分解为三个核心模块，如图3所示：(i)实例分割模块（ISM），该模块基于双模态双分支的SAM结构。

实验部分：为了评估DG-M2EO在零样本6D姿态估计中的性能，我们在BOP基准测试集中的四个核心数据集上进行了对比实验，这些数据集包括YCB-V、LM-O、T-LESS和TUD-L。这些数据集涵盖了多种真实的场景，比如纹理丰富、照明良好的桌面环境（YCB-V）、被严重遮挡的工业物体（LM-O）、纹理较少但几何结构复杂的工业零件（T-LESS），以及纹理多样且存在一定程度遮挡的场景（TUD-L）。通过这些不同的场景测试，我们可以更全面地了解DG-M2EO的性能表现。

结论：本文提出了DG-M2EO框架，旨在解决零样本6D姿态估计中分割错误（如边界偏移、前景遗漏和背景污染）传播到点云数据中的问题。DG-M2EO在实例分割阶段增加了专门的深度处理分支，并为SAM配备了逆深度归一化、几何一致性恢复以及几何感知型掩码过滤等功能，从而使得在明确的几何约束下能够生成基于深度的候选对象。通过多模态信息的整合，该框架有效提升了姿态估计的精度。

CRediT作者贡献说明：李亦菲：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，资源，项目管理，方法论，研究，形式分析，数据整理，概念构思。余尔立：撰写——审阅与编辑，指导，项目管理，资金获取，形式分析，概念构思。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。李亦菲目前在中国澳门澳门理工学院攻读计算机专业（软件工程方向）的学士学位，她是该校的研究助理，师从余尔立博士。她的当前研究兴趣包括点云配准、RGB-D感知以及零样本6D物体姿态估计。

李亦菲 | 余尔立
中国澳门999078，澳门理工学院应用科学学院，戈麦斯街