DBNet：一种基于深度引导和边界感知的非模态实例分割网络

《Image and Vision Computing》：DBNet: A depth-guided and boundary-aware network for amodal instance segmentation

深度引导与边界感知网络在非可见实例分割中通过自适应特征融合、边界注意力机制和多尺度分割架构有效提升遮挡物体分割精度，实验验证优于现有方法。

　　在计算机视觉领域，模态实例分割（Amodal Instance Segmentation, AIS）是一项具有挑战性的任务，其目标是预测图像中每个物体实例的完整形状，包括可见和被遮挡的区域。与传统的实例分割不同，后者仅关注可见部分的像素分类和分割，而AIS则更接近人类视觉系统对物体整体的感知能力，从而在复杂场景中提供更全面的物体信息。由于遮挡区域与可见区域之间的信息缺失，AIS在实际应用中面临诸多困难，例如如何准确区分遮挡物与被遮挡物，如何在缺乏直接视觉信息的情况下推断物体的完整轮廓等。

目前，AIS在多个应用领域中展现出重要价值，包括自动驾驶、机器人导航和图像补全等。在自动驾驶系统中，准确识别道路上的车辆、行人等物体的完整轮廓对于路径规划和安全决策至关重要。而在机器人视觉中，理解物体之间的遮挡关系有助于提高环境感知的准确性。此外，图像补全技术依赖于对遮挡区域的预测，以生成更完整的图像内容。因此，AIS的研究不仅具有理论意义，也对实际技术的发展具有推动作用。

然而，实现高质量的AIS仍面临两大主要挑战。首先，同一类别的物体在局部图像区域中往往具有高度相似的纹理和外观特征，尤其是在仅部分可见的情况下，这种相似性使得模型难以准确区分遮挡物与被遮挡物。这种现象可能导致分割结果出现过分割或相邻实例之间的混淆。其次，现实世界的场景通常包含多种类型的物体，它们在大小、姿态和相互遮挡关系上存在较大差异，这增加了模型学习物体形状通用表示的难度，尤其是在预测不可见部分时。

为了应对这些挑战，研究者们提出了多种方法。一些方法依赖于形状先验知识，通过预先定义的物体形状信息来辅助遮挡区域的预测。例如，VRSP-Net [7] 使用可见掩码作为注意力机制的一部分，以增强对遮挡区域的识别能力。然而，这种方法在面对复杂遮挡或非标准物体形状时可能不够灵活。另一类方法则引入了遮挡分支，通过专门的网络结构来预测物体的完整形状。例如，一些方法在分割网络中增加了遮挡掩码的生成模块，以捕捉遮挡区域的信息。尽管这些方法在一定程度上提高了AIS的准确性，但在需要理解物体的三维结构和深度关系的场景中，例如物体堆叠、相互缠绕或在极端光照条件下，这些方法仍然存在局限性。

基于上述问题，我们提出了一种深度引导和边界感知的网络（Depth-Guided and Boundary-Aware Network, DBNet），旨在通过模拟人类对遮挡物体的感知过程，提高AIS的准确性和鲁棒性。DBNet的核心设计包括三个关键模块：通道自适应融合模块（Channel Adaptive Fusion Module, CAFM）、边界感知注意力模块（Boundary-Aware Attention Module, BAAM）和由粗到细的分割架构（Coarse-to-Fine Segmentation Architecture, CFSA）。这些模块共同作用，使DBNet能够更有效地处理遮挡区域，生成更精确的AIS结果。

CAFM的主要作用是融合RGB和深度模态的特征信息，以生成更具代表性的融合特征。传统的特征融合方法通常采用简单的加权平均或拼接操作，而CAFM则通过自适应学习的方式，根据各个通道的相对贡献动态调整特征权重。这种自适应机制使CAFM能够更好地利用RGB和深度特征之间的互补性，从而增强模型对遮挡区域的识别能力。例如，在RGB图像中，我们可以获取丰富的语义信息，如物体的颜色、纹理和形状；而在深度图像中，我们可以获得物体的空间位置和几何结构信息。CAFM通过融合这两种信息，使模型能够更全面地理解物体的特征，从而在复杂遮挡场景中实现更精确的分割。

BAAM的核心任务是增强边界表示，通过编码上下文信息到局部特征中，以提升遮挡区域的预测能力。边界信息在AIS中起着至关重要的作用，因为物体的轮廓通常包含关键的结构特征。通过引入BAAM，我们能够更有效地捕捉这些边界信息，并将其用于指导分割网络的预测过程。例如，在遮挡区域中，边界特征可以提供关于物体形状和位置的重要线索，帮助模型更准确地推断被遮挡部分的轮廓。此外，我们还从掩码的地面真实数据中生成边界掩码，作为监督信号，使BAAM能够更有效地学习遮挡区域的形状特征。

CFSA的设计目的是通过逐步整合可见特征和边界特征，提高分割结果的精度。传统的分割方法通常采用单一尺度的特征处理，而CFSA则通过多尺度的特征融合，逐步细化分割结果。例如，在初始阶段，模型可以利用粗略的特征信息进行初步分割，随后通过更精细的特征处理，逐步优化分割结果，最终生成高质量的遮挡掩码。这种由粗到细的分割架构不仅提高了分割的准确性，还增强了模型对复杂遮挡场景的适应能力。

为了验证DBNet的有效性，我们在多个公开数据集上进行了广泛的实验。这些数据集包括D2SA、KINS和COCOA-cls，它们涵盖了不同类型的遮挡场景和物体类别。实验结果表明，DBNet在这些数据集上的表现优于现有的先进方法，进一步验证了其在处理遮挡区域方面的有效性。此外，我们还进行了消融实验，以分析各个模块对最终分割结果的贡献。这些实验结果表明，CAFM、BAAM和CFSA在提升分割精度方面均发挥了重要作用。

尽管DBNet在多个AIS任务中表现出色，但其当前架构在计算效率方面仍有待提升。目前，DBNet采用了一个两阶段的框架，包括CFSA和双骨干网络，用于处理RGB和深度模态的信息。这种设计虽然提高了分割的准确性，但也增加了推理过程的计算成本。因此，未来的研究方向可能包括优化网络结构，以在保持高精度的同时提高计算效率。此外，我们还可以探索更高效的特征融合方式，以减少计算资源的消耗。

在本研究中，我们提出了DBNet这一新的框架，通过引入深度信息和边界信息，提高AIS的准确性。DBNet的核心模块包括CAFM、BAAM和CFSA，它们分别负责特征融合、边界增强和分割细化。这些模块的协同作用使DBNet能够在复杂遮挡场景中实现更精确的分割结果。此外，我们还通过实验验证了DBNet在多个数据集上的优越性，进一步确认了其在AIS任务中的有效性。

综上所述，DBNet为AIS提供了一种新的解决方案，通过融合深度信息和边界信息，提高了对遮挡区域的识别能力。其核心模块的设计不仅增强了特征的表示能力，还优化了分割的流程，使得最终结果更加准确和可靠。未来，随着深度学习技术的不断发展，我们相信DBNet可以进一步优化，以在保持高精度的同时提高计算效率，从而更好地应用于实际场景。