基于RGB-D信息的显著物体检测方法：采用跨模态自适应相关学习网络

《Signal Processing: Image Communication》：RGB-D salient object detection via cross-modal adaptive correlation learning network

RGB-D显著检测中，CACNet通过自适应跨模态相关学习融合RGB与深度特征，采用分层多尺度特征解码器聚合全局与局部信息，并设计结构质量感知优化目标提升边界一致性。

　　

丁关群|方宇明|严洁斌

江西财经大学，南昌，330032，中国

摘要

在RGB-D图像中准确检测显著对象需要有效融合RGB和深度模态之间的互补信息，同时解决固有的模态差异问题。为了解决这个问题，我们提出了一种跨模态自适应相关学习网络，该网络能够自适应地建模和整合RGB-深度相关性以提高检测性能。具体来说，我们提出了一个自适应跨模态融合模块来捕获特定于模态的特征。该模块促进了跨模态的有效知识整合。为了进一步细化特征表示，我们开发了一个具有多尺度特征聚合模块的分层特征融合解码器。该解码器逐步整合不同尺度上的上下文信息，同时保留了全局语义意识和细粒度局部细节。此外，我们提出了一个基于质量的优化目标，以减轻边缘失真并强制保持结构一致性，从而学习到保持边界的线索并提高结构完整性。在七个基准数据集上的广泛实验表明，CACNet在定性和定量评估中均优于现有方法。在RGB-T显著对象检测数据集上的实验结果进一步证明了所提出模型的泛化能力。

引言

显著对象检测（SOD）旨在识别图像中最具有视觉特色的对象，并且近年来取得了显著进展[1]、[2]。显著性检测模型[2]、[3]提供了关于场景的视觉突出信息，并在过去几十年中被广泛应用于各种视觉任务中。这些模型在许多应用中带来了显著的性能提升，包括图像增强[4]、图像翻译[5]、场景分割[6]和图像搜索[7]。

随着深度学习的兴起，基于RGB的SOD通过利用卷积神经网络（CNNs）[8]、[9]和基于Transformer的模型[2]、[10]的强大特征提取能力取得了显著进展。然而，基于单一模态的RGB方法[8]、[9]、[10]在处理复杂背景、低对比度对象和杂乱场景时经常遇到困难，因为仅靠颜色和纹理信息不足以进行准确的显著性预测。RGB图像本质上包含丰富的语义细节，但它们缺乏明确的深度线索，这使得区分前景对象和背景变得具有挑战性，特别是当对象具有相似的颜色或光照变化影响视觉对比度时[2]、[11]、[12]。

为了克服这些限制，基于RGB-D的显著对象检测（RGB-D SOD）[2]、[14]、[15]作为一个有前景的研究方向应运而生，它利用深度信息作为额外的模态来增强显著性估计。深度图提供了有价值的空间结构和位置线索，有助于改善对象与背景的分离，并用几何信息补充RGB特征[1]、[16]。消费级深度传感器的发展进一步促进了深度图像的获取，使得RGB-D SOD在现实世界应用中变得越来越实用[1]、[17]。然而，尽管深度信息具有潜在优势，但在现有的RGB-D SOD方法中有效利用RGB和深度模态之间的互补特性仍然是一个挑战[18]、[19]。RGB-D SOD的主要挑战之一是RGB和深度特征之间的模态差异。由于RGB图像捕获基于外观的线索（如纹理和颜色），而深度图编码空间和几何结构，它们的分布、分辨率和噪声特性存在显著差异。如何有效地建模它们之间的模态特定关系对于实现鲁棒的RGB-D SOD至关重要。

此外，多尺度上下文建模对于鲁棒的显著性预测也至关重要[16]。自然场景中的对象出现在不同的尺度上，它们的显著性取决于全局上下文意识和细粒度局部细节。现有的方法[20]、[21]在单一层次上融合多模态特征时可能会忽略不同尺度之间的复杂交互，限制了模型捕捉大尺度结构一致性和小尺度对象细节的能力。因此，理想的RGB-D SOD模型不仅应该探索局部尺度融合，还应该建立非相邻尺度之间的自适应相关性。通过允许模型整合长距离的上下文依赖性，它可以有效地捕捉不同尺度特征之间的关系，从而实现更精确和鲁棒的显著性预测。另一个挑战是增强特征的鲁棒性，以使显著性模型能够有效处理具有挑战性的场景。尽管某些现有的RGB-D SOD模型[22]、[23]取得了令人印象深刻的性能结果，但它们可能在具有复杂背景和低对比度条件的场景中表现不佳。由于显著对象自然具有强烈的边界结构，一个鲁棒的优化目标应该明确强制保持结构一致性和边界保持，从而确保预测的显著区域在感知上保持连贯性。

在这项工作中，我们提出了一种跨模态自适应相关学习网络（CACNet），该网络通过三个关键组件增强了RGB-D SOD：自适应跨模态相关学习、分层多尺度特征融合和结构感知优化。具体来说，自适应跨模态融合（ACMF）模块通过捕获它们的互补关系动态整合RGB和深度特征，同时减少跨模态不一致性。此外，一个配备多尺度特征聚合模块的分层特征融合解码器逐步整合不同尺度上的上下文信息，确保了全局场景意识和细节的保留。为了进一步提高结构一致性，我们引入了一个结构感知（SQA）损失，该损失通过从图像质量评估中得出的结构相似性度量来强制保持边界一致性和减轻边缘失真。如图1所示，CACNet在保持39 FPS的竞争性推理速度的同时，获得了0.942的F值。同时，它的性能优于最准确的竞争对手，且推理速度更快。这些结果证明了我们方法的卓越的准确性和效率之间的平衡。

简而言之，本工作的主要贡献可以总结如下:

• 我们提出了一种跨模态自适应相关学习网络（CACNet）来提高RGB-D SOD的性能。
• 我们引入了一种新的ACMF模块，以促进从RGB和深度模态中整合特定于模态的知识，使模型能够有效利用互补信息。
• 我们设计了一个分层特征融合解码器，该解码器堆叠了提出的MSFA模块，用于逐步在不同尺度上聚合上下文特征。
• 我们提出了一种新的基于质量的优化目标，以利用原始RGB-D图像中的丰富结构信息，从而提高检测显著对象的准确性。

在现有基准数据集上的广泛实验表明，所提出的模型优于当前的最先进方法。

部分摘录

基于CNN的RGB-D显著对象检测

显著对象检测（SOD）[24]旨在识别图像中最突出的区域。由于RGB图像对现实世界信息的表示有限，许多研究人员近年来引入了额外的深度图像来提高显著对象检测模型的性能，这通常被称为RGB-D SOD [10]、[25]、[26]。

近年来，深度学习技术已被广泛应用于RGB-D显著对象检测研究[10]、[25]、[27]

架构概述

所提出的CACNet模型的整体架构如图2所示。在这个框架中，首先在编码器中使用RGB流和深度流分别提取多模态RGB和深度特征。然后将ACMF模块集成到编码器中，以捕获跨模态特征之间的全面特定于模态的信息。随后，融合的多模态特征通过分层堆叠的MSFA模块在解码器中进一步聚合。

基准数据集

我们使用七个广泛使用的RGB-D SOD数据集来训练和评估所提出的模型，包括NJU2K [13]、NLPR [51]、SSD [52]、STERE [53]、SIP [16]、DES [54]和LFSD [55]。根据之前的研究[9]、[10]、[21]，训练集包含2185个样本，其中1485个样本来自NJU2K [13]训练集，700个样本来自NLPR [51]训练集。其余样本用于性能评估，如表1所示。

评估指标

我们使用了四个

结论

在本文中，我们提出了一种用于RGB-D显著性检测的新型跨模态自适应相关学习网络（CACNet）。与以前的方法不同，所提出的自适应跨模态融合（ACMF）模块通过显式建模RGB和深度特征之间的自适应相关性来整合特定于模态的互补线索。此外，我们设计了一个分层特征融合解码器，该解码器配备了多尺度特征聚合（MSFA）模块，用于捕获

CRediT作者贡献声明

丁关群：撰写 – 审阅与编辑，撰写 – 原始草稿，可视化，验证，方法论，资金获取，概念化。方宇明：撰写 – 审阅与编辑，验证，监督，方法论，资金获取，概念化。严洁斌：撰写 – 审阅与编辑，可视化，验证，软件，调查，数据管理。

未引用的参考文献

[56]、[57]、[58]、[59]、[60]、[61]、[62]、[63]、[64]、[65]、[66]、[67]、[68]、[69]、[70]、[71]、[72]、[73]、[74]、[75]

未引用的参考文献

[80]、[81]

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。