用于水下显著目标检测的轻量级深度增强网络

《Image and Vision Computing》：Lightweight depth enhancement network for underwater salient object detection

　　- 轻量级水下显著目标检测网络，仅含1200万参数和2.0 GFLOPs。- 深度增强模块用于有效的RGB-D特征融合。- 多任务学习以同时预测显著性和边缘。- 轻量级解码器中的多级特征融合策略。- 与15种最先进方法相比表现具有竞争力。**引言**显著目标检测旨在识别并分割场景中的显著目标，是计算机视觉领域的一项基础任务。该技术已被广泛应用于图像分割、目标检测、场景分析和边界检测等多种应用中。随着该领域的不断发展，已涌现出多个专门分支，例如ORSI-SOD、RGB-D SOD、RGB-T SOD以及视频SOD等。水下显著目标检测是近年来为应对不断增长的水下探索需求而兴起的一个独立子领域。对于视觉引导的自主水下机器人而言，该任务尤为关键，因为这类机器人依赖评估目标的感知重要性来做出实时导航和操作决策。尽管已有大量针对一般场景的鲁棒显著目标检测模型被开发出来，但现有的最先进方法在水下环境中往往表现不佳，原因是复杂光照、低对比度以及颜色衰减等因素都会导致图像质量下降。因此，需要针对水下显著目标检测设计新的网络架构，以应对水下场景区别于传统显著目标检测任务的独特挑战。水下显著目标检测发展面临的另一挑战在于，当前的卷积类方法往往依赖辅助模块来调整特征分布。尽管这些方法通过自底向上和自顶向下的学习相结合，有效地融合了多尺度和语义多样的深层视觉特征，但卷积算子的感受野仍然有限。幸运的是，视觉Transformer已在众多密集预测任务中展现出强大的性能。通过采用多头自注意力机制，视觉Transformer能够捕获全局感受野并充分利用全图范围内的上下文信息。然而，水下平台（如自主水下航行器和水下相机）往往运行在计算和存储资源极度受限的环境下。视觉Transformer模型中多头自注意力所需的计算复杂度，再加上卷积框架中集成的额外辅助模块，大幅增加了参数量和计算开销。这些因素使得视觉Transformer在实际任务中的应用面临困难。显然，为水下显著目标检测设计轻量级模型至关重要。针对上述问题，我们提出了一种用于水下显著目标检测的轻量级深度增强网络，命名为LDENet。我们的LDENet遵循显著目标检测中常用的编码器-解码器架构，并集成了Transformer-卷积混合设计。具体而言，采用轻量级基于Transformer的编码器来提取富含上下文信息的多级语义特征。在编码器中，我们引入了一个深度增强模块，通过轻量级注意力机制将RGB特征与深度图特征进行融合。随后，采用轻量级基于卷积的解码器来生成显著性特征。此外，我们的模型还引入了多任务学习策略，同时预测显著性图和对应的边缘图。尽管采用轻量级架构，所提出的LDENet在性能上可与重量级水下显著目标检测方法相媲美，同时所需参数量显著更少且计算复杂度更低。我们的贡献总结如下：（1）我们提出了一种新颖的轻量级水下显著目标检测模型，命名为LDENet，该模型在有限计算资源下探索特征融合，同时保持多任务学习策略，仅包含1200万参数和2.0 GFLOPs。（2）我们设计了一个深度增强模块，旨在增强从RGB图像和深度图中获取的不同层级特征。（3）我们采用了一种具有多级特征融合和多级监督的轻量级解码器，以实现高效地预测显著性图。（4）实验结果表明，所提出的LDENet在参数更少、计算复杂度更低的条件下，性能可与重量级水下显著目标检测和显著目标检测模型相媲美，在有效性和效率之间实现了良好的平衡。**章节片段****相关工作**视觉显著性检测领域起源于1998年Itti等人的工作。经过二十多年的发展，该领域的研究被分为两类：一类是依赖手工设计特征的传统方法，另一类是利用高层语义特征的深度学习技术。传统方法通常依赖于颜色、纹理和中心先验等低级线索。虽然这些方法能够产生合理的预测结果，但在某些情况下往往难以胜任。**所提方法**我们提出的LDENet基于编码器-解码器结构。本节从五个部分介绍我们的网络：网络概览、编码器、深度增强模块、解码器和混合损失函数。**实现细节**LDENet在USOD10K数据集上进行训练，该数据集包含10,255张水下图像及其对应的深度图、真值标签和边界图。数据集被划分为三个子集：7178张用于训练，2051张用于验证，1026张用于测试。训练阶段完成后，我们在USOD10K和USOD数据集上对LDENet进行评估。USOD数据集包含300张自然水下图像及其对应的真值标签用于测试。由于该数据集未提供……**结论**本文提出了一种用于水下显著目标检测的有效轻量级模型，即LDENet。在LDENet中，我们采用EfficientFormerV2作为编码器来提取RGB和深度特征。为了增强RGB和深度信息的融合，我们引入了深度增强模块，以生成可用的深层语义特征。接下来，我们设计了一个轻量级解码器，采用多级特征融合策略，实现多级监督以进行预测……**作者贡献声明****周凌宁**：撰写——初稿、验证、方法论。**温红法**：撰写——审阅与编辑、监督指导。**朱宗杰**：监督指导。**蒋少伟**：监督指导。**严成刚**：监督指导。**利益冲突声明**作者声明不存在任何已知可能影响本文所报告工作的竞争性经济利益或个人关系。**致谢**本研究得到了浙江省重点研发计划（资助编号2025C03001）的支持。周凌宁|温红法|朱宗杰|蒋少伟|严成刚