《Image and Vision Computing》：Frequency-decoupled multi-scale hybrid transformer for underwater object detection
编辑推荐：
•
提出WMH-DETR来解决水下特征漂移和多尺度问题。
•
WeSkat主干网络结合了小波（
- •
提出WMH-DETR来解决水下特征漂移和多尺度问题。
- •
WeSkat主干网络结合了小波（Wavelet）用于频率处理和稀疏KAN（Sparse KAN）用于语义理解。
- •
MCSA模块通过多尺度通道注意力机制捕获全局上下文。
- •
HS-PAN实现语义特征和空间特征的双向融合。
- •
在UDD、DUO、RUOD和VisDrone数据集上达到最先进（SOTA）的准确率。
引言
近年来，基于深度学习的计算机视觉技术在许多任务中取得了显著进展，包括图像去模糊[1]、[2]、去雨[3]、[4]、去雾[5]、[6]、低光增强[7]以及物体检测[8]、[9]、[10]。其中，水下物体检测（UOD）作为海洋探索和水下机器人的核心组成部分，对于实现精确的物体识别和定位[11]、[12]、[13]至关重要。与陆地成像环境不同，水下成像受到多种复杂且动态耦合的退化因素的影响，包括光吸收和散射、水体浑浊以及悬浮颗粒[14]、[15]、[16]。这些因素导致图像质量严重下降，削弱了基于模式识别的计算机视觉系统的性能[17]、[18]、[19]。
在水下检测任务中，机器人需要在资源受限的条件下处理来自不同海洋环境的图像数据。由于这些区域的水体属性差异较大，相同物体在不同环境条件下的特征表示也有很大差异，从而导致特征漂移[20]、[21]。此外，水下物体的尺度范围广泛，从小型海洋生物到大型水下设施不等，这给水下物体检测带来了额外的挑战。因此，设计出健壮且高效的对象检测方法以减轻这些影响仍然是水下计算机视觉任务中的关键挑战。
现有的水下物体检测方法大致可以分为两类：基于CNN的检测器和基于Transformer的端到端检测器。为了解决水下环境中的特征漂移和多尺度问题，基于CNN的方法通常采用堆叠卷积层和增加网络深度的策略来扩展感受野。然而，这种方法存在严重限制：(1) 感受野扩展缓慢：网络中逐层堆叠的卷积层导致感受野扩大的速度较慢，限制了网络对上下文推理所需的长距离依赖（LRDs）的建模能力；(2) 梯度不稳定：深度网络容易遇到梯度消失和梯度爆炸现象，使得训练更加复杂；(3) 计算开销高：网络深度的增加进一步提高了计算要求，限制了在资源受限的水下设备上的应用。相比之下，基于Transformer的方法通过自注意力机制具备全局建模能力，能够有效捕捉长距离依赖。然而，它们在处理高分辨率图像时面临计算复杂度高和训练收敛速度慢的挑战。此外，传统的多层感知器（MLPs）作为静态的、数据无关的映射，在有效建模水下场景中的非线性上下文依赖关系方面存在困难。同时，现有的特征金字塔网络在融合多尺度特征时往往会降低语义信息的传递效率，从而对检测性能产生不利影响。
为了解决上述问题，我们提出了WMH-DETR，一个端到端的水下物体检测框架。具体贡献如下：
- •
我们提出了WMH-DETR，这是一个端到端的水下物体检测框架，通过频率解耦的特征提取和多尺度融合策略来应对复杂水下环境中的特征漂移和多尺度检测挑战。
- •
我们提出了WeSkat，一种具有阶段意识的混合主干网络，用于水下物体检测。具体来说，在浅层阶段使用CSP-WFEM来增强高频细节并保留局部纹理，在深层阶段使用CSP-SKAT通过稀疏注意力和组KAN（Group KAN）来建模长距离依赖和复杂非线性语义关系。
- •
我们提出了MCSA模块，它通过两个并行分支将多尺度和通道信息整合到自注意力机制中，从而捕获更丰富的全局上下文并增强通道级特征表示。
- •
我们提出了HS-PAN，这是一种通过网络双向融合策略有效整合语义和空间信息的网络，从而显著提高对不同尺度目标的检测性能。
部分摘要
混合CNN-Transformer检测架构
目前，物体检测的发展主要受到两种主流架构范式的影响：CNN和Transformer。基于CNN的检测器，如YOLO[22]和R-CNN[23]、[24]系列，由于其高效的局部特征提取能力和计算效率，一直是实时物体检测的基石。同时，视觉Transformer[25]通过全局自注意力捕捉长距离空间依赖关系，并取得了显著成果
方法
在本节中，我们介绍了所提出的WMH-DETR架构。如图1所示，WMH-DETR采用了一个层次化的设计，包括特征提取、上下文重新校准、跨层特征融合和检测预测。首先，由混合主干网络WeSkat提取多尺度特征图。在这一阶段，浅层使用CSP-WFEM来增强对细节敏感的高频信息，而深层使用CSP-SKAT来建模长距离依赖关系
数据集
在实验部分，我们在四个数据集上评估了模型的有效性和泛化能力：UDD、DUO、RUOD和VisDrone。如图5所示，这些数据集的代表性样本可供参考。
UDD数据集由大连理工大学多媒体实验室发布，包含2227张图像。其类别包括海胆、海参和扇贝，均来自真实的海洋养殖环境。该数据集分为训练集和验证集
结论
在本文中，我们提出了WMH-DETR，这是一种基于频域解耦和多尺度特征融合的检测器，专门用于解决水下特征漂移和多尺度特性问题。首先介绍了WeSkat主干网络，它在浅层增强频域特征，并在深层增强非线性建模能力。其次，设计了MCSA模块以获取丰富的全局上下文信息并增强通道特征表达。最后，
CRediT作者贡献声明
Hui Chen：撰写 – 审查与编辑、验证、项目管理、方法论设计、资金筹集。Yongjie Yu：撰写 – 审查与编辑、原始草稿撰写、验证、方法论设计。Shunxiang Zhang：验证、资金筹集、概念构思。Bin Ge：可视化、验证。
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本研究得到了中国国家自然科学基金（项目编号：62076006）的部分支持，以及安徽省重点教学研究项目（项目编号：2020jyxm0458）的支持。
