MHamba：用于船舶检测的形态状态空间模块与异构特征学习方法

《Displays》：MHamba: Morphological State Space Module and heterogeneous feature learning for ship detection

MHamba通过形态状态空间模块（MSSM）解决近岸船舶形态捕获问题，结合异构特征融合模块（HFFM）实现尺度自适应特征融合，在HRSC2016等数据集上取得91.1% AP50和61.8% AP75成绩，计算成本比现有检测器低13%-45%。

　　

吴文豪|史敬远|顾友林|孟凡浩|郑义|郑航|马瑞龙|张曦|胡一华

中国国防科技大学

摘要

从遥感图像中检测船舶面临两个关键挑战：在复杂的近岸环境中无法充分捕捉到船体的细长形态；以及当小型和大型船舶共存时，存在严重的尺度不平衡问题。现有的CNN-ViT混合方法在建模长距离依赖关系时存在二次复杂性问题，并且依赖于固定的多尺度聚合策略，这些策略缺乏适应性。为了解决这些限制，我们提出了MHamba，这是一种具有海洋船舶结构感知能力的视觉Mamba网络，能够实现旋转鲁棒的形态特征学习和异构多尺度融合。我们的主要贡献是形态状态空间模块（MSSM），它使用零点卷积（Zero-in Convolution）进行高效的局部形状细化，并在结构感知扫描路径上引入方向一致性正则化，将离散的多方向感知转换为连续的流形表示。为了实现尺度自适应融合，异构特征融合模块（HFFM）通过异构核选择和一致性感知的可学习融合来动态重新加权特征贡献。大量实验表明，MHamba在HRSC2016数据集上取得了最先进的性能（91.1%的AP₅₀、72.8%的AP₇₅），同时在Seaships7000和ShipRSImageNet基准测试中也保持了更好的泛化能力。

引言

船舶检测系统对于监控全球海上交通、确保海上安全以及保护国家安全至关重要。随着海上贸易的迅速扩张和沿海环境复杂性的增加，需要能够可靠地在多种场景下运行的自动化船舶检测系统[1]、[2]。传统方法如恒定虚警率（CFAR）检测器[3]、[4]，通过统计测试来判断像素是否包含目标，并能在杂乱环境中保持CFAR，因此被广泛使用。然而，它们的鲁棒性和在不同场景下的泛化能力有限。目前，基于CNN的[5]、[6]、[7]、[8]、[9]以及基于Transformer的[10]、[11]、[12]、[13]、[14]深度学习方法显著提升了模型的生成和特征提取能力。大多数船舶检测算法都是在现有的计算机视觉算法基础上对船舶检测任务进行了特定修改。例如，CoAM模块[15]被嵌入到SAM模型中以定位和区分船舶目标；SRT-Net[16]使用图卷积网络来增强船舶的显著性；FE-YOLO[17]在YOLO主干网络中设计了可变形的感受野来突出船舶特征；SASOD[18]预测不同的显著性图以提供详细的船舶检测信息；YOLOv7-sea[19]提出了特殊的注意力模块来增强对海上目标的关注；OWRT-DETR[20]减轻了复杂的背景干扰并增强了船舶特征表示。然而，两个持续存在的问题限制了实际应用：在近岸环境中无法完整检测船舶结构；以及当小型和大型船舶共存时性能严重下降。

(i) 近岸船舶检测具有挑战性，因为船舶具有细长的结构，需要从船头到船尾的长距离一致性，而沿海背景（如码头、波浪和海岸线纹理）往往与船舶船体图案相似。在这种情况下，可靠的检测依赖于在低频海洋背景下保留船舶轮廓的高频边界/轮廓线索。由于局部感受野的限制，CNN检测器难以保持长距离船舶的结构一致性[21]、[22]。视觉Transformer可以捕捉长距离依赖关系，但它们引入了二次复杂性，在大空间分辨率下会变得不可行[23]、[24]；并且重复的全局令牌混合会稀释清晰的轮廓频率对比度，逐渐减弱区分边界细节的能力。视觉Mamba方法通过选择性状态演化和内容依赖的门控实现线性复杂性，提供了一种更高效的长距离检测方案[25]、[26]。然而，现有的视觉SSM通常采用固定的扫描模式（如光栅或有限的方向遍历），当目标方向任意时，这可能会破坏空间一致性，从而削弱旋转后细长船舶的形态连续性。

(ii) 在实际的海上监控中，多目标场景经常包含大小差异极大的船舶，导致严重的尺度差异。特征金字塔网络（FPN）[27]、[28]、[29]通过融合层次特征来缓解尺度变化，但它们的固定聚合引入了两个实际问题：语义细节冲突，即深层背景可能掩盖了小型船舶定位所需的细粒度浅层特征；以及尺度无关的加权，即金字塔层级以统一或静态的重要性进行组合，而不考虑特定场景的尺寸分布。一些方法将Transformer块插入融合路径[30]以增强全局交互，但全局自注意力可能会进一步平滑或分散区分小型船舶和背景杂乱所需的局部判别线索。DMS-Fuse[9]设计了一个动态预测层来增强微妙的特征表示，但未能充分利用多分辨率船舶特征中固有的尺度特定特性。因此，核心瓶颈是缺乏一种能够根据每个场景的目标尺寸组成动态调整跨层级贡献的尺度自适应融合机制，而不会产生二次注意力成本。

为了解决这两个挑战：(i) 具有边界保留的旋转不变形态捕获和(ii) 在异构目标分布下的尺度自适应融合，我们提出了MHamba，这是一个具有领域感知架构创新的结构感知视觉Mamba框架。MHamba包含两个协同工作的组件。首先，我们设计了一个形态状态空间模块（MSSM），它将边界保留的局部细化与高效的长距离状态建模明确结合。具体来说，MSSM使用零点卷积通过内容依赖的门控来细化局部形状和轮廓响应，然后执行结构感知的多方向SS2D建模以传播长距离形态一致性。同时，方向一致性正则化将离散的方向遍历转换为连续的方向流形，实现旋转鲁棒的形态学习，并减轻固定扫描路径引起的连续性碎片化。通过结合选择性状态演化与显式的轮廓细化和方向一致的扫描，MSSM比ViT中的重复全局令牌混合更有效地保留了高频边界细节，同时保持了线性复杂性。其次，我们提出了一个异构特征融合模块（HFFM）用于尺度自适应的多级集成。HFFM引入了三种机制：全局异构核选择（GHKS）应用适合尺度的感受野进行语义增强；上卷积块（UCB）确保金字塔层级之间的维度一致性；以及一致性感知的可学习融合（CALF）在每个节点学习可训练的融合权重，根据场景依赖的目标尺寸分布动态强调金字塔层级。值得注意的是，HFFM采用了双向跨尺度拓扑结构，实现了有效的多尺度集成，而无需二次自注意力或暴力架构搜索。如图1所示，MHamba（上图）的性能优于其他方法（下图）。

主要贡献总结如下：

• 我们提出了MHamba，这是一个专为海洋船舶检测设计的结构感知视觉Mamba框架，它在统一架构中同时解决了任意方向下的近岸形态保留和多尺度目标不平衡问题。
• 我们提出了一个MSSM，它将边界保留的局部轮廓细化与高效的长距离状态空间建模相结合。MSSM进一步采用结构感知的多方向扫描和方向一致性正则化，以避免空间连续性碎片化，并实现旋转鲁棒的形态特征学习。
• 我们提出了一个HFFM，用于尺度自适应的跨层级集成，它结合了GHKS、UCB和CALF，根据场景依赖的尺寸分布动态调整金字塔层级的贡献，而无需引入二次自注意力。

部分摘录

遥感中的船舶检测

遥感图像中的船舶检测已经从传统的信号处理方法（如CFAR）发展到深度学习方法。早期的基于CFAR的检测器依赖于手工制作的特征，具有有限的泛化能力。卷积神经网络的出现使得层次化特征学习成为可能，用于检测任务。两阶段检测器如Faster R-CNN[31]在分类前生成区域提议，而单阶段检测器如RetinaNet[32]和FCOS[33]

概述

MHamba的整体架构遵循三阶段设计（图2），每个阶段解决前一阶段确定的特定瓶颈。在第一阶段，MSSM替代了传统的卷积主干网络，以解决长距离形态建模不足的核心问题。MSSM首先应用ZInConv来增强局部边界和轮廓响应——这是后续状态空间传播的先决条件，因为退化的局部特征会传递

实验细节

我们在HRSC2016、Seaships7000和ShipRSImageNet数据集上比较了不同模型的性能。数据集按8:1:1的比例分为训练集、测试集和验证集。HRSC2016包含1061张高分辨率图像，其中包含2976艘船舶实例。该数据集的特点是近岸场景密集（73.2%的图像包含沿海结构）和细长的船舶形态（平均纵横比：3.47:1）。Seaships7000包含7000张图像，涵盖了多样的海上条件，特别是极端尺度

结论

本研究提出了MHamba，它包括通过方向一致性正则化增强的线性复杂性状态空间建模，以及用于尺度自适应特征整合的一致性感知异构多尺度融合。MHamba在HRSC2016数据集上取得了91.1%的AP₅₀和61.8%的AP的性能，优于最先进的方法，同时计算成本比检测Transformer低13%–45%。跨数据集评估显示了5%–6%的泛化能力提升，验证了

写作过程中生成式AI和AI辅助技术的声明

在撰写本手稿过程中，作者使用了Deepseek工具进行校对。使用该工具后，作者根据需要对内容进行了审查和编辑，并对发表文章的内容负全责。

未引用的参考文献

[50], [51], [52], [53], [54], [55], [56], [57], [58], [59], [60], [61], [62], [63], [64], [65]

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。