EV-Mamba: 用于声纳图像超分辨率的能量方差引导 Mamba 模型

《Neurocomputing》：EV-Mamba: Energy-Variance Guided Mamba for Sonar Image Super-Resolution

　　

• •
  提出了一种面向声纳图像超分辨率的双先验状态空间框架。
• •
  声学能率先验能够保持全局拓扑组织。
• •
  方差先验在特征聚合过程中抑制散斑的放大效应。
• •
  拓扑-统计融合在结构恢复与噪声抑制之间取得平衡。
• •
  该框架以较低的计算复杂度实现了稳健的重建。

引言

声纳成像是一种重要的水下感知与探测传感方式 [1]、[2]。然而，原始声纳观测图像常常受限于空间分辨率不足、声学衰减不均匀以及严重的海底混响，导致图像质量显著退化 [3]、[4]、[5]。图像超分辨率（ISR）提供了一种无需修改采集硬件即可增强声纳图像的高效解决方案 [6]、[7]。然而，声纳图像的退化特征在表现方式和空间耦合关系上通常与常规光学图像超分辨率中考虑的退化模式有所不同。虽然光学成像中也可能因散射或相干介质而产生衰减和散斑，但侧扫声纳中的退化表现与距离相关的声学传播损耗、视角相关的后向散射、海底混响以及目标相关的回声阴影形成密切相关 [2]、[4]。这些采集相关的效应共同作用，可导致空间上不均匀的响应、碎片化的回声阴影模式以及强烈的局部波动，从而掩盖微弱目标响应和结构边界。

近期的基于深度学习的图像超分辨率架构，包括生成对抗网络（GANs）[8]、[9]、扩散模型 [10]、[11]、[12]、视觉Transformer（ViTs）[13]、[14]以及状态空间模型（SSMs）[15]、[16]，在光学图像重建领域取得了显著成功。通用的图像超分辨率模型在声纳数据上训练后可以学习声纳领域的图像统计特征。然而，本研究所考虑的方法的已发表公式并未在其状态转移或局部聚合机制中显式地暴露距离相关、视角相关或混响条件变量。尽管水下目标的物理几何形状在给定采集过程中可能相对保持稳定，但其可观测的拓扑组织在很大程度上取决于回声响应是否能够与背景噪声区分开来 [17]。在本工作中，"拓扑组织"指的是可观测回声阴影区域的大尺度空间排列和连续性，而非显式计算的拓扑不变量。因此，通用的图像超分辨率框架可能会忽略声纳数据中两种相互耦合的退化模式。距离相关的衰减可能削弱远距离或非镜面回波，并在大尺度回声阴影结构中造成不连续性。海底混响引入了高方差的局部波动，可能掩盖结构边界。这些效应促使我们在声纳图像超分辨率中分别建模远距离回波能量变化与局部统计波动。

为应对上述挑战，我们提出了能量-方差引导的Mamba（EV-Mamba），一种协调宏观回波能量条件化与局部统计正则化的双先验状态空间框架。在本工作中，回波能率先验指的是在抑制小尺度波动后从观测声纳强度中推断出的回波能量的相对空间分布。它被用作一种图像导出的条件化先验，而非绝对能量或传输损耗的校准测量值。在框架层面，宏观声学能量编码器（MAEE）估计宏观回波能量图并将其投影为回波能量嵌入。空间特征调制（SFM）利用该嵌入来校准块级表示。校准后的特征随后由两个互补分支进行处理。能量调制的希尔伯特状态空间模型（EM-HSSM）结合了保持局部性的希尔伯特序列化和回波能量条件的选择性状态空间离散化，使长程传播能够适应空间能量变化。并行地，方差正则化窗口自注意力（VR-WSA）引入了头选择性局部方差正则化，在保持局部细节的同时约束统计不稳定的特征聚合。最后，拓扑-统计协同融合（TSCF）利用估计的回波能量图将两个分支的表示进行融合。这种协同设计将宏观能量组织与局部统计正则化相结合，用于声纳图像重建。

• ●
  我们提出了EV-Mamba，一种双先验状态空间框架，将回波能量条件的长程传播与方差正则化的局部聚合分离开来。MAEE估计图像导出的宏观回波能率先验，SFM利用其嵌入来校准中间特征，TSCF利用能量图引导两个分支的自适应融合。
• ●
  我们开发了EM-HSSM，它将保持局部性的希尔伯特序列化与回波能量条件的选择性状态空间离散化相结合。该机制使状态传播和记忆保持能够适应估计的相对回波能量的空间分布。
• ●
  我们引入了VR-WSA，它对选定的注意力头施加局部方差正则化，减少统计不稳定的特征交互的影响，同时保留无约束头用于局部细节表示。

章节摘要

图像超分辨率的最新进展

深度学习架构推动了图像超分辨率的发展 [18]、[19]。早期方法主要依赖卷积神经网络（CNNs）来学习局部像素级空间映射 [6]、[7]、[20]。为了恢复更精细的结构纹理并增强感知保真度，研究人员随后引入了生成对抗网络（GANs）[8]、[9]。ESRGAN通过残差中的残差密集块和对抗学习改善了感知重建，而Real-ESRGAN [21]进一步

EV-Mamba的总体框架

为应对声纳图像中空间不均匀的回波能量分布和局部散斑波动，我们提出了EV-Mamba框架。如图1所示，EV-Mamba将重建过程分为回波能量条件的长程传播和方差正则化的局部聚合。

给定一个低分辨率声纳观测 $I_{LR}\in {?}^{H\times W\times C_{in}}$，浅层特征提取器首先将图像投影到初始特征空间，产生浅层表示 $F_0\in {?}^{H\times W\times C}$。

数据集与实验设置

实验评估聚焦于声纳图像超分辨率，旨在复杂海底环境中实现水下目标的高保真重建。实验所使用的数据集来自公开数据源，具体为KLSG-II和SCTD侧扫声纳数据集，覆盖了包括沉船和飞机在内的典型人工目标。遵循标准的配对超分辨率实践，低分辨率输入通过双三次下采样从高分辨率声纳图像生成

回波能量先验与方差先验的互补作用

消融实验结果表明，在所评估的重建协议下，回波能量条件的状态传播和方差正则化的局部聚合发挥着互补作用。在宏观尺度上，MAEE从观测图像中估计回波能量的相对空间分布。该先验通过SFM校准中间特征，在EM-HSSM中条件化选择性状态空间离散化，并在TSCF中引导自适应融合。由此产生的机制使特征

结论

本文提出了EV-Mamba，一种能量-方差引导的状态空间框架，用于声纳图像超分辨率。MAEE估计图像导出的宏观回波能率先验，该先验被SFM用于校准中间特征，被EM-HSSM用于条件化长程状态传播，并被TSCF用于引导宏观分支与微观分支的自适应融合。VR-WSA通过对选定的注意力头施加局部方差正则化来补充这种宏观条件化。

在

CRediT作者贡献声明

霍冠英：写作 – 审阅与编辑，监督指导，资源管理，项目管理，基金获取，概念构思。孔伟峰：写作 – 审阅与编辑，验证，监督指导，方法论。陈林：写作 – 审阅与编辑，原创写作，可视化，软件开发，方法论，形式化分析，数据管理，概念构思。

利益冲突声明

作者声明，他们没有已知的经济利益竞争或个人关系可能影响本文所述工作的客观性。

致谢

本工作得到国家自然科学基金（批准号62571179和U2441254）和江苏省研究生科研与实践创新计划（批准号26CXJH1424）的资助。

陈林于2022年和2025年分别获得中国河海大学通信工程学士学位和信号与信息处理硕士学位。目前，他正在河海大学攻读信息与通信工程博士学位。他的研究兴趣包括水下声学成像和基于深度学习的视觉信息处理，特别关注声纳图像分析、图像修复和超分辨率。

陈林|孔伟峰|霍冠英