基于空间-频率状态空间建模的高保真遥感图像去雾

《Neurocomputing》：High-fidelity remote sensing image dehazing via spatial-frequency state space modeling

　　

摘要 遥感图像常因大气散射和雾霾干扰而遭受严重的质量退化和高频细节丢失。在现有的去雾算法中，卷积神经网络（CNNs）受限于有限的局部感受野，难以有效捕捉大规模、非均匀的雾霾。虽然 Transformer 功能强大，但其计算复杂度过高，阻碍了其处理高分辨率图像的能力。此外，像素级回归方法往往导致纹理过度平滑。最近，扩散模型展现了潜力，但在复杂遥感场景中面临推理速度慢和细节恢复不足的瓶颈。为解决这些挑战，我们提出了 SFMamba-GAN，这是一个由生成对抗学习引导的空间 - 频域状态空间建模框架。该框架结合了基于 MSFC 的卷积分支以表征局部结构，以及双向状态空间分支以传播长程上下文信息，并通过渐进式空间 - 频域重建和双域对抗监督集成其特征。大量实验包括在 RS-NUHaze 和 SateHaze1k 上的配对评估，在主要由薄云和轻雾主导的配对 RICE1 基准上的零样本跨数据集评估，以及在真实世界 RRSHID-277 数据集上的零样本无参考评估。在这些互补的设置下，SFMamba-GAN 在评估的合成、跨数据集和真实雾霾条件下均取得了具有竞争力的恢复质量。值得注意的是，在 RS-NUHaze 数据集上，该方法达到了 42.3446 dB 的 PSNR，而在 RRSHID-277 上，它在对比方法中获得了最佳的 NIQE、BRISIQUE 和 PIQE 分数。

引言 在数字地球和智能感知时代，遥感（RS）技术已从单纯观测工具演变为全球信息基础设施的核心组成部分。作为获取地表信息的关键数据源，遥感图像在智能交通系统（ITS）[10], [23], [43]、农业调查、地质资源勘探 [32]、灾害应急响应和军事侦察 [15] 等领域发挥着不可替代的作用。

然而，光学遥感成像过程不可避免地受到大气干扰的影响。当太阳辐射穿过大气层到达地表并随后反射回传感器时，光子会与大气粒子发生复杂的吸收和散射相互作用。这种大气散射现象在图像中表现为雾霾，导致对比度显著退化、颜色饱和度衰减以及高频纹理细节严重丢失。与地面摄影不同，遥感图像以长成像距离和广覆盖为特征，导致雾霾分布呈现出高度非均匀和大尺度空间变化。此外，不同光谱波段受散射影响的程度不同，往往导致多光谱遥感数据出现光谱失真，严重损害了物体检测 [26] 和语义分割 [36] 等下游机器视觉任务的准确性。因此，遥感图像去雾不仅仅是提高视觉美观度的增强任务，更是恢复辐射保真度并确保后续应用性能的必需预处理步骤。尽管图像处理取得了显著进步，但在复杂、动态的遥感场景中高效且忠实地恢复图像清晰度和细微纹理细节，仍然是计算机视觉和遥感领域的一项艰巨挑战。

传统的图像去雾方法，如基于图像增强的方法，主要通过增加对比度来提高图像质量 [17]。代表性技术包括直方图均衡化 [9]、Retinex 算法 [33] 和同态滤波 [38]。后续方法主要依赖于物理先验 [1], [11], [58] 和大气散射模型 [29], [49]。然而，这些先验通常缺乏跨不同场景的泛化能力，并且经常出现常见的伪影，如去雾不完整和颜色失真。

随着大规模合成数据集的出现和深度学习的发展，主流去雾方法已转向设计复杂的卷积神经网络（CNNs）[20], [34], [50]。早期研究将 CNN 与大气散射模型相结合 [3], [18], [35]，或采用端到端方法直接学习从有雾到无雾图像的映射 [5], [25], [31]。尽管取得了这些重大进展，性能仍然受到限制。主要在于，基于 CNN 的方法本质上受限于其有限的感受野，使其在捕获数据中的全局依赖关系方面效率较低。Transformer 架构的多头注意力机制和并行处理能力能够有效地捕获特征图中的长程依赖关系，使其非常适合提取复杂、大规模遥感图像去雾中的特征。基于视觉 Transformer（ViT）的 Swin Transformer [27] 引入了移位窗口机制以促进相邻窗口之间的信息交换，利用块级计算将计算成本相对于输入大小线性化。最近，Transformer [4], [39] 及其变体被越来越多地应用于图像去雾，显著增强了整体图像结构的表征。然而，它们在恢复局部细节方面的功效仍然有限。

为了减轻像素级回归方法常引起的纹理过度平滑，生成对抗网络（GANs）被引入去雾任务 [6], [46]。通过引入判别器和对抗损失，GAN 可以生成具有增强真实感和更优高频纹理细节保留的输出。基于 GAN 的方法包括监督和半监督范式。为了解决配对真实数据的稀缺性，已提出了许多基于 CycleGAN [57] 的无监督去雾方法 [7], [44], [45], [55]。然而，GAN 训练以不稳定著称，且容易产生与真实特征不一致的虚假纹理，即“幻觉”。最近，作为强大生成范式出现的扩散模型 [37]，展现了超越 GAN 的生成质量，并已被应用于去雾。通过模拟渐进的加噪和去噪过程，它们在处理严重退化、浓雾图像时表现出优异的纹理恢复能力 [48], [51]。然而，固有局限性依然存在：扩散模型需要数百或数千次迭代采样步骤，导致推理速度过慢。此外，在处理复杂遥感场景时，它们在细节恢复方面容易出现随机性。扩散模型中噪声估计约束的使用往往忽略了图像级别的细化，可能向恢复图像中引入混乱内容和杂质。

视觉状态空间模型（SSMs），特别是基于 Mamba 的架构，通过选择性状态空间递归在长标记序列上传播信息。对于固定的状态和特征维度，选择性扫描操作随输入标记数量的增加呈线性扩展。MambaIR 将局部增强和通道注意力引入状态空间恢复主干 [8]，U-Mamba 在编码器 - 解码器架构中将卷积操作与 SSM 块相结合 [28]，而 EAMamba 为几种恢复任务开发了多头选择性扫描和全方位空间聚合 [22]。在遥感恢复中，RSDhamba 在 U 型去雾网络中使用方向感知的 SSM 扫描 [56]，Weamba 将局部增强 SSM 块与多路由空间扫描相结合用于去雾和去雨 [47]，而 SC-DehazeMamba 采用内容驱动的状态空间建模和尺度感知特征聚合 [30]。频率感知恢复方法通过不同的处理形式组织频谱信息。FreqMamba 集成了空间 Mamba、频带 Mamba 和傅里叶全局建模 [60]，而 FourierMamba 在傅里叶域进行状态空间建模用于图像去雨 [19]。WDMamba 将图像分解为小波子带，并按顺序执行基于 Mamba 的低频恢复和基于 CNN 的细节增强 [41]。对于遥感去雾，RSHazeDiff 在迭代扩散过程中嵌入了傅里叶感知细化 [48]，DMa-Diff 结合了双头 Mamba 去噪器和自适应频率滤波 [14]，而 BMFH-Net 通过双向调制集成了小波域 CNN 和 Transformer 表征 [40]。其他最近的公式通过预训练的大型多模态模型 [53] 或配对的 SAR 观测引入额外的先验 [54]。

上述方法定义了几个互补的设计方向，但它们的信息流与本工作中考虑的设定不同。空间域 SSM 和卷积 -SSM 架构，包括 MambaIR、U-Mamba、RSDhamba、Weamba 和 SC-DehazeMamba，主要通过局部增强、方向扫描、路由或尺度感知聚合来提高空间特征传播；从编码器输入到解码器重建并未显式保持多级频率观测。在频率感知方法中，FreqMamba 和 FourierMamba 在专用 Mamba 块内执行频谱交互，WDMamba 将低频和高频恢复安排为顺序子问题，而 RSHazeDiff 和 DMa-Diff 将频率先验纳入迭代扩散。BMFH-Net 在异质 CNN 和 Transformer 特征之间建立了小波域调制。这些处理形式将频率信息与特定块、顺序恢复阶段或迭代生成相关联，而不是将同一层级的频率观测通过频率匹配的并行编码器 - 解码器路径、渐进式解码器细化和针对性的训练目标进行路由。此外，由预训练大型多模态模型或 SAR 数据引导的方法引入了在单光学图像设置中不可用的辅助先验或额外感知模态。

因此，单图像遥感去雾需要一个信息流，在特征提取和重建过程中保持图像频率与特征分辨率之间的关系，同时共同表征精细的局部结构和长程空间上下文。它还需要对图像外观和与精细结构细节最密切相关的高频成分进行直接约束。SFMamba-GAN 通过将多级拉普拉斯分量路由到三个频率匹配的并行子编码器 - 解码器中，通过输入自适应的通道融合集成基于 MSFC 的卷积分支和双向 SSM 分支，在连续的解码器级别细化空间和频率表征，并在图像域和最高频拉普拉斯域中应用对抗监督，从而实现了这一公式。

因此，我们提出了 SFMamba-GAN，一个用于遥感图像去雾的层级空间 - 频域生成框架。拉普拉斯金字塔提供了固定的多尺度表示，而非新的变换：拉普拉斯层级频率解耦（LHFD）模块将其高频、中频和低频分量路由到三个频率匹配的并行子编码器 - 解码器中。然后，双分支空间 - 频域 Mamba（DBFM）模块使用卷积分支提取局部结构特征，使用双向 SSM 分支传播长程上下文信息；输入自适应的通道融合集成其输出。在解码过程中，空间 - 频域自适应融合机制（SFAFM）通过空间 - 频域交互反复细化跳跃连接和解码器特征。双域对抗判别器（DDAD）约束重建图像及其最高频拉普拉斯分量。这些模块形成了一个连续的信息路径，从层级频率观测和局部 - 上下文特征提取到渐进式重建和双域监督。

此外，自然图像去雾和遥感图像去雾之间存在显著差异：首先，遥感图像在高空拍摄，包含土地覆盖、植被和城市结构丰富的细尺度纹理细节。其次，由于遥感图像中场景深度的恒定性，用于自然图像的大气散射模型通常不适用 [52]。第三，遥感图像通常跨多个波段采集，需要恢复光谱特性，特别是对于多光谱或高光谱数据。第四，与自然图像数据集相比，由于采集成本高，遥感去雾数据集有限；因此，基于雾霾形成的物理机制构建大规模遥感雾霾数据集具有重要意义。

因此，我们构建了 RS-NUHaze，一个用于非均匀遥感图像去雾的物理基础配对数据集。本工作的主要贡献总结如下：
• 层级空间 - 频域去雾框架：我们开发了 SFMamba-GAN 作为一个连续的信息路径，从多级频率观测到渐进式重建和双域监督。使用既有的拉普拉斯分解作为固定表示：LHFD 将结果分量路由到三个频率匹配的并行子编码器 - 解码器中，SFAFM 在连续的解码器级别重新引入空间 - 频域交互。
• 频率条件局部 - 上下文特征表征：我们开发了具有基于 MSFC 的卷积分支和双向 SSM 分支的 DBFM。在 LHFD 提供的层级特征上运行，两个分支分别表征局部结构和长程空间上下文，并通过输入自适应的通道融合结合残差学习来集成其输出。
• 渐进式空间 - 频域重建和双域监督：我们引入了 SFAFM 通过反复的空间 - 频域交互来细化跳跃连接和解码器特征。DDAD 对重建图像和最高频拉普拉斯分量应用互补的对抗约束，在训练期间将感知图像形成与精细结构恢复联系起来。
• 综合遥感评估：我们构建了用于评估非均匀雾霾恢复的 RS-NUHaze 数据集，并在配对、跨数据集和真实世界无参考基准上进行了大量实验。评估包括恢复精度、感知质量、计算成本、组件消融和下游语义检索。

章节片段
相关工作
图像去雾，被认为是计算机视觉中的一个基本逆问题，在其发展历史中见证了深刻的变革——从基于物理模型的先验驱动方法演变为由大规模数据集驱动的数据驱动方法。为了解决遥感图像固有的独特特征——具体而言是大视场、丰富的纹理细节和非均匀雾霾分布—— researchers 提出了多种多样的方法。

方法
本节首先概述了所提出的框架 SFMamba-GAN。随后，我们详细介绍了四个核心组件，旨在从物理机制到特征表征全面增强去雾性能：(1) 拉普拉斯层级频率解耦（LHFD）；(2) 双分支空间 - 频域 Mamba（DBFM）；(3) 空间 - 频域自适应融合机制（SFAFM）；以及 (4) 双域对抗判别器（DDAD）。

最后，我们阐述了损失函数。实验部分：在本节中，我们首先介绍实验设置，然后进行大量实验以证明所提出方法的有效性，最后对所提出的方法进行详细的消融分析。结论：本文提出了SFMamba-GAN，这是一个空间-频率协同框架，集成了混合状态空间建模、分层频率解耦、自适应双域融合和对抗监督，用于遥感图像去雾。通过从空间和频率域分解雾霾退化，所提方法有效地解决了遥感图像中的非均匀大气干扰、纹理衰减和结构失真问题。实验在……上进行了验证。局限性与未来工作：仍存在几项局限性。首先，SFMamba-GAN是一个以质量为导向的恢复框架，而非超轻量级模型。并行的卷积路径和双向状态空间路径，以及基于FFT的空间-频率融合，增加了其推理成本，而DDAD仅在训练阶段引入额外开销。其次，当前的实验结合了成对合成评估、在薄云和轻雾退化条件下的RICE1跨数据集测试、以及零样本……CRediT作者贡献声明：Wang Guoying：审阅与编辑，可视化，监督，资源获取，项目管理，调查研究，形式化分析，数据整理，概念构思。Zhang Heshuai：撰写原稿，验证，软件，方法论，调查研究，形式化分析，数据整理，概念构思。Mo Lufeng：监督，方法论，资金获取。Yi Xiaomei：可视化，方法论，调查研究，形式化分析。Wu Peng：可视化，方法论，调查研究。利益冲突声明：作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。致谢：本研究由中央引导地方科技发展专项资金（项目编号：2025ZY01088）资助。Zhang Heshuai是浙江农林大学人工智能学院电子信息专业的硕士研究生，于2024年获得淮安学院理学学士学位。其研究方向包括图像生成技术和遥感图像恢复模型。Wang Guoying | Zhang Heshuai | Mo Lufeng | Yi Xiaomei | Wu Peng，浙江农林大学数学与计算机科学学院，中国杭州，311300。