UWVNet：一种用于全色锐化的 U 型小波-VMamba 网络

《Neurocomputing》：UWVNet: A U-shaped wavelet-VMamba network for pansharpening

　　

摘要

全色锐化旨在通过注入全色 (PAN) 图像中的高分辨率空间细节来重建高分辨率多光谱图像 (HRMS)，同时保持多光谱 (MS) 的光谱保真度。现有方法通常面临耦合的退化链：长程跨模态建模不足削弱了结构对齐，高频信息在特征传输过程中逐渐衰减，固定的融合行为限制了在不同场景下的适应性，导致纹理丢失和光谱失真。为此，我们提出了一种 U-小波增强 VMamba 全色锐化网络 (UWVNet)，结合了小波域频域分解和状态空间模型的高效全局上下文建模。UWVNet 包含频域分解块 (FDB) 和频域更新块 (FUB)：FDB 利用小波变换对输入特征进行基于频带的分解，实现低频结构信息和高频细节信息的分层表示和交互建模，而 FUB 在低频引导下进行跨模态特征更新和自适应高频重建。在这个渐进式流程中，首先稳定低频结构，然后细化细节传输，最后完成跨子带协调以忠实重建 HRMS。在多个卫星数据集上的实验表明，UWVNet 取得了具有竞争力且均衡的性能，在大多数评估设置中具有良好的纹理重建和光谱保持能力。

引言

高分辨率多光谱 (HRMS) 图像在土地覆盖分类、环境监测 [1] 和农业发展 [2] 等应用中具有重要价值，因为它们既提供了丰富的光谱信息，又提供了精细的空间细节。然而，由于硬件限制，大多数地球观测卫星将传感器功能分离。全色 (PAN) 传感器捕获具有高空间分辨率但仅有一个宽光谱带的图像，而多光谱 (MS) 传感器以较低的空间分辨率捕获多个光谱带。全色锐化是一种多源遥感图像融合方法，结合 PAN 和 MS 图像的互补信息以产生 HRMS 图像，支持准确和全面的地球观测。目前，该领域主要有两种方法。

早期的全色锐化方法主要依赖手工设计的先验和融合规则，如分量替换、多分辨率分析和变分优化 [3], [4], [5]。这些方法通常具有可解释性，但人工设计的表示往往不足以建模 PAN 和 MS 图像之间的非线性关系，特别是在需要仔细平衡空间细节注入和光谱保真度的复杂场景中。因此，深度学习已成为主导范式。自从 PNN [6] 首次将神经网络引入全色锐化以来，各种架构，包括 GANs [7], [8]、Transformers [9], [10] 和基于 Mamba 的模型 [11], [12]，已被开发用于改进 HRMS 重建。此外，空间数据增强已被探索以增强跨传感器和全分辨率的泛化能力 [13]。

尽管取得了这些进展，现有的深度模型仍面临两个主要局限性。首先，以卷积为主的方法在局部细节提取方面有效，但在长程跨模态依赖建模方面仍然有限。例如，TDNet [14] 采用三卷积设计来捕获 PAN 细节，但其建模范围仍然主要是局部的。基于 Transformer 的方法改善了全局交互，但其二次复杂度为高分辨率遥感图像带来了高昂的计算和内存开销；因此，Panformer [15] 比 GPPNN [16] 和 MSDCNN [17] 等卷积方法需要多得多的参数。其次，许多空间域融合管道缺乏对高频细节传输的显式调节。CANConv [18] 引入了非局部自适应卷积，但其基于均值的聚类和多层传播可能仍然削弱细节。CSLP [19] 通过压缩感知和残差卷积注意力抑制失真，而大核过采样可能限制细节恢复。这些观察表明，仅靠空间域建模不足以同时保持高频结构和光谱保真度。

SFINet [20] 将傅里叶变换引入频域全色锐化，但全局傅里叶基缺乏空间局部性，使得细粒度的空间 - 频率交互不够直接。相比之下，离散小波变换 (DWT) [21] 提供了空间局部化和频域分解，为边缘和纹理感知处理提供了更合适的表示。基于小波的深度模型在图像超分辨率 [22] 和去噪 [23] 中已显示出有效性，但在全色锐化中的潜力仍未得到充分探索。最近的研究进一步表明，性能瓶颈不仅与频域表示有关，还与跨模态融合设计有关：过于简单的融合操作和不足的跨深度交互可能仍然降低场景细节一致性和光谱保持能力 [24], [25]。

频域分解可以暴露局部的低频和高频分量，但它没有显式建模跨模态对齐所需的长程空间依赖。因此，需要全局上下文建模来补充频域表示，特别是在异质 PAN-MS 光谱响应下。与 Transformers 相比，状态空间模型以线性复杂度提供长程依赖建模，使其更适合高分辨率遥感图像的可扩展性。与标准的 1D Mamba 扫描相比，VMamba 的 SS2D 机制通过四方向扫描保留了二维邻域结构，避免了过度的结构展平，使其与自然兼容 DWT 方向子带。在这个框架中，DWT 处理局部频域分离和方向细节提取，而 VMamba 协调子带和空间区域之间的长程结构依赖。它们的互补性促使了一种统一的小波 -VMamba 设计，以联合优化结构对齐、光谱一致性和细节重建。

基于上述分析，我们提出了 UWVNet，一种在频域进行跨模态融合的 U 型全色锐化网络。核心思想是将重建组织为一个渐进的频域感知过程：首先建立可靠的低频结构/光谱基础，然后以受控方式注入高频细节，最后自适应协调子带信息以重建 HRMS。为了实现这一过程，UWVNet 采用了对称的编码器 - 解码器架构，并由两个组件构建：频域分解块 (FDB) 和频域更新块 (FUB)。FDB 执行分层低/高频分解和表示学习，而 FUB 在结构引导下进行跨模态特征更新和自适应高频细化。通过这种设计，UWVNet 在统一框架内共同提高了细节恢复和光谱一致性。总之，本文的主要贡献如下：

• (1)
  我们提出了 UWVNet，一种小波 -VMamba U 型框架，将全色锐化制定为一个有序的小波域更新过程，其中低频分量支持结构 - 光谱锚定，高频分量支持受控的 PAN 细节传输。
• (2)
  我们引入了一种协调的频域更新策略，其中 LFMB、基于 GradGate/WCA 的 HFEB 和 FGSF 被组织为遵循低频锚定、方向感知细节注入和自适应方向子带协调的顺序。
• (3)
  我们在 WorldView-III、QuickBird 和 GaoFen-2 数据集上进行了广泛评估，涵盖降采样和全分辨率设置，并提供了定量、消融和机制级可视化证据，表明在评估的全色锐化协议下，纹理重建和光谱保真度具有竞争力。

章节片段

全色锐化方法

传统方法基于手工设计的先验和显式融合规则融合 PAN 和 MS 图像，通常具有可解释性。它们通常被分为分量替换 (CS)、多分辨率分析 (MRA) 和变分优化 (VO)。CS 方法，如 Brovey [26], IHS [5], PCA [4] 和 GS [3]，用 PAN 细节替换从 MS 投影得出的空间分量，而 MRA 方法注入从多分辨率 PAN 分解中提取的细节，如小波

方法

本节介绍了提出的小波域融合网络 UWVNet。我们首先概述小波变换的基本原理及其在频域分解中的作用。然后我们描述 UWVNet 的整体架构。该网络以 FDB 和 FUB 为中心，在频域中建模低频结构并恢复高频细节。最后，我们提供每个组件的实现细节并解释它们在全色锐化中的作用。

实验

为了验证我们提出方法的有效性，我们在三个数据集上进行了一系列实验，分为全分辨率和降采样数据集，并将我们的结果与几种 SOTA 全色锐化方法进行了比较。

结论

在本文中，我们提出了 UWVNet，一种 U 型小波增强全色锐化网络，在渐进式融合管道中统一了低频结构建模和高频细节重建。通过将小波域分解与选择性状态空间全局上下文建模相结合，并引入方向感知高频更新和自适应子带协调，UWVNet 提高了跨模态融合期间的结构 - 光谱一致性。在 QuickBird,

CRediT 作者贡献声明

吕凯：写作 – 审查与编辑，写作 – 原始草案，可视化，方法论。叶霞：写作 – 审查与编辑。傅玉博：写作 – 审查与编辑。王一新：写作 – 审查与编辑。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能影响本论文报告的工作。

吕凯获得中国西安火箭工程大学学士学位。他目前正在同一大学攻读硕士学位。他的研究兴趣包括遥感图像融合、遥感目标检测和少样本学习。

吕凯 | 叶霞 | 傅玉博 | 王一新

火箭工程大学，中国陕西省西安市 710025