基于卫星特定先验与图像自适应先验的统一超分辨率深度展开方法

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Deep unrolling for unified pansharpening with satellite-specific and image-adaptive priors

　　摘要：全景锐化是将低分辨率多光谱图像与高分辨率全色图像融合为高分辨率多光谱图像的任务，这一过程对于提升卫星图像的空间与光谱利用率至关重要。尽管基于深度学习的方法已取得显著成果，但大多数方法都是针对每组卫星数据单独训练的。这种“每颗卫星一个模型”的模式严重限制了实际应用，而直接在混合多传感器数据上训练单一模型则常常导致特征过度纠缠，使得模型缺乏物理可解释性。为解决这一问题，我们提出了UP-PAN（统一且符合物理原理的全景锐化）这一基于深度展开技术的新型框架，专为多卫星统一全景锐化设计。该方法将统一全景锐化任务置于最大后验概率框架下建模，同时考虑空间与光谱观测约束。为避免特征纠缠，我们明确将复杂的多传感器先验分解为特定于卫星的先验和适应图像的先验。其中，特定于卫星的先验通过离散码本机制编码，以从不同高分辨率多光谱数据中提取高质量先验；而适应图像的先验则借助由光谱与空间提示引导的近端网络，来精细处理连续的空间细节。我们在四种广泛使用的卫星数据集上进行了大规模实验，结果表明，经过统一训练的单一UP-PAN模型在所有测试指标上均达到最先进水平，其性能优于或可与针对单颗卫星训练的模型相媲美。相关代码已公开发布。

引言：近年来，遥感技术的发展极大地拓展了其在环境保护、农业以及城市规划等多个领域的应用。IKONOS、QuickBird、WorldView系列以及高分卫星等均配备了专用传感器，用于采集地球观测数据。然而，由于硬件本身的限制，这些传感器在光谱分辨率与空间分辨率之间存在着根本性的权衡。因此，卫星通常会获取高分辨率全色图像与低分辨率多光谱图像。为满足对兼具丰富光谱信息与精细空间细节的图像的需求，人们开发了全景锐化技术，通过融合低分辨率多光谱图像与全色图像来生成高分辨率多光谱图像。现有的全景锐化方法大致可分为传统方法与基于深度学习的方法两类。传统方法虽具有物理可解释性，但其性能往往受限于人工设计的先验条件；而基于数据的深度学习方法则凭借强大的非线性拟合能力取得了优异性能。不过，传统深度学习模型的主要缺陷在于其“黑箱”特性，缺乏透明度与物理约束。为解决这一问题，近期出现了深度展开技术，该技术将物理观测模型嵌入网络架构中，从而结合优化算法的可解释性与深度学习的强大学习能力。尽管在架构层面取得了进展，但全景锐化领域仍存在一个关键的部署瓶颈，即“每颗卫星一个模型”的模式。由于卫星平台种类繁多，不同数据集之间存在显著差异，表现为不同的空间分辨率、光谱通道配置以及传感器特有的噪声特征。因此，目前大多数基于深度学习与深度展开的技术都必须为每颗卫星单独进行训练与维护。这种模式不仅增加了部署复杂性及模型管理成本，尤其是当卫星传感器的数量持续增加时更为明显。近期，有人尝试开发统一模型以减轻这一负担。例如，TMDiff方法采用了文本调制的3D U-Net结构来处理多颗卫星的数据，但这类方法往往存在过高的计算开销（如TMDiff含有约1.54亿个参数），且依然属于缺乏物理约束的黑箱模型。此外，直接在混合多传感器数据集上训练现有架构，往往会导致特征严重纠缠，使得网络无法区分通用的空间模式与特定于传感器的光谱特征。因此，开发一种计算效率高、具备物理可解释性且能处理多颗卫星传感器的统一模型，依然是一项艰巨的任务。在本文中，我们提出了一种基于深度展开技术的统一全景锐化框架——UP-PAN，旨在解决上述问题。具体而言，我们基于高分辨率多光谱图像的物理观测模型，分别构建了考虑空间退化与光谱退化的两个似然函数。为避免不同类型数据集之间的特征纠缠，我们将先验概率明确分解为两种独立成分：特定于卫星的先验与适应图像的先验。基于最大后验概率估计框架，我们为统一全景锐化推导出了能量函数，并将其优化步骤转化为可学习的神经网络架构。为同时处理来自不同卫星、具有不同特征的图像，受Li等人（2026）的启发，我们设计了波长自适应卷积生成模块，用于生成动态核函数，以近似观测模型中的退化算子。特定于卫星的先验则通过预训练的码本学习网络获得，该网络能够学习通用代码与特定代码，从而从不同卫星的高分辨率多光谱图像中提取高质量先验；而对于适应图像的先验，我们则设计了由可学习通道与空间提示引导的近端网络。我们在四种广泛使用的卫星数据集上同步对UP-PAN模型进行了训练与评估。实验结果表明，所提出的UP-PAN模型在所有数据集上均实现了最先进的全景锐化性能，其表现可与为单颗卫星单独训练的现有模型相媲美甚至更优。综上所述，本文的主要创新贡献如下：•基于分离先验的统一最大后验概率框架：我们通过最大后验概率框架对统一全景锐化任务进行建模，以此解决多传感器特征纠缠问题。通过明确分离特定于卫星的先验与适应图像的先验，我们为一体化全景锐化提供了坚实的数学基础。•码本驱动的特定于卫星的先验：针对特定于卫星的先验，我们设计了一种新颖的预训练码本学习网络，该网络能够学习通用代码与特定代码，从而有效从不同卫星的高分辨率多光谱数据中提取高质量、具有卫星特性的先验。•提示引导的适应图像的先验：对于适应图像的先验，我们设计了由可学习通道与空间提示引导的近端网络，从而使模型能够针对每张输入图像的自适应地捕捉连续的空间结构与光谱特征。

相关研究：全景锐化方法大致可分为传统方法与基于学习的方法两类。传统方法包括组分替换法、多分辨率分析法以及变分优化法。尽管这些方法计算效率较高，但往往依赖于简化的线性假设，从而导致光谱或空间信息失真。我们的工作则基于更为先进的深度学习与深度展开技术展开研究。

方法部分首先定义了文中使用的各种符号，随后阐述了我们所设计的统一全景锐化模型。设目标高分辨率多光谱图像为Z∈RH×W×B，其中H与W分别为图像的空间维度，B为光谱通道数；观测到的低分辨率多光谱图像记为X∈RHu×Wu×B，全色图像则记为Y∈RH×W×1，其中u为低分辨率多光谱图像与全色图像之间的比例因子。高分辨率多光谱图像与全色图像具有相同的空间分辨率。

实验设置：为评估所提出的UP-PAN框架的有效性，我们使用了来自四种卫星平台的图像数据，分别是GF-1、QB、WV-2以及WV-4（Meng等人，2020）。GF-1、QB和WV-4卫星获取的多光谱图像包含四个光谱通道，而WV-2卫星的图像则包含八个光谱通道。按照Wald的预处理流程（Wald，2002），我们对全色图像与多光谱图像都进行了4倍的下采样，从而得到用于训练与评估的数据集。以下是该数据集的相关特征总结。

对两个近端网络的分析：为评估ProxNet-U与ProxNet-Z这两个核心组件的作用，我们设计了五种不同的模型变体。基于PSNR指标得出的降分辨率对比结果汇总于表7中。首先，我们分析了ProxNet-U的影响。由于在标准的单数据集全景锐化任务中，单个图像先验往往就已足够，因此在配置I与配置II中，我们完全去掉了ProxNet-U；而在配置II中，我们用参数量相近的基于ResNet的先验模块替代了它。

结论与局限性：在本文中，我们提出了一种基于深度展开技术的统一全景锐化框架，命名为UP-PAN。该方法通过基于高分辨率多光谱图像的物理观测模型构建两个似然函数，并结合特定于卫星的先验与适应图像的先验，将全景锐化任务置于最大后验概率框架下进行建模。特定于卫星的先验则由预训练的码本学习网络提供，该网络能够捕获相关特征。

作者贡献声明：王婷婷负责文章的写作与编辑、初稿撰写、验证工作，以及方法论设计与资金申请；陈俊杰负责初稿撰写、可视化处理及验证工作；严秋海负责可视化处理、验证工作以及概念构思；杨孙哲负责方法论设计与数据整理工作；张俊康负责文章的写作与编辑、概念构思以及整体监督工作；方发明负责监督工作与方法论设计；张贵绪负责监督工作与资金申请工作。

关于写作过程中生成式人工智能与人工智能辅助技术的声明：我们承认在润色本文的英文表达时使用了人工智能辅助写作工具，具体为ChatGPT。作者们在使用这些工具后对内容进行了审核与修改，并对最终发表的内容承担全部责任。

利益冲突声明：作者们声明自己不存在任何可能影响本文研究工作的已知财务利益关系或个人关系。

致谢：本研究部分得到了国家自然科学基金（项目编号62271203、62272173）、南京邮电大学人才引进自然科学研究启动基金（项目编号XK0070925087）、华东师范大学多维信息处理重点实验室（项目编号MIP202603）以及中央高校基本科研业务费的支持。

作者名单：王婷婷|陈俊杰|严秋海|杨孙哲|张俊康|方发明|张贵绪
单位：华东师范大学计算机科学与技术学院，中国上海200062