一种新型全色锐化(Pansharpening)方法：当多尺度自适应注意力(Multiscale Adaptive Attention)遇上双增强网络(Dual Enhanced Networks)与低秩张量分解(Low-Rank Tensor Decomposition, LRTD)

《International Journal of Digital Earth》：A novel pansharpening: when multiscale adaptive attention meets dual enhanced networks and low-rank tensor decomposition

　　

深度学习(Deep Learning, DL)已在遥感图像全色锐化(pansharpening)中取得先进成果，然而现有基于DL的方法仍存在特征提取不完整及信息融合不充分等缺陷。对此，研究人员提出了一种协同双增强网络与低秩张量分解(Low-Rank Tensor Decomposition, LRTD)的多尺度自适应注意力全色锐化网络。首先，设计双增强网络：光谱?空间变换网络(Spectral–Spatial Transformation Network, SST?Net)从低空间分辨率多光谱(Low?Resolution Multispectral, LRMS)图像学习光谱信息并从全色(Panchromatic, PAN)图像学习空间信息；多尺度混合注意力网络(Multiscale Hybrid Attention Network, MHA?Net)从多尺度视角学习全局与局部细节。其次，为进一步从细节映射(detail mapping)中提取光谱信息，采用低秩张量分解将细节映射分解为低秩部分（对应光谱信息）与稀疏部分（增强空间信息）。最后，生成残差信息时采用多尺度自适应注意力网络(Multiscale Adaptive Attention Network, MAA?Net)为主干，有效融合空间与光谱信息。实验在三个公开全色锐化数据集上进行，结果表明所提方法优于传统方法及基于DL的全色锐化方法。

论文解读：《A novel pansharpening: when multiscale adaptive attention meets dual enhanced networks and low-rank tensor decomposition》（发表于 International Journal of Digital Earth）

一、研究背景与意义

遥感光学卫星同时获取高空间分辨率全色(PAN)图像与高光谱分辨率但低空间分辨率多光谱(LRMS)图像，全色锐化(Pansharpening)旨在融合二者生成高分辨率多光谱(HRMS)图像。传统方法如分量替代(Component Substitution, CS)、多分辨率分析(Multiresolution Analysis, MRA)依赖先验知识且无法自学习关键信息；现有深度学习(Deep Learning, DL)方法——卷积神经网络(Convolutional Neural Network, CNN)、生成对抗网络(Generative Adversarial Network, GAN)、Transformer、可逆神经网络(Invertible Neural Network, INN)——分别受限于感受野、鲁棒性、需Ground Truth标签及体积约束，普遍存在单尺度、空?谱信息提取与融合不足、特征表示不完整等问题。为在无真值标签的非监督框架下克服上述局限，研究人员提出ADLP?Net（多尺度自适应注意力结合双增强网络与低秩张量分解的全色锐化网络），以提升HRMS图像的空间纹理清晰度与光谱保真度。

二、主要关键技术方法

研究人员采用WorldView?3（8波段MS/4倍尺度）、QuickBird（4波段MS/4倍尺度）及GaoFen?2（4波段MS/4倍尺度）公开数据集，按标准划分训练/验证/测试集并裁剪。方法核心为：①预训练双增强网络——SST?Net以LRMS为输入学LRMS至下采样PAN映射（Loss?1为Frobenius范数约束），MHA?Net以经双线性插值上采样的LRMS与降采样PAN为输入学重构LRMS（Loss?2为Frobenius范数约束）；②对上采样LRMS与复制PAN之差取绝对值得细节映射 I_detail，用Canonical Polyadic Decomposition (CP分解)做低秩张量分解(LRTD)，分离低秩分量 I_low?rank（光谱）与稀疏分量 I_sparse（空间）；③低秩分量与基映射 I_base（上采样LRMS）入光谱融合块(Spectral Fusion Block, SFB)得初估HRMS；④MAA?Net以MHA?Net初输出与 I_sparse为双输入，通过含可学习网络 α、β、γ 的自适应注意力块(AA?Block)及Haar小波上/下采样提取残差，加至SFB输出得最终HRMS；⑤总损失为谱损失 L_spectral（下采样HRMS vs 原始LRMS + 1?CC）与空损失 L_spatial（预训练SST?Net压缩HRMS vs PAN + 1?CC）加权和。

三、研究结果

4.1 Dataset introduction

使用WV?3、QB、GF?2三公开数据集，含降分辨率（有参考HRMS）与全分辨率（无参考）子集，介绍了各传感器PAN/LRMS空间分辨率、辐射分辨率及波段数。

4.2 Experimental setup and evaluation indicators

硬件为Xeon Silver 4210R + RTX 5000，超参 η=μ=0.5，学习率1e?4，epoch=1200，优化器Adam。降分辨率指标：相关系数(Correlation Coefficient, CC)、相对无量纲全局合成误差(Ergas)、结构相似性(Structural Similarity Index Measure, SSIM)、特征相似性(FStructural SIMilarity, FSIM)、均方根误差(Root Mean Squared Error, RMSE)、光谱角制图(Spectral Angle Mapper, SAM)、峰值信噪比(Peak Signal?to?Noise Ratio, PSNR)；全分辨率指标：无参考质量(Quality with No Reference, QNR)、光谱畸变 D_λ、空间畸变 D_s。

4.3 Experimental results

在WV?3、QB、GF?2降分辨率测试中ADLP?Net于SAM、ERGAS、SSIM、FSIM、CC、QNR、RMSE上均最优，较PSDNet与DCINN有显著提升（如WV?3 SAM改善0.103、ERGAS 0.083）；全分辨率QNR亦最优。可视化显示传统方法及部分DL方法存在光谱失真与空间模糊，ADLP?Net结果最接近真实HRMS且残差最小。配对样本t检验证实指标显著优于对比DL方法(p<0.05)。

4.4 Ablation experiments and analysis

去除SST?Net与MHA?Net的基线加入二者任一个或组合，双增强使SAM最大改善0.616(WV?3)、CC升0.018，MHA?Net略优于SST?Net。去除MAA?Net与LRTD的基线加入二者任一个或组合，联合使用使SAM最大改善0.798(WV?3)、CC升0.023。表明双增强网络、LRTD及MAA?Net均对性能有正向贡献。

4.5 Analysis of the parameter quantity and operational efficiency of network models

ADLP?Net参数量略高于PanNet/GPPNN/LPPN但推理速度快于三者，平均单图测试时间0.0410 s，仅次于部分轻量网络；PSNR优于所有对比方法，综合性能占优。

四、讨论与结论

研究人员得出结论：所提ADLP?Net可在无Ground Truth标签下有效学习PAN与LRMS图像的空?谱信息；SST?Net建立LRMS与PAN映射关系，MHA?Net捕获多尺度全局?局部特征，LRTD分离细节映射中的光谱（低秩）与空间（稀疏）成分以增强可解释性，MAA?Net通过自适应注意力生成高质量残差映射。三数据集实验验证了算法优越性，可生成更逼真高质量的HRMS图像。局限性在于模型需针对不同空间分辨率重训练，未来将探索适用于多卫星遥感图像的大模型及更具解释性与鲁棒性的DL全色锐化网络。