用于高光谱图像超分辨率的动态深度子空间残差正则化器

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Dynamic Deep Subspace Residual Regularizer for Hyperspectral Image Super-Resolution

　　•手工设计的先验在残差子空间域中能提供更强的约束条件。•具有动态输入的深度先验能更好地引导子空间中的图像超分辨率处理。•通过神经残差连接，显式与隐式先验可得到有效融合。

引言
高分辨率高光谱图像因其同时具备丰富的空间信息和光谱特性，在遥感Huang等人[1]、医学诊断Wang等人[3]以及农业生产Guerri等人[4]等诸多领域有着广泛的应用。由于光学成像系统本质上需要在空间分辨率和光谱分辨率之间进行权衡Dian等人[5]，因此，将高分辨率多光谱图像与低分辨率高光谱图像相结合的高光谱图像超分辨率技术Yan等人[6]成为了获取高分辨率高光谱图像的关键方法，如图1所示。将高分辨率多光谱图像和低分辨率高光谱图像分别记为Z和Y，我们可以建立如下高光谱图像超分辨率的数学模型：
Z=RXY=XBS
其中，X∈RL×HW，Y∈RL×hw，Z∈Rl×HW分别代表高分辨率高光谱图像、低分辨率高光谱图像以及高分辨率多光谱图像对应的三维张量的二维表示。矩阵R∈Rl×L表示高分辨率多光谱图像的光谱响应函数，模糊矩阵B∈RHW×HW则由点扩散函数核构成，而S∈RHW×hw则表示空间下采样运算符。这两个矩阵共同作用，用于模拟图像的空间退化过程。l和L分别表示光谱带的数量，h、w以及H、W则表示图像的高度和宽度，且满足l???L、h???H、w???W的关系。

目前，高光谱图像超分辨率任务的主流解决方案可分为两类：基于模型的方法和基于深度学习的方法。基于模型的方法是以数学理论为基础构建求解框架的，这类方法采用了矩阵分解技术Han等人[7]、Liu等人[8]、Chen等人[9]，以及张量表示技术Xu等人[10]、Li等人[11]、Ye等人[12]、Fu等人[13]，这些方法都具有明确的物理意义和较强的可解释性。然而，高光谱图像超分辨率问题本质上属于典型的欠定反问题，需要估计的高光谱参数数量远远超过观测方程的数量，因此仅凭观测数据无法得到唯一解。于是，基于模型的方法不得不依赖人为引入先验信息Liu等人[8]、Yuan等人[14]，以此实现高分辨率高光谱图像的有效重建，而其性能则很大程度上取决于手工设计先验的合理性与适应性。此外，模型中各超参数的配置会直接影响求解过程的收敛性以及最终重建结果的质量，这就需要大量的实验调优，进而增加了算法设计与优化的复杂性。

基于深度学习的方法则主要分为监督学习和无监督学习两类。监督学习方法Hu等人[15]、Jia等人[16]、Dong等人[17]、Ma等人[18]、Xu等人[19]、Fu等人[20]、Xiao等人[21]通过精心设计复杂的网络架构，并构建大规模的高质量配对数据集，包括低分辨率高光谱图像、高分辨率多光谱图像以及对应的高分辨率高光谱图像，从而获得具备端到端映射能力的超分辨率网络。尽管这类方法在高光谱图像超分辨率任务中取得了显著成果，但由于深度网络架构的“黑箱”特性，其内部特征提取与变换机制难以直观分析，导致模型的可解释性明显不足。为突破这一局限，后续研究提出了深度展开网络Sun等人[22]，该网络将深度学习与传统优化方法相结合，通过将迭代优化过程嵌入网络结构，一定程度上提升了模型的可解释性。不过，高质量配对数据集的构建依然是制约监督学习方法发展的关键瓶颈。

无监督学习方法Zhang等人[23]、Li等人[24]、[25]、[26]、[27]由于无需额外的训练数据，逐渐成为研究热点。这类方法的核心思路是利用具有强大特征提取能力的生成型神经网络，将输入图像重构为目标图像。其中，深度图像先验DIP Ulyanov等人[28]就是典型的代表。DIP以随机噪声图像作为输入，基于模拟的退化过程设计损失函数来重构目标图像。但由于随机噪声缺乏图像本身的语义信息，DIP的重建质量完全取决于网络架构的设计以及模拟退化模型的准确性，而忽视了输入数据在重建过程中的约束作用。这一局限性严重限制了DIP的实际应用潜力。本文将重点研究DIP的输入机制，以此提升其在高光谱图像超分辨率任务中的应用效果。

作为图像先验，DIP近年来已被广泛应用于图像去噪等低级视觉任务中Sidorov和Yngve Hardeberg [29]，其数学表达式为：
θ*=argminθΦ(fθ(e),y)
其中，y表示观测数据，Φ表示与任务相关的项，e为随机噪声输入，fθ是由θ参数化的未经训练的神经网络，所需的重建结果则为X*=fθ*(e)。Alkhouri等人的研究[30]表明，在DIP框架中使用动态输入而非随机噪声能够实现更好的图像恢复效果。为此，Alkhouri等人通过构建DIP序列实现了动态网络输入；Liu等人[31]则在迭代过程中通过最小化DIP输入与目标图像之间的欧几里得距离来更新DIP输入；Li等人[32]则设计了深度随机投影器，将DIP输入的随机性传递给网络参数，从而优化输入以用于图像去噪。上述所有研究都通过在DIP迭代过程中利用动态输入机制，有效地指导了图像恢复过程。不过，这些研究都是基于原始数据进行的，而基于空间卷积的网络架构无法捕捉其中的光谱维度信息。对于高光谱图像超分辨率任务而言，直接使用原始高光谱数据作为动态输入仍会引入大量冗余的光谱变量，这可能会降低输入在优化过程中的引导效率。相比之下，高光谱图像通常具有很强的光谱冗余性和低秩光谱相关性，因此光谱子空间是一种更为紧凑且适合用于动态输入优化的表示域。最近，我们注意到Shi等人[33]将DIP引入光谱子空间，利用光谱的低秩特性进行高光谱图像去噪，但他们的方法以观测数据作为输入，没有考虑DIP的动态输入机制。受此启发，我们认为将DIP的动态输入机制从原始数据域扩展到光谱子空间，更适用于高光谱图像超分辨率任务。具体而言，光谱子空间分解可以通过光谱基和相应的表示系数来表示高光谱图像，这些系数能够在保留主要空间结构的同时减少冗余的光谱变化。这样的系数与基于空间卷积的DIP网络兼容，能够在超分辨率过程中提供更为紧凑的空间-光谱引导。因此，动态更新子空间系数能够让网络输入朝着更具信息量和任务适应性的表示方向发展，而非依赖于固定的随机噪声或原始数据域中的冗余变量。换言之，将此类机制引入光谱子空间能够更有效地指导图像恢复，进而提升图像恢复的质量。

此外，在DIP框架中，通常还会施加显式约束，以便从数据的角度利用其内在的结构信息，其表达式为：
θ*=argminθΦ(fθ(e),y)+λψ(fθ(e))
其中，ψ表示显式约束，如总变分约束TV，λ为正则化系数。虽然这种方法能够利用数据的内在结构先验，但相同数据的不同表示形式下，显式约束的严格程度会有所差异。如图2(a)和(b)所示，我们展示了PaviaU数据集在原始数据域和子空间域中的平滑性及低秩特性，直方图和奇异值曲线分别对应总变分约束和低秩约束。可以看出，子空间系数具有更强的平滑性和低秩特性。因此，当将DIP的动态输入机制扩展到子空间域时，如何利用更强的内在结构先验来提升图像恢复质量，也是本文要解决的另一关键问题。

基于上述动机，为充分利用DIP的动态输入机制来有效引导超分辨率过程，本文提出了一种动态深度子空间框架DSF，该框架将DIP的动态输入机制从原始数据域扩展到了光谱子空间。与基于原始数据域的输入相比，子空间域的动态输入能为超分辨率重建过程提供更为紧凑且信息量更高的引导，从而提升高光谱图像超分辨率任务的性能。此外，本文还在DSF中提出了动态深度子空间残差正则化器DSR，用以构建更为紧凑的约束体系。具体而言，受深度残差网络的启发，我们在动态深度子空间中设计了残差结构。如图2(c)所示，子空间残差系数比子空间系数具有更显著的平滑性和低秩特性。这一特性使得子空间残差系数能够与TV、LR、相关总变分约束CTV等传统的手工设计先验灵活结合，从而更好地利用高光谱数据中的内在结构信息。从另一个角度来看，DSR兼具显式-隐式先验正则化器的功能：深度子空间网络通过其网络架构和动态输入机制提供隐式先验，而手工设计的先验则对子空间残差系数施加显式约束。通过将深度网络的隐式先验与可解释的显式先验相结合，DSR既发挥了神经网络的表征能力，又保留了手工设计先验的物理可解释性，从而形成了一个更为紧凑且灵活的约束体系。

综上所述，本文的主要贡献如下：
•我们提出了一种动态深度子空间框架，该框架将DIP的动态输入机制扩展到光谱子空间，从而有效引导超分辨率过程，提升了高光谱图像超分辨率任务的性能。
•我们在DSF中设计了动态深度子空间残差正则化器，该正则化器能够与TV、LR、CTV等手工设计的先验灵活结合，从而更好地利用高光谱数据中的内在结构信息，并在DSF中实现更严格的显式约束。
•我们在高光谱图像超分辨率任务的四个仿真数据集和一个真实数据集上进行了大量实验，定量与定性结果均表明，相较于现有的先进方法，我们的方法具有出色的性能。

本文的其余结构如下：第二节介绍相关研究工作，第三节详细阐述所提出的方法，第四节进行广泛的实验评估，包括性能对比与消融实验，最后第五节对全文进行总结。

章节片段
基于模型的方法
高光谱图像超分辨率任务本质上属于高度欠定的问题，因此由于解的不唯一性，基于模型的方法通常需要依赖手工设计的先验才能重建高分辨率高光谱图像。常用的数据结构先验包括总变分约束Yuan等人[14]、稀疏性约束Xue等人[34]以及低秩约束Liu等人[8]。例如，He等人[35]将总变分约束与空间-光谱域中的低秩建模相结合，用于高光谱图像超分辨率任务；Li等人[9]则将稀疏性约束与张量分解技术相结合，构建了相应的方法。

方法论
在本节中，我们首先介绍所提出的DSF，然后阐述所设计的DSR。接着，我们会描述所采用的推理策略，最后总结所提方法的整体算法流程。

实验结果与分析
在本节中，我们使用四个高光谱遥感数据集和一个真实高光谱遥感数据集，对所提出的方法与现有的高光谱图像超分辨率方法进行了对比实验。此外，我们还在三种约束条件下对所提方法进行了消融实验与参数分析。

结论
本文提出了一种用于高光谱图像超分辨率任务的动态深度子空间框架DSF，并在该框架中引入了动态深度子空间残差正则化器DSR。DSF将DIP的动态输入机制从原始数据域扩展到光谱子空间，从而为高光谱图像超分辨率过程提供更有效的引导，进而提升了该任务的性能。所提方法的主要优势在于其采用无监督优化方式。

CRediT作者贡献声明
Pan Liu：撰写——初稿、可视化、验证、软件、方法论、形式分析、数据整理、概念构思。
Yuanyang Bu：撰写——初稿、验证、软件、方法论、形式分析、数据整理、概念构思。
Jingxiang Yang：撰写——审稿与编辑、监督、资源协调、方法论。赵永强：写作——审稿与编辑、项目管理、资金筹措。利益冲突声明作者声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。刘鹏于2020年在中国西安的西安工业大学获得自动化专业学士学位，2023年在中国西安的西北工业大学自动化学院获得电子信息专业硕士学位。他目前在中国西安的西北工业大学自动化学院攻读控制科学与工程专业的博士学位。他的研究兴趣包括计算成像、光学设计、高光谱技术。刘鹏|卜源阳|杨景祥|赵永强