综述：基于卷积稀疏编码诱导先验的高光谱图像超分辨率

《Journal of Visual Communication and Image Representation》：Convolution sparse coding induced prior for hyperspectral image super resolution

　　

- 我们考虑将卷积稀疏编码诱导的先验和引导滤波辅助的超分辨率图像作为先验，用于从低分辨率高光谱图像（LR HSI）和高分辨率多光谱图像（HR MSI）中生成超分辨率图像。
- 不同于图像块和组视图的联合处理，卷积稀疏编码（CSC）采用不同的视角，通过考虑整幅图像来提取图像的结构和纹理信息。
- 在现有文献中，大多数工作分别关注低分辨率高光谱图像与高分辨率多光谱图像之间平滑分量和残差/纹理分量的稀疏码映射。我们探索了一种新的方法，利用基于引导滤波的方法保留低分辨率高光谱图像的平滑分量和残差分量，该方法可以作为目标图像的先验项。

**引言**

高光谱成像是一种有前景的技术，通过捕获一系列连续窄带图像来获取同一场景的光谱特性。基于高光谱成像的遥感正在迅速改变各种计算机视觉任务，这些任务在地面传感、农业、矿产勘探和环境监测等领域有着广泛的应用[1]。高光谱成像模式以低空间分辨率为代价提供了高光谱分辨率。此外，由于高光谱成像中使用的窄带滤波器导致入射光照减少，它还面临低信噪比的问题。需要足够长的曝光时间来增加信噪比。此外，最新配备多模式的成像传感器在相同曝光时间内可以捕获比高光谱图像空间分辨率更高、信噪比更高的RGB图像。除了捕获高光谱图像外，大多数光学卫星还能够捕获全色（PAN）和多光谱（MS）图像。通常，全色图像提供单通道的高空间分辨率，而高光谱图像拥有丰富的光谱信息。由于高光谱图像与多光谱图像之间的这种对比特性，从低空间分辨率高光谱图像和高分辨率RGB图像构建超分辨率高光谱（SR）图像[2]、[3]是一个活跃的研究领域。

高光谱超分辨率方法大致可分为五类：分量替代法（CS）、多分辨率分析法（MRA）、贝叶斯方法、矩阵分解方法和混合方法。Gram-Schmidt[4]、鲁棒主成分分析和强度-色调-饱和度是分量替代方法的典型示例。分量替代方法依赖于分离低分辨率高光谱图像中可用的空间结构和光谱信息，从而用高分辨率多光谱或全色图像的空间分量替换低分辨率高光谱图像的空间信息。最后，采用相应的逆变换来重建高分辨率高光谱图像。类似地，MRA方法假设低分辨率高光谱图像的空间细节可以通过高分辨率多光谱或全色图像的空间细节来增强。因此，从高分辨率多光谱图像中提取的空间细节可以注入到低分辨率高光谱图像中。MRA方法涉及使用小波工具，如轮廓波变换[5]，或基于平滑滤波器的强度修改算法SFIM[6]来从高分辨率多光谱图像中提取高频分量。分量替代方法效果良好，但存在光谱失真的问题。相反，MRA方法实现了光谱保持，但对配准误差敏感，可能导致空间失真。贝叶斯方法将融合问题建模为最大后验（MAP）估计。属于此类的一些最突出的工作包括贝叶斯稀疏促进高斯先验[7]、[8]。

提出了多种字典学习和稀疏性诱导正则化的变体，可作为高光谱图像光谱混合的有效近似技术。该方法找出一组原子来表示每个端元的光谱特征（称为光谱字典），以及一组列向量来表示表示高光谱数据中像素的原子最优组合。列向量构成了丰度矩阵，可被视为从光谱字典原子中选择纯光谱特征的指标。然后，测量信号可表示为字典中纯光谱特征的稀疏线性组合。[9]提出了耦合非负矩阵分解（CNMF）算法用于高光谱混合。CNMF令人印象深刻的性能推动了大量基于非负矩阵分解（NMF）技术的涌现，例如[10]、[11]。基于矩阵分解的技术也可归类为基于模型的方法，需要基于融合过程的先验知识/假设进行适当的正则化。经典正则化项，如半正定规划公式[12]、Mumford-Shah[13]模型和全变分[14]模型，利用局部结构模式。结构稀疏性诱导的字典学习对单图像超分辨率[2]的影响不可否认。这些正则化项在保持高频特征和恢复平滑区域方面展现了其有效性。编码孔径快照光谱成像（CASSI）是另一种优雅的方法，可从二维图像重建三维高光谱图像，该方法依赖于分两阶段求解逆优化问题：测量阶段和重建阶段。[15]提出了一种基于卷积神经网络（CNN）的端到端技术，联合优化编码孔径和图像重建。

稀疏性诱导方法大致可分为三类：块稀疏表示（PSR）模型、组稀疏表示（GSR）模型和卷积稀疏编码（CSC）模型。PSR模型独立地对每个块进行稀疏表示。通常，PSR模型忽略了相似块之间的关系。这催生了通过将相似块组合成组而产生的图像非局部自相似（NLSS）先验。这些基于非局部自相似性的先验为组稀疏表示（GSR）奠定了基础。GSR模型依赖于这样一个假设：组内相似块可以共享相同的光谱特征。PSR和GSR的一个缺陷是：相邻块中重叠的像素是独立处理的，这可能会由于相邻块中的重叠像素在聚合时可能被赋予不同的权重而带来歧义。这被称为一致性约束，在PSR和GSR中被忽略。[16]的一项开创性工作利用马尔可夫随机场（MRF）对一致性先验进行了建模。[17]提出了一种基于高斯混合模型（GMM）的先验，其中均值和协方差从整个图像数据中学习，用于去噪。然而，仍需更多证据来证明一致性约束的有效性。

字典学习方法试图根据字典矩阵D从测量信号s中重建信号x，即s≡Dx。相反，卷积稀疏编码（CSC）通过将一组字典向量的线性组合替换为一组字典滤波器的卷积操作，能够找到整幅图像的稀疏表示，参见[18]、[19]。[20]提出了CSC的一种替代公式化方法，该方法在傅里叶域中考虑局部处理而非全局处理。CSC在图像修复[21]、去模糊[22]、去噪[23]、[24]等领域的众多应用已得到验证。CSC最初由[25]为离散一维时变信号提出，随后由[26]扩展至图像恢复。之后，[19]使用ADMM和共识ADMM高效解决了CSC，适用于多通道输入。

因此，我们的研究动机总结如下：

- CSC的大多数应用局限于图像修复和单图像超分辨率（SISR）。使用CSC融合低分辨率高光谱图像和高分辨率多光谱图像的研究关注较少。
- 需要引入适当的正则化器来处理高光谱图像和多光谱图像对应字典之间的相关性，以提高融合性能。
- 在现有文献中，大多数研究工作分别关注低分辨率高光谱图像与高分辨率多光谱图像之间平滑分量和残差/纹理分量的稀疏码映射。我们探索了一种新的方法，利用基于引导滤波的方法保留低分辨率高光谱图像的平滑分量和残差分量，该方法可以作为目标图像的先验项。

本文其余部分组织如下：第2节综述相关工作并提出我们的研究动机。第3节阐述问题公式化。第4节详细介绍我们提出的方法。第5节阐明求解卷积字典学习的原理，随后第6节展示结果评估。最后，在第7节中我们总结全文。

**相关工作与动机**

从低分辨率高光谱图像和高分辨率多光谱图像重建高分辨率高光谱图像是一个不适定图像逆问题。引入各种先验分布来正则化目标函数已被广泛认为是最流行的方法之一。一些方法使用贝叶斯推断技术构建后验分布来解决融合问题[7]。[8]将问题公式化为最大似然问题，并求解Sylvester方程获得闭式解，从而避免迭代更新。

**问题公式化**

让我们简要描述该问题。设X∈?^{L×n}和Y∈?^{3×N}分别表示同一场景的低分辨率高光谱图像和高分辨率RGB图像。我们的目标是从同一场景的低分辨率高光谱图像X和高分辨率RGB图像Y中恢复高分辨率高光谱图像Z∈?^{L×N}，其中N和n分别表示高分辨率高光谱图像Z和低分辨率高光谱图像X的像素数，L是Z的光谱波段数（L?3）。遵循[2]的类似符号约定，X和Y都可以视为期望高光谱图像Z的退化版本：X=ZH，Y=...

**提出方法**

本节我们提出基于卷积稀疏编码的结构先验用于高光谱超分辨率。该方法由三个步骤组成：(i) 从低分辨率高光谱图像中找到光谱字典（端元矩阵）；(ii) 利用[51]中的引导滤波超分辨率方法获得目标图像的先验；(iii) 利用高分辨率多光谱图像中的卷积稀疏码获得丰度矩阵估计的先验。需要注意的是，本文提出的算法是...

**卷积字典与卷积稀疏码学习**

让我们描述卷积字典d_m的学习部分，这是求解(8)、(9)所必需的。

**结果**

本节我们介绍了用于高光谱超分辨率的数据集以及评估方法性能的评价指标。最后，我们将我们的方法与各类基于优化和深度学习的图像融合领域的最先进方法进行了比较。我们排除了与单图像超分辨率的比较。

**结论**

本文考虑将卷积稀疏编码诱导的先验和引导滤波辅助的超分辨率图像作为先验，用于从低分辨率高光谱图像和高分辨率多光谱图像中生成超分辨率图像。在现有文献中，大多数工作分别关注低分辨率高光谱图像与高分辨率多光谱图像之间平滑分量和残差/纹理分量的稀疏码映射。我们探索了一种新的方法，利用基于引导滤波的方法保留低分辨率高光谱图像的平滑分量和残差分量。

**数据与材料可用性**

本文使用的数据集为CAVE和Harvard。两者均公开可用，见CAVE[55]和Harvard[56]。源代码已发布在以下网址CSC。基于ADMM的卷积稀疏编码Python库也可在CSCLibrary中找到。

**利益冲突声明**

作者声明以下财务利益/个人关系，可能被视为潜在利益冲突：Dibyajyoti Guha报告其研究由印度信息技术学院达瓦德提供支持。如有其他作者，他们声明没有已知可能影响本文所述工作的竞争性财务利益或个人关系。

**致谢**

作者感谢Tsung-Han Chan和W Dong将其MATLAB代码公开，这对于奠基性论文的贡献帮助作者建立了本文的代码基础。

- Eliot Wycoff, T.-H. Chan, K. Jia, W.-K. Ma and Y. Ma, "A non-negative sparse promoting algorithm for high resolution hyperspectral imaging", in IEEE ICASSP, 2013. 代码仓库

- Weisheng Dong, Fazuo Fu, Guangming Shi, and Xun Cao, Jinjian Wu, Guangyu Li, and Xin Li, "Hyperspectral Image..."

Dibyajyoti Guha