基于光谱-空间异质性的深度聚合网络，用于光谱超分辨率技术

《Optical Materials: X》：Spectral-spatial heterogeneity-guided deep aggregation network for spectral super-resolution

　　白晓静|徐家伟|梁东|张文彪|吴华|滕静
华北电力大学控制与计算机工程学院，北京102206，中国

**摘要**
光谱超分辨率（SSR）从RGB图像中重建高光谱信息，为下游感知任务提供了精细的光谱分析能力。然而，大多数现有的基于深度学习的SSR方法难以模拟异质区域中空间变化的光谱丰富度，这限制了重建性能。为了解决这个问题，提出了一种基于光谱-空间异质性的深度聚合网络（SSH-DAN）来实现光谱超分辨率重建。该网络结合了一种光谱-空间异质性引导机制（SSHM），在深度特征传输过程中强调光谱信息区域的同时保留原始先验信息。此外，设计了一个深度聚合模块（DAM），该模块由并行卷积和多头自注意力子模块组成，用于学习高光谱图像的复杂空间和光谱先验。DAM被集成到U2-Net架构中，逐步从粗略到精细地细化光谱重建。SSH-DAN在一个自构建的紫外-可见光高光谱数据集上进行了评估，该数据集将光谱范围扩展到310纳米，以获得更丰富的光谱信息，并在公共的NTIRE 2022和CAVE数据集上也进行了测试。实验结果表明，所提出的方法有效地重建了光谱-空间异质性，在三个数据集上的PSNR值分别为31.99 dB、33.26 dB和32.85 dB，其在重建精度、光谱保真度和跨数据集泛化能力方面均优于现有的光谱超分辨率方法。

**引言**
高光谱成像（HSI）是一种先进的成像技术，可以从数十到数百个连续的窄光谱带中捕获物体的光谱信息[1]。通过提供像素级别的空间信息和精细的光谱特征，HSI能够更全面地表征材料属性[2]。得益于丰富的光谱信息，HSI已广泛应用于各个领域，包括农业[3]、[4]、[5]、环境监测[6]、[7]、[8]、医学诊断[9]、[10]、目标检测[11]、[12]、[13]、[14]以及分类[15]、[16]、[17]、[18]。然而，受当前硬件限制，传统的高光谱成像系统通常需要在光谱、空间和时间分辨率之间进行权衡[19]、[20]、[21]、[22]，这限制了它们在实际和实时应用中的部署。

最近，光谱超分辨率（SSR）作为一种有前景的技术受到了广泛关注，它可以从仅有三个光谱通道的RGB图像中重建连续的高光谱数据，从而解决了传统高光谱成像系统在采集效率方面的固有局限性[23]。同时，关于灵活的傅里叶变换红外（FTIR）光谱成像增强、快速盲仪器函数估计以及利用小波变换正则化的有效盲信号重建的相关研究进一步强调了准确高效的光谱恢复对实际感测应用的重要性[24]、[25]、[26]。SSR是一个典型的病态逆问题，因为从低维RGB输入中恢复高维高光谱数据缺乏唯一性和稳定性[19]。为了解决这一挑战，最近的研究探索了基于模型和基于深度学习的模型，以建立从RGB图像到高光谱域的有效映射。基于模型的方法通过构建包含光谱响应函数的正向成像模型，并应用基于物理先验（如光谱稀疏性和低秩属性）的正则化约束来重建高光谱数据[23]、[27]、[28]。然而，基于模型的方法严重依赖于手动设计的先验，这些先验往往不足以捕捉现实世界场景的复杂光谱特征，导致在实际应用中的泛化能力有限和重建可靠性低。

为了克服手动设计先验的局限性，数据驱动策略已成为高光谱数据重建的一种非常有效的替代方法[29]。随着深度学习的快速发展，卷积神经网络（CNN）已广泛应用于光谱超分辨率，利用端到端的映射来学习RGB和高光谱数据之间的相关性[30]、[31]。例如，李等人提出了一个整体先验嵌入关系网络（HPRN）[32]，该网络结合了RGB-HSI先验来减轻SSR的病态性质并提高重建精度。然而，基于CNN的方法由于其局部性和固定的感受野，难以模拟长距离的光谱依赖性。在相关视觉任务的研究表明，基于Transformer的模型和相关关系感知框架可以在复杂变化下有效捕捉结构化关系，如相似性线索、语义同质性和结构依赖性[33]、[34]、[35]。最近的研究引入了基于Transformer的自注意力机制来捕捉跨波段的全局光谱相关性[36]、[37]、[38]。例如，蔡等人提出了MST++[39]，它动态分配权重并结合全局上下文意识，以克服固定感受野和显式建模全局上下文关系的局限性。然而，现有方法往往忽略了光谱丰富度的空间异质性，即光谱信息密度在不同区域之间存在显著差异，导致注意力分配不佳，特别是在光谱稀疏区域。此外，将CNN的局部特征提取与Transformer的全局依赖性建模有效结合仍然具有挑战性，限制了两种架构的互补优势，并制约了SSR重建性能。此外，大多数现有的光谱超分辨率数据集（如NTIRE 2022和CAVE数据集）仅限于400–700纳米的可见光范围，因此无法支持涉及紫外信息的宽带重建。这种有限的光谱覆盖范围限制了为更宽波长范围设计的方法的开发和评估。

为了解决上述问题，本研究将光谱超分辨率（SSR）重新定义为一种考虑光谱-空间异质性的重建问题，并提出了一种基于光谱-空间异质性的深度聚合网络（SSH-DAN）。该模型采用异质性引导机制将注意力引导到光谱信息区域，并通过多阶段细化框架将局部空间特征与全局光谱依赖性相结合。此外，构建了一个紫外-可见光宽带多光谱数据集（310–700纳米），以实现对异质性感知光谱重建的更全面评估。主要贡献总结如下：
1) 提出了一种新颖的光谱-空间异质性引导机制，该机制利用注意力机制动态捕获光谱变化并聚焦于先验图像中的光谱信息区域。所提出的引导机制在网络传播过程中恢复了先验信息，使得在编码器-解码器架构中更好地保留了原始先验细节。
2) 提出了一种深度聚合模块，将局部空间归纳偏差和全局光谱依赖性建模统一在一个并行学习范式中。这种设计允许网络同时捕获精细的空间结构和长距离光谱相关性，从而提高重建精度和鲁棒性。
3) 通过将异质性引导注意力和深度聚合集成到多阶段U2-Net架构中，建立了一个统一的SSH-DAN框架。这种设计实现了从粗略到精细的逐步重建，从而获得更真实和可靠的光谱恢复。
4) 在真实的物理成像条件下构建了一个紫外-可见光宽带光谱数据集，为光谱超分辨率提供了更可靠的基准。它扩展了现有公共数据集的光谱范围，避免了依赖模拟的RGB输入，从而实现了更真实的评估和验证。

本文的其余部分结构如下：第2节回顾了与光谱超分辨率相关的工作。第3节详细阐述了所提出的重建网络，包括其整体架构和实现细节。第4节展示了实验结果及详细分析。第5节总结了本文的工作。

**相关工作**
最近，光谱超分辨率（SSR）作为一种先进的计算成像技术，吸引了学术界和工业界的越来越多的关注。SSR旨在通过学习RGB图像和高光谱图像之间的映射模型，从低维RGB观测中重建高维高光谱数据。然而，由于逆问题的固有病态性质，光谱超分辨率仍然具有很高的挑战性。

**框架**
本研究提出了一种新颖的方法，通过设计一种光谱-空间异质性引导机制和深度聚合模块，有效地从RGB图像重建高光谱图像。所提出的光谱-空间异质性引导深度聚合网络（SSH-DAN）的框架如图1所示。输入的RGB图像首先通过卷积操作从三个通道映射到与目标高光谱图像具有相同通道数的特征图X0。

**实验设置**
1) 数据集：所提出的光谱超分辨率方法在NTIRE 2022[55]、CAVE[56]数据集以及一个自收集的紫外-可见光宽带光谱数据集上进行了评估。
i) NTIRE 2022数据集：该数据集发布在NTIRE 2022光谱重建挑战赛中，包含1,000对RGB和HSI样本。它被分为训练集、验证集和测试集，比例为18:1:1。由于测试子集未公开发布，因此无法对其进行评估。

**结论**
本研究提出了一种基于光谱-空间异质性的深度聚合网络（SSH-DAN），以实现准确的光谱重建。该模型结合了一种光谱-空间异质性引导机制（SSHM），通过建模光谱丰富度差异来引导注意力指向光谱信息区域，并结合了一个深度聚合模块（DAM），通过CNN的局部空间归纳偏差和Transformer的全局光谱依赖性建模能力来共同利用这些优势。

**作者贡献声明**
白晓静：撰写——原始草稿，监督，方法论，概念化。
徐家伟：可视化，软件，方法论，数据管理。
梁东：软件，方法论。
张文彪：资源，方法论，形式分析。
吴华：验证，资源，调查。
滕静：资源，资金获取，概念化。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究得到了国家自然科学基金（编号62373148）的支持。