《Information Fusion》：Imaging-Informed Progressive Fusion for Mosaic-based Hyperspectral Image Reconstruction
编辑推荐：
•提出了一种基于成像信息的渐进式重建架构，用于马赛克图像和全色图像融合。•将复杂的马赛克退化过程重构为分层级的成像信息子阶段。•引入跨尺度参数共享和三阶段复合损失，以提高可解释性和重建保真度。•在模拟和真实数据集上的大量实验证明了其最先进的性能。引言高光谱成像通过捕捉连续的光
- •
提出了一种基于成像信息的渐进式重建架构，用于马赛克图像和全色图像融合。
- •
将复杂的马赛克退化过程重构为分层级的成像信息子阶段。
- •
引入跨尺度参数共享和三阶段复合损失，以提高可解释性和重建保真度。
- •
在模拟和真实数据集上的大量实验证明了其最先进的性能。
引言
高光谱成像通过捕捉连续的光谱特征，在扩展人类感知方面发挥着变革性作用，这对于遥感 [1]、临床诊断 [2]、工业检测 [3] 等至关重要。然而，传统的基于扫描的模式通常受限于缓慢的采集速度，使其不适合监测动态目标。为了解决这一时间瓶颈，基于马赛克的快照高光谱成像作为一种引人注目的替代方案应运而生。受 RGB 相机中拜耳滤波器阵列的启发，该技术采用光谱滤波器阵列 (SFA) 在单个积分期内记录空间 - 光谱信息。这种机制促进了视频帧率的高光谱成像重建 [4]、[5]，显著提升了时间效率。尽管如此，这种进步也意味着一种根本性的权衡，即为了容纳多样的光谱波段，部分牺牲了空间分辨率。
如图 1-(a) 所示，缓解此局限性的一个可行方案是将马赛克图像与辅助全色图像进行融合。当前该领域的研究分为经典方法 [6]、[7]、[8]、[9]、[10]、[11]、[12] 和深度学习 (DL) 架构 [13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]。传统技术通常依赖于手工设计的先验知识 [6]，例如稀疏表示 [9]、矩阵分解 [7]、[11]、[12]，或基于张量的分解 [8]。虽然这些方法以数学严谨性为特征，但其有限的表示能力往往无法捕捉复杂的光谱 - 空间依赖性。此外，与这些迭代求解器相关的繁重计算负担往往限制了其实时适用性。
相比之下，基于深度学习的范式通过学习来自大规模数据集的直接映射设定了新的性能基准。这些方法可进一步分为监督学习和无监督学习。监督框架 [14]、[15]、[25]、[26]、[27]、[28] 需要高分辨率高光谱图像真值来进行模型优化，而这在实际中通常难以获取。为了解决这一数据稀缺问题，无监督方法 [16]、[20]、[21]、[29]、[30]、[31] 应运而生，绕过对配对标签的需求。一个显著的例子是等变融合网络 (EFN) [20]，它将融合过程整合到一个统一的架构中。最近，Dian 等人提出了一种用于马赛克图像和全色图像融合的等变贝叶斯变分推断框架 (EBVIF) [21]，在更复杂的条件下展现了优异的性能。然而，现有的这些无监督模型主要是数据驱动的，并没有明确地将成像模型纳入其网络设计中。这种与成像过程的有限联系可能会损害重建结果的保真度。
尽管现有的无监督方法取得了令人瞩目的结果，但其架构设计仍存在一个关键局限。具体来说，虽然许多方法成功地将正向成像模型整合到损失函数中以强制数据一致性 [16]、[20]、[21]、[30]、[32]，但它们通常依赖于单体式、单步重建网络。一些近期的工作试图通过直接将物理先验嵌入网络拓扑 [33]、[34]、[35] 或将迭代优化方案展开为顺序操作 [36]、[37]、[38]、[39] 来弥合这一差距，以实现更具结构化的映射。然而，这些架构仍然主要将采用的退化模型视为一个原子过程。因此，它们并没有明确展示可以从马赛克退化中推导出的层级操作，导致其计算结构未得到充分探索，且重建过程的可解释性不足。
此外，如图 1-(b) 所示，低分辨率马赛克输入与期望的高分辨率高光谱图像之间的差距太大，无法在不引入伪影的情况下通过单一体式步骤有效弥合。受自然场景中固有的多尺度自相似性的启发 [40]，我们认为重建应遵循一条反映级联退化过程的层级轨迹。具体来说，高光谱数据中不同空间尺度之间的关系通常表现出结构上的重复性，这意味着在较粗尺度上学习到的逆映射可以为较细尺度提供有价值的归纳偏置 [41]。利用这种跨尺度一致性不仅可以减少优化搜索空间，还能确保不同分辨率下重建的细节保持一致且真实。
如图 1-(c) 所示，我们提出了一种基于成像信息的渐进式融合框架，用于从低分辨率马赛克观测值和全色图像重建高分辨率高光谱图像。为了解决融合任务内在的病态性，我们明确地将正向成像模型分解为一系列层级的采样和池化操作。遵循这一层级表示，我们的网络将重建展开为三个可处理的阶段，利用参数共享策略来利用跨尺度结构一致性。通过集成一种包含中间和观测一致性的三阶段复合损失函数，我们的框架确保了高保真重建和基于成像的可解释性。本工作的主要贡献总结如下：
- •
我们提出了一种基于成像信息的渐进式重建架构，将采用的成像模型与深度学习相结合。通过将复杂的马赛克退化重构为一系列层级操作，我们将高度病态的逆问题转化为一系列明确且可管理的子阶段。
- •
我们引入了一种跨尺度参数共享策略和三阶段复合损失函数。通过利用高光谱数据中固有的结构重复性并强制中间表示之间的一致性，所提出的方法在有效正则化解空间的同时，增强了融合过程的可解释性。
- •
在模拟和真实数据集上的大量实验证明，所提出的框架达到了最先进的性能。
本文其余部分组织如下。第 2 节回顾相关工作。第 3 节介绍正向成像模型和所提出的基于成像信息的渐进式逆重建框架。第 4 节报告实验结果和消融研究。最后，第 5 节总结全文。
章节摘要
融合方法
如上所述，马赛克图像和全色图像融合可以分解为光谱去马赛克化和全色锐化。早期的光谱去马赛克化方法 [6]、[7]、[8]、[9] 主要依赖于手工设计的先验知识。一个代表性的经典方法是 PPID 算法 [6]，它通过利用直接从马赛克输入估计的伪全色图像实现了稳健的性能。与此同时，传统的全色锐化技术利用了光谱 - 空间等先验知识
概述
在本节中，我们提出了所提出的基于成像信息的渐进式融合框架，旨在从低分辨率马赛克观测值和相应的高分辨率全色图像重建高分辨率高光谱图像。为了解决马赛克模式中固有的复杂空间 - 光谱耦合，我们首先重新审视成像模型，将标准的单步退化重构为平均池化和层级采样操作的渐进式序列。在这种层级数学表示的指导下，
数据集
我们在两个模拟数据集上评估了所提出的方法，即 CAVE [46] 和 Chikusei [47]，以及一个真实世界数据集 [20]。
CAVE 数据集包含 32 个高光谱场景，每个场景的空间尺寸为 512 × 512，光谱通道为 31 个。在我们的设置中，仅保留连续波段的一个子集，从第 12 条到第 27 条，以形成 16 通道的高分辨率高光谱图像。为了模拟相应的观测值，高光谱数据首先使用 2 × 2 平均进行空间降维，然后重新排列
结论
在本文中，我们提出了一种基于成像信息的渐进式融合框架，用于从低分辨率马赛克和全色观测值重建高分辨率高光谱图像。通过构建基于成像信息的马赛克退化层级表示，我们的方法将重建分解为三个具有跨尺度参数共享的渐进阶段。该框架纳入了一种三阶段复合损失，强制中间和观测一致性，以保留不同结构之间的
CRediT 作者贡献声明
王南：写作 – 原稿，软件，方法论，概念化。徐方硕：验证，调查，数据整理。冉任伟：项目管理，方法论，资金获取，概念化。李树涛：写作 – 审查与编辑，监督。
利益冲突声明
作者声明不存在已知的相互竞争的经济利益或个人关系，这些关系可能影响本文报道的工作。
王南 | 徐方硕 | 冉任伟 | 李树涛
