PDRF-Net：面向未配准高光谱图像的渐进式盲配准-融合方法，基于物理一致的时空光谱解耦

《Information Fusion》：PDRF-Net: Progressive Blind Registration–Fusion for Unregistered Hyperspectral Image with Physics Consistent Spatial Spectral Decoupling

　　

•在未配准的高光谱和多光谱图像融合中，无需真值或已知的 PSF 和 SRF 即可实现盲融合。
•几何变换、PSF 和 SRF 被恢复并约束解混融合。
•渐进式先验恢复、解耦融合和精细化处理保持估计稳定。
•在模拟和真实未配准 HSI-MSI 融合数据上取得了最先进结果。

介绍
高光谱图像（HSI）提供丰富的光谱特征，已成为土地覆盖理解的关键模态，如分类 [1]、语义分割 [2] 和异常检测 [3]。然而，高光谱传感器的固有带宽和光子预算使得难以同时实现高光谱分辨率和高空间分辨率（HR）。因此，HSI 融合 [4] 旨在通过整合 HSI 和辅助高分辨率图像（如 RGB/PAN/MSI）来重建高分辨率 HSI，从而同时保持光谱保真度并恢复精细的空间结构。
尽管取得了稳步进展，但大多数融合方法假设 HSI-MSI 配准良好且场景内容一致。如图 1 所示，在实际应用中，HSI-MSI 对常表现出由跨传感器差异、平台运动、时间变化和几何畸变引起的刚性偏移、局部非刚性变形和感兴趣区域（ROI）不一致 [5]，[6]，[7]。低分辨率（LR）HSI 像素是空间积分和模糊及下采样形成的聚合光谱观测。MSI 在更密集的网格上记录局部结构。一旦 HSI-MSI 不再对应于相同的支持域，跨模态交互就会发生在不匹配的像素上。基于插值的 HSI 超分辨率引入了错位的空间基，从而导致错误的空间索引。MSI 引导的光谱增强也会恶化，因为聚合的 HSI 输入不能再作为高分辨率恢复的有效光谱参考。它们的共同效应是融合不能再被视为反演已知的观测模型：必须从观测中识别传输关系本身。
现有的未配准 HSI 融合方法主要遵循两条路线：先配准后融合和联合配准 - 融合。前者 [8]，[9] 通过几何校正减少位移，然后融合经过扭曲或插值的 HSI 与 MSI，但这只能改善表观空间对齐，无法恢复聚合 HSI 观测的真实光谱支持域。因此，残余不匹配被转化为跨模态交互过程中的空间索引错误和不正确的光谱传输。后者 [10]，[11] 通过联合优化缓解了阶段性误差积累，但仍然经常依赖于标签监督、先验约束或场景一致性假设，而没有明确确保聚合 HSI 与高分辨率 MSI 之间交互的物理有效性。因此，在复杂错配和内容不一致的情况下，由不匹配的跨模态交互引起的重建误差仍然难以抑制。总之，无完美配准的 HSI 融合仍面临几个基本挑战：
•两个观测之间的几何变换和 PSF/SRF 退化未知，因此观测模型仅部分已知。
•基于校正的范式改善了表观对齐，但重采样改变了观测的物理内容，并沿正向融合路径传播残余误差。
•在没有监督、可靠对应或准确退化先验的情况下，完全盲的未配准融合仍然极具挑战性。
因此，未配准融合的关键是从信号本身准确无误的两个观测中识别未知的传输关系，并让这些关系约束融合过程，同时保持两个观测不被触碰。因此，我们提出了一种物理一致的渐进式盲融合框架，首先恢复观测一致的退化先验，然后执行解耦重建。如图 3 所示，PRE 通过联合估计刚性/非刚性畸变和 PSF/SRF 退化来恢复观测一致的先验，产生比仅外观级别校正更完整且物理一致的先验，并明确表征空间聚合的 LR-HSI 观测与 HR-MSI 测量之间的关系。基于这些先验，SGHF 不强制对校正后的特征进行直接的逐像素传输；而是执行退化感知的端元 - 丰度解耦，其中 LR-HSI 提供光谱可靠的端元，HR-MSI 为重建贡献高分辨率丰度。这样，跨模态交互就从脆弱的对应匹配转移到可物理解释的特征耦合，从而减少了残余错位向融合中的传播。SFHR 进一步抑制伪细节并改善空间 - 光谱平衡。总体而言，PDRF-Net 在全盲条件下融合未配准的 HSI-MSI 对：没有高分辨率 HSI 真值，未知的 PSF 和 SRF，以及可能的复合刚性和非刚性畸变。两个观测本身是唯一真值：它们之间的物理变换被明确估计以恢复重建高分辨率 HSI 所需的空间和光谱关系参数。估计的算子仅作用于损失函数内部，从不处理任何图像，因此残余估计误差没有正向传播路径。本文的贡献总结如下：
•操作条件。现有的未配准融合方法至少保留三种依赖中的一种：高分辨率 HSI 监督、已知的退化算子或预对齐。PDRF-Net 同时去除了这三种依赖，并直接对原始输入处理复合刚性和非刚性畸变；据我们所知，没有现有方法在这种完全盲的条件下运行（表 1）。
•数学公式化。我们将未配准盲融合形式化为以两个观测作为唯一真值的两个问题的联合求解：识别观测之间的成像物理（几何变换、PSF 和 SRF），以及恢复产生高分辨率 HSI 的观测内在特征（端元光谱和丰度）。识别的算子仅进入退化拟合损失，这将原本病态的特征恢复与两个观测联系起来，并且每个算子都限制在其物理所暗示的参数族内，这限制了算子吸收彼此效应的程度。
•模型架构和训练策略。估计遵循渐进式三阶段设计，每个阶段都针对其子问题进行结构化。PRE 从原始观测中恢复几何和退化参数，由预训练的刚性配准分支初始化。SGHF 从 LR-HSI 生成端元光谱，从 HR-MSI 生成高分辨率丰度，以便每个因子都从可靠测量它的观测中提取；作为共享网络输出而非逐像素自由变量，这些因子保持权重空间中的联合估计是过定的。SFHR 在 MSI 的引导下空间上细化重建。训练遵循相同的渐进计划，仅在丰度层级微调配准参数，将联合病态估计分解为良态阶段。
本文剩余部分组织如下。第 2 节回顾了 HSI-MSI 配准、融合和联合配准 - 融合方法的最新进展。第 3 节详细介绍了所提出的方法，第 4 节展示了实验评估以及深入的讨论和分析。最后，第 5 节总结了论文并概述了未来研究的潜在方向。

章节片段
高光谱配准
准确的 HSI-MSI 配准 [12] 仍然具有挑战性，因为跨传感器的大几何畸变、严重的辐射/光谱差异以及跨模态的复杂变形共存。由于专用的 HSI 配准技术可用性有限，许多现有方法将通用的遥感配准工具适应于 HSI-MSI 场景。
从变形模型的角度来看，现有方法可分为刚性和非刚性配准。

问题形式化
设低分辨率 HSI Hm∈Rh×w×C 和高分辨率 MSI Mf∈RH×W×c 具有空间缩放因子 s。高光谱融合旨在整合空间光谱信息以重建高分辨率 HSI R∈RH×W×C。我们首先考虑标准良好配准下的融合关系：
Hm=PR+NH,Mf=RS+NM
其中 P∈Rhw×HW 是基于点扩散函数（PSF）的空间退化算子，S∈RC×c 是光谱响应函数（SRF），NH 和 NM 表示观测噪声。忽略噪声项，核心融合

模拟细节
帕维亚大学、华盛顿特区、休斯顿和筑波被用作模拟数据，以评估 PDRF-Net 的有效性。具体来说，每个数据集都经过归一化和去除噪声光谱波段。裁剪后的数据用作实验中的真实高分辨率 HSI。裁剪区域和 MSI 传感器参数的详细信息总结在表 3 中。高分辨率 MSI Mf 通过对高分辨率 HSI 进行光谱下采样生成，对于华盛顿特区，选择了前 85 个波段（400nm-896nm）以

结论
本文提出了 PDRF-Net，一种用于从未配准 HSI-MSI 对重建高分辨率 HSI 的物理一致盲融合框架，仅由两个原始观测监督。先验配准 - 融合 - 退化协同优化模块（PRE）联合估计刚性和非刚性畸变以及 PSF 和 SRF 退化，恢复将空间聚合的 HSI 观测与 MSI 测量联系起来的物理一致先验。光谱引导的解混融合

CRediT 作者贡献声明
Baiyang Hu：撰写 – 初稿，方法学，概念化。Xiaodian Zhang：方法学，调查。Kun Gao：撰写 – 审查与编辑，监督，资金获取。Wenhao Hu：撰写 – 审查与编辑。Jiyuan Yang：撰写 – 审查与编辑。Yao Huang：撰写 – 审查与编辑。Zhijia Yang：验证。Zefeng Zhang：形式化分析。Jingyi Wang：数据管理。

利益冲突声明
作者声明他们没有任何已知的竞争性经济利益或个人关系可能影响本文所述的工作。

Baiyang Hu|Xiaodian Zhang|Kun Gao|Wenhao Hu|Jiyuan Yang|Yao Huang|Zhijia Yang|Zefeng Zhang|Jingyi Wang