针对非重叠的高光谱和多光谱遥感图像的区域感知融合方法

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Region-aware fusion for non-overlapping hyperspectral and multispectral remote sensing images

　　高阳宇|黄宝森|高连茹|安东尼奥·普拉扎|郑轲|张冰
大连海事大学信息科学与技术学院，中国大连116026

摘要
近年来，高光谱和多光谱图像（HSI-MSI）融合技术因能够生成具有高光谱和空间分辨率的图像而受到了广泛关注。然而，大多数现有方法主要集中在HSI和MSI观测数据都存在的重叠区域。在实际应用中，由于卫星传感器视场狭窄，导致高光谱覆盖不完整，从而留下无直接光谱观测数据的非重叠区域。基于丰度的高光谱解混提供了一种原理性的解决方案，通过共享端元在整个区域内传递光谱信息。但是，精确的端元学习面临两个障碍：理想化的点扩散函数（PSF）假设并未准确反映真实的传感器模糊情况；以及在不同观测条件下采用统一特征提取方法。为此，我们提出了一种端到端的新型框架，通过互补的专家混合（Mixture-of-Experts, MoE）机制来解决这两个问题。具体而言，PSF-MoE模块采用三阶段渐进策略来捕捉真实的退化模式，为端元学习提供精确的先验信息；区域感知型专家混合（RAMoE）机制则根据观测条件路由特征，实现了对重叠区域、非重叠区域和过渡区域的专门处理。这种联合设计使得整个空间域内的光谱重建更加准确，包括那些缺乏直接高光谱观测数据的区域。在 established benchmarks 上的实验展示了该框架的先进性能，而在ZY1-02D卫星图像上的验证（结合无人机地面真实数据）证实了其实际有效性。我们的实现代码可公开获取：https://github.com/Welcome-to-LISA/RAMoE

引言
高光谱图像（HSI）能够捕捉数百个连续波段的海量光谱信息，适用于从精准农业到环境监测等多种应用（Plaza等人，2009年；Lei等人，2013年），但其空间分辨率较低且视场覆盖范围有限。相比之下，多光谱图像（MSI）具有较高的空间分辨率和广泛的覆盖范围，但会因宽带光谱压缩而牺牲光谱保真度。这种互补性促使了HSI-MSI融合技术的发展（Yokoya等人，2012年；Wei等人，2015b年），以合成结合了HSI光谱丰富性与MSI空间精确性的高分辨率图像（HrHSI）。
然而，狭窄的HSI传感器视场限制了卫星的实际观测范围，导致多时相观测数据中的覆盖模式不稳定。如图1所示，沿海湿地的时序观测数据存在三种情况：完全重叠无污染、完全重叠但有云层干扰以及部分重叠伴随空间间隙。这种异质性要求开发稳健的非重叠融合方法，以实现时间序列生态监测中的连续高光谱重建。
现有的HSI-MSI融合方法，无论是模型驱动的（Yokoya等人，2012年；Wei等人，2015b年）还是数据驱动的（Li等人，2021年；He等人，2025年），主要针对简单退化假设（如标准高斯模糊、双三次下采样）下的重叠场景进行研究。尽管这些方法在可控条件下表现出良好的物理可解释性和表征能力，但它们依赖于完全的空间重叠和理想化的传感器特性，这限制了其在复杂退化和异质观测条件下的适用性。
最近的研究开始探索非重叠融合技术。UFSRnet（Yu等人，2024b年）通过跨区域特征传递来连接重叠和非重叠区域的学习结果；字典扩展方法（Han等人，2025年）通过自适应光谱库扩展来处理部分重叠情况；UDE2A2（Jia等人，2025b年）引入注意力驱动机制来填补区域间的信息空白。这些进展表明，非重叠融合技术在遥感领域变得越来越重要。
然而，现有方法存在两个根本性局限：在退化建模方面，它们基于理想化假设而非真实卫星传感器的复杂PSF，这种简化会降低实际成像条件下的重建质量；在处理策略方面，它们采用统一的方法，无法适应重叠区域和非重叠区域的独特特征，限制了区域特定的特征提取和边界连续性。这两个挑战激发了两个关键研究问题：

研究问题1：为什么精确的PSF建模对非重叠融合至关重要？
空间退化由PSF控制，而光谱退化由光谱响应函数（SRF）描述。SRF通常可以从传感器规格中获得（Shah和Duarte，2025年），但由于光学特性、镜头像差和模糊模式（Shi等人，2023年），PSF仍难以准确确定。PSF的准确性直接影响基于丰度的端元提取（Borsoi等人，2020年）；PSF建模不准确会导致退化约束效果不佳，进而影响端元学习。由于重建过程依赖于通过丰度-端元分解传递端元信息，PSF误差会传播到整个空间域，从而影响重建质量。

研究问题2：如何有效利用重叠区域的互补信息来重建非重叠区域？
非重叠融合面临空间变化的输入配置问题：重叠区域提供双模态观测数据（HSI和MSI），而非重叠区域仅提供单模态观测数据（MSI）。这种变异性要求采用区域自适应处理策略，以根据局部输入特征进行特征提取，确保在不同观测条件下实现准确重建，并保持区域边界处的平滑过渡。

为了解决这些问题，我们提出了一个两阶段框架，通过互补的专家混合（MoE）机制结合了真实的退化建模和区域自适应融合。在退化建模方面，我们开发了基于参数空间离散化的PSF-MoE模块，提供了超越理想化假设的物理基础先验；在区域自适应处理方面，设计了RAMoE机制，根据区域分类（重叠区域、非重叠区域和过渡区域）路由特征，实现了针对每种观测条件的专门处理。

我们的主要贡献如下：
• 统一HSI-MSI融合框架：我们提出了一个端到端的框架，能够在保持高空间和光谱分辨率的同时，通过基于丰度的解混、真实的退化建模和区域自适应处理，在非重叠区域重建光谱信息。
• 真实退化建模：我们通过渐进式参数优化设计了PSF-MoE模块，能够捕捉多种传感器配置下的真实模糊模式，实现符合实际成像条件的精确退化建模。
• 区域感知特征路由：我们引入了RAMoE机制，根据区域条件进行特征路由，为重叠区域、非重叠区域和过渡区域提供定制化的处理方案。
• 实际卫星验证：我们在ZY1-02D卫星图像上进行了实际验证（结合无人机地面真实数据），并在 established benchmarks 上展示了先进性能。

本文其余部分的结构如下：第2节回顾相关研究；第3节详细介绍所提出的框架；第4节展示实验结果；第5节总结全文。

相关研究
过去十年中，高光谱和多光谱图像融合在模型驱动和数据驱动范式中取得了显著进展，尤其是对非重叠场景的关注日益增加。我们从三个方面回顾了相关研究：非重叠融合方法、退化建模对端元重建的影响，以及针对复杂场景的自适应处理机制。

提出的方法
在本节中，我们介绍了非重叠高光谱-多光谱融合的框架。首先概述了方法论和问题定义，然后详细描述了PSF-MoE模块和具有区域感知处理的FusionNet，最后阐述了训练策略和损失函数。

帕维亚大学数据集
帕维亚大学数据集使用ROSIS-3传感器在意大利帕维亚地区采集，包含103个光谱波段（430–860 nm），空间分辨率为1.3米。去除噪声波段后，保留了93个波段。根据Wald的协议（Wald和Ranchin，1995年），我们构建了：大小为336 × 336 × 93的参考HrHSI、通过高斯模糊和3倍下采样得到的大小为112 × 112 × 93的LrHSI，以及通过WorldView-2光谱响应整合得到的大小为336 × 336 × 3的HrMSI。

结论
随着高光谱卫星的广泛部署，通过HSI-MSI融合获取高分辨率图像的需求显著增加。然而，由于传感器视场狭窄导致的空间覆盖不完整仍是一个实际问题。尽管研究兴趣日益浓厚，但在多变观测条件下的有效重建仍是一个亟待解决的问题。在本研究中，我们提出了一个区域感知融合框架，利用了……（此处原文信息缺失）

作者贡献声明
高阳宇：撰写——原始草稿、方法论、概念构建；
黄宝森：撰写——原始草稿、可视化、验证；
高连茹：监督、项目管理、资金申请；
安东尼奥·普拉扎：撰写——审阅与编辑、监督；
郑轲：撰写——审阅与编辑、研究设计；
张冰：数据整理。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢
本研究得到了中国国家自然科学基金[项目编号42325104、42471380]、中国遥感与数字地球国家重点实验室开放基金[项目编号OSLRSS202507]以及山东省自然科学基金[项目编号ZR2024QD042]的支持。