基于内部结构引导的多光谱与高光谱图像融合模型(ISGM-Fus)研究

针对高分辨率多光谱图像(HR-MSI)与低分辨率高光谱图像(LR-HSI)融合中训练样本不足和模型性能受限的问题，上海理工大学团队提出内部结构引导融合模型(ISGM-Fus)。通过局部/非局部自回归模型捕获空间信息，结合分波段低秩先验提取光谱特征，在无额外训练样本条件下显著提升融合精度，为遥感图像处理提供新范式。

　　

在遥感成像领域，高光谱图像(HSI)因其丰富的光谱信息成为环境监测、军事侦察等应用的重要工具，但受传感器物理限制，其空间分辨率往往较低。与此同时，多光谱图像(MSI)虽具有较高空间分辨率，却牺牲了光谱维度信息。如何通过融合两类图像获取兼具高空间-光谱分辨率的HSI，成为学界持续攻关的难题。现有深度学习方法依赖海量训练样本，而传统模型方法又难以充分挖掘图像内部结构信息。

上海理工大学计算机科学与工程系的Cong Liu团队在《Neurocomputing》发表的研究中，创新性地提出内部结构引导融合模型(ISGM-Fus)。该研究通过设计局部/非局部自回归模型分别从LR-HSI和HR-MSI中提取空间结构特征，首创分波段低秩先验技术，依据LR-HSI光谱相关性将全波段划分为若干子波段进行独立低秩约束。实验表明，该方法在CAVE等三组数据集上均超越现有先进技术。

关键技术包括：1) 基于最小二乘法的非局部自回归权重计算；2) 利用ADMM(交替方向乘子法)求解非凸优化问题；3) 根据LR-HSI光谱相关性动态划分子波段。

研究结果显示：

1. 空间结构建模：局部自回归模型通过5×5图像块训练获得空间权重矩阵，非局部模型则从HR-MSI中搜索相似块构建全局约束，二者协同提升空间细节重建能力。
2. 光谱特征提取：分波段低秩先验将CAVE数据集31个波段划分为28+3子波段，其光谱相关性较全波段提升37.6%，有效抑制光谱失真。
3. 融合性能验证：在PNSR指标上，ISGM-Fus较传统CNMF(协同非负矩阵分解)方法平均提升4.2dB，较深度学习SSRNet提高1.8dB，且无需预训练。

该研究的突破性在于首次系统挖掘了观测图像自身的内部结构信息：空间维度通过自回归模型建立像素间非线性关系，光谱维度依据子波段相关性实施精准约束。这种"双管齐下"的策略为小样本场景下的图像融合提供了新思路，其模型可解释性也显著优于黑箱式的深度学习方法。团队开源代码的发布，更将推动该技术在农作物监测、矿物勘探等实际应用中的落地。未来研究可进一步探索自适应子波段划分机制，以及在星地协同观测系统中的实时处理潜力。