用于高光谱图像解混的多时相潜在动态框架
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Multitemporal latent dynamical framework for hyperspectral images unmixing
【字体:
大
中
小
】
时间:2026年05月14日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
李瑞英|潘斌|马岚|徐霞|石振伟
天津南开大学LEBPS、KLMDASR和LPMC统计与数据科学学院,中国天津300071
摘要
多时相高光谱解混能够捕捉材料的动态演变。尽管这种方法具有这样的能力,但目前的方法更注重端元的变异性,而忽略了丰度动态的变化,这促使我们采
李瑞英|潘斌|马岚|徐霞|石振伟
天津南开大学LEBPS、KLMDASR和LPMC统计与数据科学学院,中国天津300071
摘要
多时相高光谱解混能够捕捉材料的动态演变。尽管这种方法具有这样的能力,但目前的方法更注重端元的变异性,而忽略了丰度动态的变化,这促使我们采用神经常微分方程来对丰度进行时间建模。然而,这一动机受到了两个挑战的阻碍:定义、建模和解决问题本身的复杂性,以及缺乏理论支持。为了解决上述挑战,本文提出了一个多时相潜在动态(MiLD)解混框架,该框架通过理论验证捕捉材料的动态演变。MiLD包括问题定义、数学建模、解决算法和理论支持。我们通过建立常微分方程并发展潜在变量来制定多时相解混问题定义。我们利用动态离散化方法将多时相解混转化为数学模型,这些方法用数学表达式描述了观测序列图像的离散性。我们提出了一种算法来解决这一问题,并利用神经网络近似材料的动态演化过程。此外,我们还提供了理论支持,验证了关键属性的一致性、收敛性和稳定性定理。MiLD的主要贡献包括:通过常微分方程定义问题,利用动态离散化方法进行建模,通过多时相解混算法解决问题,并提供理论支持。我们对合成数据和真实数据集进行了实验,我们的方法在合成数据集1上的NRMSEA评分达到了0.243,比MUFormer高出0.012。结果验证了我们工作的有效性。我们的代码将在https://github.com/Lab-PANbin上提供。
引言
高光谱图像包含丰富的光谱信息(Z. Li等人,2025年),从而在自然资源监测(Sahoo等人,2025年;Meerdink等人,2025年)、气体分析(Du等人,2025年)和矿物检测(Ke等人,2024年;Habashi等人,2025年)等多个领域引发了各种图像处理任务。然而,高光谱图像中存在的低空间分辨率导致了像素混合(De Luca等人,2024年;Li等人,2022年),这阻碍了材料的识别(Fu等人,2022年;Ma等人,2024年)。高光谱解混可以通过提取纯光谱(端元)及其对应的系数(丰度)来解决像素混合问题(Nascimento和Dias,2005年;Zhou和Rodrigues,2024年)。解混方法通常依赖于不同的混合模型,可以分为线性或非线性类型(Bioucas-Dias等人,2012年;Tao等人,2024b年)。其中,线性混合模型(LMM)将观测到的像素表示为端元的加权和,权重对应于丰度(J. Hu等人,2024年)。由于简单性和可解释性,LMM被经典地用于解决解混问题(Tao等人,2024a年)。基于LMM的方法可以归纳为几种类型,包括几何方法(Huang等人,2025年)、统计方法(Deng等人,2024年)、非负矩阵分解(Feng等人,2025年)、稀疏回归(Xu等人,2021年)和深度学习方法(Chen等人,2023年)。上述大多数方法都专注于单一的高光谱图像,称为单相高光谱图像解混。尽管单相解混具有潜力,但它无法全面洞察材料的时间演变。
最近,传感器可以获取多个时间阶段的高光谱图像(M. Hu等人,2024年),包括多年观测(Liu等人,2023年)、多个月观测(Abbas等人,2021年)、多阶段观测(Xu等人,2023年),甚至是视频序列(Chen等人,2025年),这些图像为动态分析提供了多时相高光谱数据(Tu等人,2024年;Huo等人,2024年)。因此,多时相高光谱解混(MTHU)引起了极大兴趣,其目标是开发方法来捕捉端元及其丰度的演变(Henrot等人,2016年;Sigurdsson等人,2017年)。通过分析时间信息(Yokoya等人,2017年),MTHU已在许多应用中得到广泛应用,例如植物生产(Iordache等人,2014年)和热带森林退化监测(Bullock等人,2020年)。目前关于多时相解混的研究主要关注端元的探索,这与光谱变异性(Henrot等人,2016年;Thouvenin等人,2016b年)和端元动态(Drumetz等人,2020年;Borsoi等人,2022年)密切相关。此外,还开发了从统计学角度出发的模型(Borsoi等人,2023年)。例如,在多时相解混中采用了贝叶斯方法来结合复合先验信息并推断材料动态演变(Liu等人,2022年)。特别是,Wang等人将光谱解混扩展到了时空域(Wang等人,2021年)。还提出了一种用于多时相解混的变换器结构,以捕获丰富的多维信息(H. Li等人,2025年)。上述方法展示了它们在模拟端元动态演变方面的能力。
尽管先前的研究取得了有希望的结果,但它们可能忽略了丰度的动态演变。目前的研究通常将丰度简单地建模为时间上的线性变换(例如,At=At?1+Δt)或通过指定条件概率(例如,At~Pθ(At|At?1))。前者可能不足以捕捉丰度的时间依赖变化,而后者在分布信息方面存在挑战,并且计算复杂度高(详见第2.1.2节)。这些限制可能会阻碍丰度估计,可能导致对材料动态随时间变化的解释不准确。因此,应该通过考虑丰度的时间变化来获得更有效的结果。
我们方法的动机是联合以动态方式建模丰度和端元。为了直接操作丰度,我们通过使用自动编码器(Su等人,2019年;Jin等人,2023年)将丰度表示为潜在变量,自动编码器是常用的解混工具(Hong等人,2022年;Gao等人,2022年)。然后我们可以在潜在空间中将时间依赖的丰度视为时间序列建模过程来操作。此外,受神经常微分方程(neural ODEs)的启发(Chen等人,2018年;Rubanova等人,2019年),这些方程提供了强大的算法来学习时间序列建模的时间动态(Kidger等人,2020年;Li等人,2023年)。神经ODEs也被应用于高光谱领域(Zhang等人,2024年)(见第2.2节)。基于先前的研究,本文旨在基于神经ODEs开发一个潜在动态框架,以描述丰度的演变并建模端元的变异性。然而,使用神经常微分方程进行多时相解混可能会面临两个挑战:
1. 如何构建有效的问题定义、数学模型和解决算法。图像的离散性与ODE的连续性相反,当前的简单ODE模型限制了它们捕捉复杂动态的能力。
2. 如何提供理论支持。在解决多时相高光谱解混问题时,ODE的重要属性尚未得到保证。
为了解决上述问题,本文提出了一个多时相潜在动态(MiLD)解混框架,该框架通过理论验证捕捉材料的动态演变。MiLD定义、建模、解决和支持多时相高光谱解混问题。为了定义问题,我们将丰度表示为潜在变量,并通过两个属性重新设计常微分方程的微分形式。为了建模问题,我们开发了动态离散化方法,用数学表达式描述不规则图像的离散性并进行改进。为了解决问题,我们提出了一种多时相解混算法,利用神经网络近似材料的复杂动态演变。此外,为了提供理论支持,我们证明了建模的一致性和收敛性定理以及算法的稳定性定理。MiLD的主要贡献可以总结如下:
1. 我们提出了问题公式来定义多时相解混,通过常微分方程进行建模,并将丰度表示为潜在变量。
2. 我们提出了用于问题建模的动态离散化方法,用数学表达式描述多时相图像的离散性。
3. 我们提出了一个框架来近似离散化函数,设计了一个潜在动态层来捕捉丰度动态。
4. 我们提供了理论支持,验证了我们框架的关键一致性、收敛性和稳定性属性。
本文的其余部分结构如下:第2节描述了相关工作。第3节介绍了所提出的算法并验证了其属性。第4节描述了在合成数据和真实数据集上的实验结果。
方法论
在本节中,我们详细介绍了所提出的MiLD。MiLD的流程图如图1所示,包括问题定义、数学建模、改进、算法和理论支持。在第3.1节中,我们通过潜在空间中的常微分方程定义了多时相高光谱解混(见方程(13))。在第3.2节中,我们将多时相高光谱解混描述为数学模型,并将方程(13)离散化为(21)。在第3.3节中,我们...
实验
为了评估所提出的MiLD的有效性,我们使用一个真实数据集和两个合成数据集进行了实验,并将其与六种基准算法进行了比较。我们从定性和定量两个方面考虑了两个评估指标。
结论
在本文中,我们提出了一个多时相潜在动态(MiLD)解混框架。MiLD通过理论分析捕捉材料动态的演变来定义、建模、解决和支持多时相解混。问题定义通过由潜在变量执行的常微分方程来制定。问题建模通过动态离散化方法获得,这些方法发展了数学表达式来描述图像的离散性。
作者贡献声明
李瑞英:撰写——审稿与编辑、撰写——原始草稿、可视化、方法论。
潘斌:撰写——审稿与编辑、资金获取、概念化。
马岚:验证、软件。
徐霞:撰写——审稿与编辑、形式分析。
石振伟:监督、项目管理、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本项工作得到了中国国家重点研发计划(项目编号2022YFA1003800)、国家自然科学基金(项目编号62571273、62125102和U24B20177)以及天津市自然科学基金(项目编号25JCLMJC01090)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号