基于物理约束的融合与先验引导的分类框架在遥感感知中的应用

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Physics-Constrained Fusion and Prior-Guided Classification Framework for Remote Sensing Perception

【字体: 大 中 小 】 时间:2026年07月18日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  •一种用于遥感感知的融合与分类框架。•物理约束展开Transformer可实现可解释的HSI–PAN融合。•通过融合数据感知先验的物理感知双先验分类网络。•跨域空间-光谱注意力机制可增强特征表达能力。 引言 由于在波长维度上能够捕获丰富的光谱信息,高光谱图像能够实现材料的高精度

  •一种用于遥感感知的融合与分类框架。•物理约束展开Transformer可实现可解释的HSI–PAN融合。•通过融合数据感知先验的物理感知双先验分类网络。•跨域空间-光谱注意力机制可增强特征表达能力。

引言
由于在波长维度上能够捕获丰富的光谱信息,高光谱图像能够实现材料的高精度光谱区分[1],从而显著提升土地覆盖分类、定量成分分析以及目标检测等任务的准确性与可靠性。因此,获取兼具高空间分辨率和高光谱分辨率的遥感图像——即高分辨率高光谱图像(HR–HSI)——对于提高遥感应用的效果至关重要。

然而,在实际采集过程中,成像传感器的物理限制导致了空间分辨率与光谱分辨率之间的固有trade-off。有些传感器生成的低分辨率高光谱图像(LR–HSI)虽然包含详细的光谱信息,但空间清晰度较低;而另一些传感器则能获取高分辨率的全色图像(HR–PAN),这类图像具有精细的空间细节,但仅包含一个宽光谱带[2]。这种空间信息与光谱信息的分离会对后续任务,尤其是土地覆盖分类产生负面影响:空间分辨率降低会导致物体边界模糊,混合像素比例上升;而光谱分辨率不足则会影响对具有相似光谱特性的材料进行区分的能力。

为弥补这一缺陷,人们开发了HSI–PAN融合技术(也称为高光谱超分辨率技术)[3],旨在恢复高空间分辨率的高光谱图像,从而使后续应用能够同时受益于精细的空间结构与丰富的光谱特征。尽管已有大量研究致力于提升融合质量或开发更有效的分类模型,但相关研究仍存在较大分散性:如图1(A)所示,分类算法通常在标准基准数据集上进行训练和评估,而这些数据集的分布并不能完全反映现实世界的观测情况;而融合方法则多以像素级重建指标为优化目标,未充分考虑后续任务(如分类或检测)的需求[4]。这种分离会导致实际应用中的问题:那些在重建指标上表现优异的融合结果未必能提升分类精度;在标准数据集上训练的分类器在应用于融合后的伪真实高光谱数据时,可能会出现领域不匹配或鲁棒性下降的问题;更广泛地说,从感知到决策缺乏端到端的考虑,限制了遥感信息处理流程的实际应用价值。

在本研究中,我们旨在通过一种基于物理约束的融合与先验引导分类框架,实现成像与感知的衔接。如图1(B)所示,其核心思路是利用在融合过程中学习到的、基于物理规律的表示作为结构化先验,来提升后续分类性能。具体而言,首先开发了一种物理约束展开Transformer(PUT),用于从真实的LR–HSI和HR–PAN观测数据中重建HR–HSI。该融合过程被构建为一个约束优化问题,并通过受近端梯度下降启发的迭代更新方式求解,从而确保结果的可解释性,并与成像退化模型保持一致。

在展开框架中,拉格朗日乘数将目标函数分解为数据一致性项、先验学习项以及双更新项。为了在不进行显式矩阵求逆的情况下高效近似逆退化操作,本研究采用了高阶诺伊曼级数展开[5]来建模混合算子,这在降低计算复杂度的同时保持了物理意义上的可解释性。在先验建模方面,设计了一种嵌入在空间-光谱协同块(SSSB)中的跨域空间-光谱注意力(SSA)机制,用于同时捕捉空间结构与光谱相关性。这种表示方式不仅有助于实现符合物理规律且光谱一致性的重建,还能为后续的感知任务提供可迁移的空间-光谱特征。

在利用以重建为导向的目标函数训练完融合模块后,该模块学到的基于物理规律的光谱权重图与空间-光谱表示会被作为结构化先验传递给专门的分类网络。分类模块采用双分支架构,整合两种互补的信息来源:(1)来自融合过程的先验,它们包含了基于重建逻辑的光谱语义信息;(2)原始的LR–HSI和HR–PAN观测数据,它们提供了真实的空间与光谱信息。在融合-先验分支中,由展开过程生成的光谱权重图被用作注意力引导,促使分类器重点关注那些在物理上可靠且光谱上一致的区域。与此同时,数据-先验分支则直接通过相同的SSA机制对LR–HSI和HR–PAN进行编码,使分类器能够在统一的表示空间中充分利用全色图像的精细空间细节以及高光谱图像的光谱连续性。

通过将融合阶段得到的基于物理规律的先验与分类阶段的真实传感器观测数据相结合,所提出的框架构建了一个连贯的从融合到感知的处理流程。该方法并非依赖梯度层面的联合优化,而是通过结构化先验的传递与表示的重用,提升了分类的鲁棒性及区分能力。在真实数据集上的实验结果表明,引入基于物理规律的融合先验能够在保持高保真高光谱重建的同时,持续提升分类性能。

本工作的主要贡献可总结如下:
1) 我们提出了一种基于物理约束的融合与先验引导分类框架,该框架在真实传感约束下,通过结构化先验的传递,将高光谱重建与后续分类任务联系起来。
2) 为HR–HSI的重建,设计了结合诺伊曼级数展开与SSSB先验学习的物理约束展开Transformer融合算法。
3) 提出了一种物理感知双先验分类网络,该网络同时利用融合得到的光谱权重图以及真实的LR–HSI/HR–PAN数据作为双重先验,从而提升分类精度。
4) SSA机制实现了跨模态特征交互,从而在真实数据集上提升了融合质量与分类精度。

相关研究
在以往的研究中,高光谱图像融合与后续分类往往被独立研究,对其内在的相互依赖性考虑不足。为全面梳理相关研究,本节将从三个视角进行综述:图像融合方法、图像分类技术,以及近期同时建模融合与下游语义分析的多任务框架。

图像融合网络概述
设目标高分辨率高光谱图像为X∈RH×W×B,其中H、W分别为空间维度,B为光谱带数量。观测到的低分辨率高光谱图像YHS∈Rh×w×B(其中h = H/s,w = W/s)可表示为:
YHS = (X*K)↓s + NHS
其中*表示与空间模糊核K∈Rk×k的卷积,↓s表示以因子s进行均匀下采样,NHS为加性噪声。

全色传感器通过其光谱响应函数r∈RB(满足∑brb=1)对各个光谱带进行整合。高分辨率全色图像YPAN∈RH×W×1的表达式为:
YPAN(i,j,1) = ∑b=1BrbX(i,j,b) + NPAN(i,j,1)

数据集的预处理
为验证所提出的融合-分类框架的有效性,我们在四个基准数据集上进行了模拟融合实验,并在两个真实遥感数据集上开展了实际的融合-分类实验。
a) 印度数据集[43]:原始图像的空间尺寸为2678×614,包含220个光谱带。为便于训练,该图像被划分为64×64大小的块,共得到2597个大小为64×64×220的训练样本。测试时选取了512×512×220大小的子区域。
b) 帕维亚数据集[44]:原始图像……

结论
在本研究中,我们提出了一种基于物理约束的融合与先验引导分类框架,旨在缩小高光谱遥感中像素级融合质量与任务级感知效果之间的差距。该框架并未强制进行联合优化,而是建立了一条逐步推进且具有可解释性的流程,将基于物理规律的融合与面向任务的分类有机结合。

此外,还开发了物理约束展开Transformer(PUT)用于实现……

CRediT作者贡献说明
Bin Wang:写作——审稿与编辑、写作——初稿撰写、可视化、验证、方法论设计。Xingchuang Xiong:验证、软件开发、研究工作、资金获取、形式分析、数据整理。Yusheng Lian:写作——初稿撰写、方法论设计、资金获取。Kun Yu:写作——审稿与编辑、可视化、项目监督、资金获取、形式分析。Zilong Liu:写作——审稿与编辑、项目管理工作、资金获取、形式分析、数据整理。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号