用于遥感图像细粒度多模态全景感知的自适应一致性学习

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Adaptive consistency learning for fine-grained multimodal panoptic perception of remote sensing images

　　多模态遥感解译为地球观测提供了互补的观测线索。然而，现有的解译方法大多将异构任务孤立处理，导致解译能力受限，场景理解不足。此外，异构监督信号在空间精度、语义密度和优化行为上差异显著，使得跨模态协作困难。为应对这些挑战，我们提出一个统一的多模态全景感知框架，联合建模结构化视觉解析和语言语义生成。该框架将异构监督建模为任务特定知识流，并在其演化过程中实现渐进式跨任务语义交互，同时保留任务特定表示。具体而言，共享编码器多流解码框架（SMD）构建公共视觉证据基座和任务特定解码流，以保留任务特定的学习动态。跨模态一致性交互（CMCI）在演化的任务流之间构建潜在一致性感知知识空间，使每个流能够选择性地整合相关的跨任务语义，同时一致性约束调节交互。不确定性加权动态平衡（UDB）根据优化不确定性和交互难度，自适应协调模态特定目标与交互目标。在两个多模态遥感数据集上的实验证明了所提方法的有效性。特别地，所提框架在FineGrip上分别比现有单模态基线在细粒度分割和语义描述方面提升2.9%和6.1%。引言高分辨率遥感解译正从孤立的视觉识别走向细粒度、多层次的场景理解。在实际监测、监视、基础设施评估和决策支持场景中，模型仅检测若干显著目标或赋予粗略标签已不再足够。可靠的解译需要识别细粒度对象（W. Li等，2024）、解析结构化区域（Cheng等，2022）以及捕获对象-上下文语义（Lu等，2018）。随着亚米级遥感影像的日益普及和对业务智能需求的增长，细粒度多层次全景解译已成为综合地球观测的基本问题（Zhao等，2024；Yuan等，2024）。尽管近期有所进展，细粒度遥感解译仍然具有挑战性，因为微妙的类间差异、大尺度变化、密集空间分布和复杂上下文使识别和结构解析变得复杂（K. Li等，2020；Sun等，2022）。更重要的是，遥感中高质量的像素级标注昂贵且劳动密集。不同模态的监督信号在空间精度、语义密度和优化特性上也存在显著差异，使得在有限配对数据下进行联合学习尤为困难（Zhang和Yang，2021；Sener和Koltun，2018）。因此，核心挑战不仅在于设计更强的分割头或语言解码器，还在于高效可靠地利用异构监督信号实现全面场景理解。现有范式通常遵循孤立任务学习（W. Li等，2024；Cheng等，2022；Lu等，2018；Liu等，2022）或粗粒度多任务耦合（Zhao等，2024；Radford等，2021；Yuan等，2026）。孤立任务学习忽略跨任务互补性，仅利用任务特定信息，可能导致结构解析不完整或语义描述不一致，如图1(a)所示。相反，粗粒度多任务耦合通常依赖简单特征共享或辅助式任务耦合，可能在异构监督下引起干扰。然而，不同形式的监督本质上是互补的：结构解析提供关于对象、区域、边界和布局的精确信息，而语言监督总结类别、数量、场景功能和对象-上下文关系。然而，现有全局对齐（Radford等，2021）或通用特征级交互对异构任务流之间有效的细粒度交互支持有限。为解决这些问题，我们提出CKINet，一个用于细粒度遥感解译的统一多模态全景感知模型。CKINet通过自适应一致性学习实现跨任务知识交互。该模型通过任务特定查询流表示异构视觉-语言监督。共享编码器多流解码框架（SMD）构建公共多尺度视觉证据基座，同时保留结构化解析和语义描述的任务特定解码动态。我们假设不同任务空间可以在公共潜在空间中表现出一致的高层知识模式，为跨模态协作提供语义基础。据此，跨模态一致性交互（CMCI）在两个演化的查询流之间构建共享知识一致性空间，以促进渐进式知识交换，如图1(b)和(c)所示。与主要对齐已形成表示的原型方法不同，CMCI构建共享潜在原型，聚合来自两个任务流的高层语义。在解码过程中，每个流选择性地整合与其当前查询状态相关的跨任务知识，同时语义-特征一致性约束交互。不确定性加权动态平衡（UDB）进一步将演化的跨模态交互形式化为显式优化目标，并通过不确定性估计自适应平衡结构、语言和交互目标。交互难度锚定根据演化语义兼容性调整跨模态耦合，而权重稳定性正则化防止异构目标间的不稳定或退化加权。在FineGrip和DLRSD–UCM多模态遥感数据集上的实验证明了所提方法有效的跨模态协同增强。在FineGrip的细粒度解译中，CKINet在ResNet-50和Swin-L骨干下分别将联合基线在PQ???上提升1.59和1.33点，在BLEU-4上提升2.33和0.40点。本工作的主要贡献总结如下：•我们提出一个端到端的统一多模态全景感知模型，联合建模任务特定学习动态和一致性感知的跨模态交互，用于遥感影像的细粒度多模态解译。•我们提出由跨任务知识一致性驱动的渐进式交互范式，协同增强异构信息，实现更全面和判别性的语义感知。•设计动态平衡机制，自适应调节异构模态特定目标和跨模态语义耦合，促进稳定优化和有效利用跨模态信息。•在两个多模态遥感数据集上的广泛实验证明了所提方法在多模态协同解译中的有效性，特别是在细粒度前景解析和识别方面。章节片段细粒度遥感解译遥感中的结构化视觉解译已通过语义分割（Long等，2015）、目标检测（Ren等，2016；K. Li等，2020）和实例分割（He等，2017；Zamir等，2019）进行研究，分别在像素、对象和实例层面表征俯视场景。全景分割进一步在单一公式中统一前景事物实例和背景区域（Kirillov等，2019；Cheng等，2020），提供更完整的问题表述和动机。问题表述和动机。给定细粒度遥感图像??，我们旨在学习统一多模态模型????，在异构监督下进行细粒度解译。该模型联合利用结构化视觉和语言语义信息，实现跨任务知识交互以丰富任务特定语义表示。对于训练集??={(????,????,????)}????=1，其中????和????分别表示分割标注和图像级语言标注，数据集FineGrip。我们在细粒度全景感知（FineGrip）数据集（Zhao等，2024）上评估所提模型，该数据集是基于清理和补充的MAR20影像（Yu等，2023）构建的细粒度多模态遥感基准。FineGrip为每个俯视场景提供配对的全景分割掩膜和图像级描述，支持结构化视觉分割和语言语义生成的统一评估。它包含2649幅高分辨率图像，涵盖多样结论本文提出CKINet，一个用于协同跨模态遥感解译的统一多模态细粒度全景感知模型。所提方法将面向模态的任务演化组织为互补信息流。CKINet通过由多模态知识一致性引导的渐进式交互，实现有效的跨模态协作和语义增强。动态平衡机制进一步缓解优化不平衡。CRediT作者贡献声明舒博旭：写作——审阅与编辑，写作——原稿，可视化，验证，方法学，概念化。赵丹培：写作——审阅与编辑，监督，资源，项目管理。袁博：写作——审阅与编辑，验证，监督。刘航健：调查，形式分析。李文涛：资源，形式分析，数据管理。李甜：可视化，调查。史振威：写作——审阅与编辑，监督。利益冲突声明作者声明，他们不存在已知的竞争财务利益或个人关系，这些可能影响本文所报告的工作。致谢本工作受国家自然科学基金资助，项目号62271018。舒博旭|赵丹培|袁博|刘航健|李文涛|李甜|史振威