一种用于遥感图像的共识感知视觉问答方法

《Pattern Recognition Letters》：A Consensus-aware Visual Question Answering Method for Remote Sensing Images

　　

• •
  所提出的共识感知RSVQA模型能够挖掘深层的视觉-语言语义信息。
• •
  构建概念相关性图以增强语义推理能力。
• •
  双分支编码器将CLIP的全局语义与CNN的局部细节相结合。
• •
  基于共识的特征调整方法将概念特征与数据特征进行整合。

引言

光学传感器、数字图像处理技术和地理信息系统的发展，使得高分辨率遥感图像（RSI）越来越易于获取[1]。这些由航空器和卫星平台获取的遥感图像能够有效支持各种实际应用，包括土地利用/土地覆盖分类[2]、[3]以及灾害预警[4]。然而，与自然图像相比，遥感图像通常展现出根本不同的数据特征，例如大尺度覆盖和多光谱波段信息。此外，由于复杂的地形特征、物体分布和环境因素，对遥感图像进行准确的语义分析极具挑战性。

为了获得全面且类似人类理解的遥感数据，自然语言处理（NLP）已被引入到许多应用任务中，以增强模型对遥感的分析能力，包括图像描述生成[5]、图文检索[6]、[7]和视觉问答（VQA）[8]、[9]。其中，VQA是遥感领域中一项相对困难的多模态任务，通常涉及计算机视觉（CV）、NLP以及关系推理技术等多种先进技术的整合。值得注意的是，研究人员在RSVQA领域已取得了一些进展。例如，Lobry等人[10]构建了一个精心设计的RSVQA数据集。在文献[11]中，采用互注意力机制实现了遥感多模态数据之间的特征对齐。在文献[12]中，采用课程学习策略来处理RSVQA中的复杂问题。近期，一种空间层次推理网络被开发出来，以有效捕捉遥感图像中复杂的空间关系[13]。

然而，现有的大多数RSVQA方法侧重于图像特征的提取，而忽略了文本问题中的深层语义信息，不可避免地限制了其对复杂图文关系的推理能力。为了更好地利用文本信息，我们可以从人类回答视觉问题的过程中汲取灵感。人类天生利用常识知识来对齐语义概念。例如，当面对"是否有一栋方形的住宅楼？"这个问题时，人们会自然地将"建筑"与一些相关概念（如"停车场"和"道路"）联系起来，这些概念在文本和图像中经常共同出现。这种共现关联能力能够实现快速准确的推理，从而促进对图像-问题对的更深入理解，如图1所示。

在本工作中，我们提出了一种面向遥感图像的共识感知视觉问答（CVQA）框架，该框架考虑了关键概念的共现信息。我们首先通过分析问题语料库中不同选定语义概念之间的统计共现关系，构建一个概念相关性图，从而实现共识感知的概念表示学习。为了生成具有高区分度的图像视觉特征，我们的模型引入了基于CNN的特征提取分支和基于CLIP的分支，用于挖掘丰富的全局语义信息和局部视觉细节。此外，原始文本问题被输入CLIP[14]以产生高质量的文本特征，随后将这两种模态的特征进行融合。融合后的特征进一步在共识层面进行细化，通过共识感知的表示学习实现跨模态对齐和答案预测。表1提供了本文所用缩写的完整列表。本文的主要贡献有三方面：

• •
  据我们所知，我们的工作率先在RSVQA中使用了共识知识。与现有方法不同，我们的模型利用问题语料库来学习共识感知表示，利用文本信息增强图像和文本之间的语义对齐。
• •
  我们提出了一种新颖的RSVQA框架，将CNN与CLIP模型集成用于图像特征提取，既能捕获局部细节，又能捕捉全局依赖关系。此外，引入图卷积网络（GCN）在训练阶段建模不同文本概念之间的关系。
• •
  在两个基准数据集上的实验结果清楚地表明，我们的方法在RSVQA任务上优于几种最先进的技术。

章节摘要

相关工作

与自然图像的VQA相比，RSVQA是一个相对较新且具有挑战性的研究课题。Lobry等人[10]率先开创了这一领域，通过构建一个专门的RSVQA数据集，而Zheng等人[11]提出了互注意力Inception网络，利用互注意力机制进一步提升了模型对图像和文本信息的理解能力。然而，这些方法通常难以应对遥感图像中地面物体之间的大幅尺度变化，这限制了它们的

方法

在本文中，我们提出了一种新的RSVQA方法，称为CVQA，该方法利用挖掘出的共识信息来指导推理过程以预测答案。CVQA的框架如图2所示。我们首先开发了一个用于图像及其相关文本查询特征提取的模块。之后，我们引入了一个基于GCN的共识感知特征提取网络，该网络专为视觉问答中出现的文本问题进行处理而设计

实验结果

我们在两个基准数据集上评估了所提出的方法：低分辨率（LR）数据集和高分辨率（HR）数据集[10]。每个数据集都包含遥感图像以及相应的问答对。请参阅附录了解实现细节。

结论

我们提出了一种用于RSVQA的共识感知框架，以改进图像特征处理和深层文本语义建模。通过构建概念相关性图，我们的方法从概念共现模式中学习方法习得的共识感知概念表示，从而在视觉问答中实现对常识语义关联的显式建模。该框架将CNN和CLIP集成用于视觉和文本特征提取，并通过CMD增强两种模态。所学到的概念

CRediT作者贡献声明

常嘉铭：写作——审阅与编辑，方法学。张怡兵：写作——初稿撰写，验证。王珂：监督指导，资金获取。贾昭红：资金获取。叶红：写作——审阅与编辑，监督指导。

利益冲突声明

作者声明，在本研究、作者贡献或本文发表方面不存在潜在的利益冲突。作者声明，本研究的开展是在不存在任何可能被解释为潜在利益冲突的商业或财务关系的情况下进行的。

常嘉铭|张怡兵|王珂|贾昭红|叶红