关注场景中的对象关系：一种用于红外与可见光图像融合的多协作图结构框架

《Information Fusion》：Focusing on Object Relations in Scenes: A Multi-collaborative Graph-structured Framework for Infrared and Visible Image Fusion

　　我们提出了一种新颖的基于场景图的IVIF框架，名为GraTIR。实现了一种关系到图模块，以获取关系图特征。我们采用了全局自适应解码器，以确保整体性能。首次引入场景图生成（SGG）来使用IVIF-SG数据集评估融合结果。大量实验证明，GraTIR能够表现出色。## 引言在某些复杂的挑战性环境中，单一传感器捕获的图像可能存在固有缺陷[1]、[2]、[3]。以低光照或烟雾弥漫的场景为例，RGB传感器获取的可见光图像无法清晰地揭示物体，例如行人和车辆。红外成像利用热传感器接收物体因温差而发出的红外电磁辐射，但不提供与可见光图像中相当的纹理细节。因此，引入红外与可见光图像融合（IVIF）作为解决方案是必要的，它从红外和可见光图像中提取互补信息并将其整合为一张融合图像[4]。作为多模态成像技术的一个重要分支，IVIF已被广泛应用于多模态检测[5]和跟踪[6]。过去几十年来，研究人员逐渐从传统方法转向基于深度学习的方法来研究IVIF任务。传统方法通常将源图像映射到不同的矩阵进行计算，包括多尺度分解[7]、脉冲耦合神经网络[8]等。随着深度学习的广泛应用，繁琐的手工传统方法已被取代。研究人员利用深度学习强大的特征表示能力从源图像中获取有用信息以构建融合图像。视觉驱动[9]、[10]、任务驱动[11]、[12]和文本驱动[13]、[14]的IVIF框架已成为主流方法。视觉驱动方法设计不同的融合模块从源图像中学习目标特征，从而产生具有良好视觉效果的融合结果。在任务驱动框架中，来自其他领域的模型被合并到融合网络中以指导训练，从而能够在上游或下游任务中保持先进性能。视觉语言模型（VLMs），如对比语言图像预训练（CLIP）[15]的出现，为实现文本驱动IVIF框架提供了一种可行的方法。尽管上述方法可以从不同角度增强融合图像的质量，但仍存在一些需要解决的局限性：**(i)** 当前的融合网络通常强调融合结果中的细粒度纹理和目标特定特征，而忽略了物体之间的空间关系。这可能损害融合图像在场景理解方面的能力[17]。**(ii)** 当将文本信息融入融合网络时，使用VLMs生成与源图像对齐的文本描述，有时还需要进一步手动精炼或标注。然而，某些文本（例如"这是一张……的图片"）被编码为无关特征，干扰训练，无法以高效的方式对场景进行简单直接的描述[18]。**(iii)** 文本可以通过文本编码器转换为特征，然后输入学习过程，作为图像特征的补充并丰富融合结果的表达性。这种方式在文本层面对融合网络缺乏监督[19]。**(iv)** 传统方法通过一些全局解码器提升融合图像的整体表示能力，但它们通常将学到的特征不加区分地输入解码器，而不是分层组织它们[20]。因此，之前的研究在结合文本和图像特征以增强融合结果中物体间空间表达力方面仍然不足。为了解决上述挑战，本文提出了一种新颖的图结构框架，具有文本-图像-关系协同表示能力，命名为GraTIR，从场景关系的角度实现IVIF任务。具体来说，我们首先在融合网络中引入场景图生成模块，以捕获源图像中物体之间的位置关系，该模块能够自动提取场景对齐的三元组描述，即<主体-谓词-客体>。为了匹配基于图神经网络的骨干网络，我们提出了一个关系到图模块，从提取的三元组构建关系图特征。它能够在语义层面将有意义信息注入融合结果，作为空间相关性的显式表示。全局自适应解码器进一步对视觉和语义特征进行分层解码，旨在使融合表示在各个领域展现出鲁棒且高质量的性能。此外，我们在微调阶段利用场景图生成模块，并执行场景图损失为GraTIR的优化提供监督。除了使用目标检测和图像分割作为下游任务外，我们还引入场景图生成任务来评估融合结果的场景理解能力。如图1所示，我们在现有数据集的典型场景上构建了一个名为IVIF-SG的数据集，其中包含场景图标注，每个场景包含10个三元组关系。图2中展示定性和定量结果表明，我们的方法实现了优越的融合和下游任务性能，同时保持了具有竞争力的客观分数。主要贡献总结如下：- 我们提出了一种新颖的基于场景图的IVIF框架GraTIR，它显式地建模源图像与三元组之间的关联，以增强融合性能及场景内物体的相对空间关系。在微调阶段还采用了场景图损失，在文本层面对融合网络进行监督，从而促进更完整的场景表示。- 为使融合网络能够学习位置信息，实现了一种关系到图模块，将注意力图和三元组描述转化为结构化关系图特征。该设计确保提取的特征在不同层级上有效运作，即视觉和语义层面。- 为实现学习特征更精确的解码，我们在融合网络中应用了全局自适应解码器。因此，来自不同分支的关键信息可以得到突出，旨在确保融合图像的整体性能。- 通过对IVIF中典型场景进行场景图标注，我们构建了IVIF-SG数据集。此外，首次将场景图生成作为下游任务引入IVIF，以评估融合结果的场景理解能力。- 与14种最先进方法相比，大量实验证明GraTIR不仅能生成视觉吸引力强的融合图像，而且在下游任务中表现出优异的结果，特别是在场景图生成方面。## 章节摘要### 相关工作本节从三个方面回顾相关工作：第2.1节关于红外与可见光图像融合，第2.2节关于图神经网络，第2.3节关于场景图生成。### 所提方法本节详细描述所提方法。我们首先阐述动机（第3.1节）和框架概述（第3.2节）。随后，第3.3节、3.4节和3.5节分别讨论场景图生成模块、关系到图模块和全局自适应解码器的细节。最后，第3.6节描述训练和微调阶段使用的损失函数。### 实验本节详细阐述实验的所有方面。第4.1、4.2和4.3节给出设置、数据集和对比方法。第4.4和4.5节通过对比和消融实验展示GraTIR的优越性。### 讨论我们在基线框架[42]中加入SGG模块、R2G模块和GAD，并使用SGG模块进一步进行微调。消融实验表明，我们设计的方法取得了优越的融合结果和强大的下游任务性能。作为补充讨论，我们在融合和微调阶段通过用检测模块或分割模块替换SGG模块进行实验。注意，我们仅用检测模块或分割模块替换SGG模块。### 结论本文提出了一种具有文本-图像-关系协同表示的图结构框架来实现IVIF任务。我们首先引入SGG模块获取源图像的注意力图和三元组描述。R2G模块随后利用它们推导场景的关系图特征，其中包含丰富的位置信息以增强融合结果的场景理解能力。所提出的GAD提供了更有效的分层方式来解码特征。### CRediT作者贡献声明**李嘉玮：** 撰写——初稿、验证、方法论、概念化。**于宏伟：** 可视化、软件、数据管理。**丁新龙：** 资源、方法论、形式分析。**王恩龙：** 验证、方法论。**刘乾坤：** 撰写——审阅与编辑、调查。**刘金远：** 形式分析、概念化。**马慧敏：** 监督、资金获取。**陈建生：** 撰写——审阅与编辑、监督、项目管理、资金获取。## 利益冲突声明作者声明没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。