《Pattern Recognition Letters》：Parallel Intra and Intermodal Attention Mechanism for Multimodal Object Detection
编辑推荐：
•提出了面向多模态目标检测的并行模态内与模态间注意力（PIIA）机制。•自注意力与交叉注意力以并行方式同时执行。•PIIA同时捕获模态内特征依赖关系和模态间关系。•所提出的模块可以无缝集成到现有的基于Transformer的融合框架中。•PIIA在DroneVehicle数据
- •
提出了面向多模态目标检测的并行模态内与模态间注意力（PIIA）机制。
- •
自注意力与交叉注意力以并行方式同时执行。
- •
PIIA同时捕获模态内特征依赖关系和模态间关系。
- •
所提出的模块可以无缝集成到现有的基于Transformer的融合框架中。
- •
PIIA在DroneVehicle数据集上将mAP@0.5提升了1.48%，在FLIR数据集上提升了0.40%。
引言
目标检测是计算机视觉中的基础任务，支撑着智能监控、自动驾驶和机器人导航等广泛应用。尽管单模态目标检测已取得显著进展，但大多数现有方法仅依赖RGB图像，在低光照、恶劣天气或复杂背景等挑战性条件下会出现明显的性能下降。
为缓解这些局限性，多模态目标检测通过融合来自不同来源的互补信息（如红外和可见光）而受到越来越多的关注。其成功的关键在于如何有效地融合不同模态的信息。近年来，深度学习的发展——尤其是基于Transformer的注意力机制的引入——极大地推动了多模态融合策略的进步[1]。然而，如何利用注意力机制充分挖掘模态内和模态间的交互潜力仍是一个开放挑战。
如图1所示，多模态图像通常具有不同的传感器特性和不一致的分辨率，这使得简单的融合策略效果不佳。基于Transformer的融合方法通常采用合并自注意力或交叉注意力机制。合并自注意力在应用自注意力之前直接拼接多模态特征，但它忽略了模态特定的差异，往往导致语义冲突。相比之下，交叉注意力仅关注模态间交互，而忽略了对于细粒度定位至关重要的模态内依赖关系。尽管一些近期工作尝试将自注意力和交叉注意力模块结合起来[2]，但它们通常采用顺序设计，无法模拟生物神经系统中观察到的并行且高效的处理方式。
尽管基于注意力的融合方法在RGB-红外目标检测中取得了令人瞩目的性能，但有效平衡模态内表示学习和模态间信息交换仍然具有挑战性。自注意力机制主要关注对每个模态内部的依赖关系进行建模，这可能会限制来自另一模态的互补信息的利用。交叉注意力机制增强了跨模态交互，但往往削弱了对模态特定特征的保留。顺序融合策略尝试结合这两种类型的交互；然而，预定义的处理顺序可能会引入对中间表示的依赖，并限制模态之间灵活的信息交换。
这些观察结果促使我们开发一种统一的注意力机制，能够在不依赖固定交互顺序的情况下，同时捕获模态特定的依赖关系和跨模态关系。
为了解决这些局限性，我们提出了一种并行模态内与模态间注意力（PIIA）机制，并设计了用于多模态融合的统一PIIA模块。与传统的顺序策略不同，PIIA以并行方式在每个模态内执行自注意力并在模态间执行交叉注意力。这种设计使模型能够同时捕获模态内特征相关性和模态间语义对齐。我们的方法受到现有混合注意力设计[3]的启发，同时在统一框架中显式建模模态内和模态间交互。
本工作的主要贡献总结如下：
- •
我们提出了一种统一的基于注意力的融合框架，称为并行模态内与模态间注意力（PIIA），用于RGB-红外目标检测中同时建模模态内依赖关系和模态间关系。
- •
我们设计了一种PIIA模块，该模块保留模态特定的查询表示并构建共享的多模态键值空间，从而实现模态特定特征与互补跨模态特征之间的自适应交互。
- •
在DroneVehicle和FLIR基准上的大量实验验证了PIIA的有效性。所提方法相比代表性的基于注意力的融合策略取得了持续改进。
各章节摘要
多模态目标检测
多模态目标检测通过整合来自不同传感器的互补信息来提高感知鲁棒性。在各种多模态检测任务中，RGB-红外（RGB-IR）目标检测由于其在挑战性场景（如低光照和恶劣天气条件）中的优势而受到越来越多的关注。RGB和红外模态的互补特性为鲁棒的目标感知提供了丰富的语义和热信息。
早期的
架构
为了在保留模态内特征交互的同时处理模态间差异，我们提出了并行模态内与模态间注意力（PIIA）模块。该模块以并行方式执行自注意力和交叉注意力操作，使其能够在探索模态内特征相关性的同时捕获模态间差异和关系。如图2(a)所示，多模态目标检测的典型架构由三个阶段组成：单模态特征提取、双模态
数据集与评估指标
DroneVehicle[5]是一个由无人机拍摄的大规模航空器数据集，包含28,439对配对的RGB和红外（IR）图像。这些图像覆盖了城市道路、居民区和停车场等多种场景，拍摄于不同的光照条件下，包括白天、黄昏和夜间。该数据集包含五类车辆：轿车、卡车、货运车、公交车和面包车。
FLIR[22]是一个具有挑战性的多光谱目标检测数据集，包含5,142对配对的RGB和
结论
在本文中，我们提出了一种新颖的并行模态内与模态间注意力（PIIA）机制，以解决现有基于Transformer的注意力方法在多模态目标检测中的局限性，特别是模态间差异、模态内特征交互不足以及顺序注意力处理导致的灵活性受限等挑战。通过并行执行自注意力和交叉注意力操作，我们的PIIA机制有效地探索
CRediT作者贡献声明
毛媛媛：撰写——原稿撰写。朱思宇：撰写——审阅与编辑。黄逸萍：软件。童强：软件。刘云凯：软件。刘秀磊：软件。
利益冲突声明
作者声明，他们不存在可能影响本文所述工作的已知竞争财务利益或个人关系。
毛媛媛 | 朱思宇 | 黄逸萍 | 童强 | 刘云凯 | 刘秀磊
