CMT-Det：一种用于道路场景目标检测的跨模态 Transformer 方法

《Measurement》：CMT-Det: A cross-modality transformer method for road scene object detection

　　

• 我们提出了 CMTF，通过跨模态注意力和全局上下文进行 RGB-T 融合。
• 我们提出了 DFEM，通过卷积和 Transformer 注意力进行方向增强。
• 我们提出了 SMAM，通过自适应多尺度融合来提高小目标感知能力。

引言

随着自动驾驶、智能交通系统以及无人感知系统的快速发展，道路场景目标检测已成为实现环境理解和安全决策的关键技术 [1], [2], [3]。该任务旨在通过从多源传感器收集的环境数据，精确识别和定位车辆、行人、障碍物和交通标志等关键物体，从而为路径规划、避障控制和智能决策提供可靠支持 [4], [5]。近年来，基于深度学习的目标检测算法在可见光（RGB）图像上取得了显著进展，代表性方法包括 Faster R-CNN [6]、YOLO 系列 [7] 和 DETR [8]。然而，这些算法高度依赖于光照条件，在夜间、雨天、雾天和逆光等复杂环境下性能显著下降。因此，它们无法在所有天气条件和场景下可靠地满足严格的检测要求。同时，与正常光照条件相比，低光或夜间场景下的检测性能可能会显著下降。此外，物体大小分布极不均匀，小尺度物体占未检测物体的大多数 [9], [10]。这些特征进一步凸显了在复杂道路环境中进行跨模态融合和尺度感知特征建模的必要性。

为应对这些挑战，多模态融合感知已成为研究焦点，其中 RGB 和热红外（RGB-T）融合因其互补性而受到特别关注 [11], [12], [13], [14], [15], [16], [17], [18], [19], [20], [21]。RGB 图像提供丰富的纹理、结构和语义信息，而热红外图像在低光或严重遮挡条件下可靠地反映物体的热辐射特性。结合这些模态可显著增强检测系统的可靠性和环境适应性。

然而，高效地整合这两种模态仍然是一个紧迫的挑战。Zhang 等人 [13] 提出了一种新颖的端到端跨模态显著目标检测网络，通过多级别特征提取和跨模态注意力融合整合 RGB 和热信息，在挑战性条件下实现了鲁棒且准确的检测。Liu 等人 [15] 采用跨模态融合模型，通过 Swin Transformer 实现分层特征提取。通过整合空间对齐和通道重校准，它整合了多模态特征。此外，边缘引导解码器优化了物体边界，从而能够在 RGB-D 和 RGB-T 模态下检测显著目标。Zhang 等人 [17] 提出了一种 RGB-T 跟踪器，采用交互式空间对齐模块实现精确的跨模态对齐。通过利用信息匹配融合（IMF）模块自适应地融合判别性局部特征，它解决了空间错位和模态差异的问题。Lv 等人 [20] 通过上下文感知互补推理（CACR）模块显式地对跨模态互补性进行建模，通过全局上下文建模（GCM）和细节聚合（DA）模块整合全局和局部信息。Zhou 等人 [21] 提出了一种针对未对齐 RGB-热成像数据的抗变形多粒度学习方法。该方法通过变形感知特征对齐模块（DFA）提高空间对齐准确性，通过互补特征聚合模块（CFA）整合互补模态信息，并利用多粒度掩码优化引擎（MMFE）细化目标边界。因此，它在已对齐和未对齐的 RGB-T 数据集上均实现了鲁棒且精确的分割性能。然而，传统的早期或晚期融合方法通常采用简单的特征拼接或加权策略，未能充分捕捉跨模态的深层语义关系。尽管使用卷积神经网络（CNN）的基于注意力的融合提供了改进，但其由于局部感受野导致的有限全局注意力仍然阻碍了整体模态依赖结构的建立。同时，RGB 和热红外图像在配准误差、特征分布和信息噪声方面的差异进一步增加了跨模态融合的复杂性。最近的进展通过改进跨模态表示学习、特征对齐以及在恶劣环境下的鲁棒场景理解，进一步推动了多模态道路场景感知。例如，Alazeb 等人 [22] 研究了受生物启发的自主系统多模态感知策略，而 Alshehri 等人 [23] 通过自适应感知机制进一步增强了跨模态场景理解。最近，Deng 等人 [24]、Liu 等人 [25]、Ren 等人 [26] 和 Huang 等人 [27] 探索了基于 Transformer 的多模态融合、自适应特征交互以及智能交通系统的鲁棒目标感知，证明了跨模态表示学习在复杂道路环境中的有效性。这些研究进一步激励了所提出的 CMT-Det 框架的开发。

本文提出了一种用于鲁棒 RGB-T 道路场景目标检测的跨模态 Transformer 模型（CMT-Det），旨在实现鲁棒的 RGB-T 道路场景目标检测。图 1 显示了 CMT-Det 与最先进方法的性能对比。

与现有的 RGB-T 目标检测方法相比，所提出的 CMT-Det 的新颖性在于三个方面。首先，CMT-Det 没有依赖传统的特征融合策略，而是引入了跨模态 Transformer（CMTF）来显式地建模 RGB 和热模态之间的长程依赖和互补交互。其次，设计了一种方向特征增强机制（DFEM）来加强细长和被遮挡道路物体的结构表示学习，这在之前的研究中探讨不足。第三，提出了一种尺度感知多级别注意力机制（SMAM）来联合利用多尺度上下文信息，从而在保留全局语义信息的同时，提高对小型和尺度变化目标的检测。这些创新共同增强了挑战性道路场景条件下 RGB-T 目标检测的鲁棒性。

与现有的主要强调跨模态注意力或特征融合的基于 Transformer 的 RGB-T 检测器不同，所提出的三个模块具有不同的设计目标。具体而言，CMTF 通过双向 Transformer 注意力专注于全局跨模态交互，DFEM 显式地增强道路物体的方向感知结构表示，SMAM 使用可学习注意力执行内容自适应多尺度聚合。这些模块通过分别解决模态交互、结构增强和尺度变化而相互补充。

本文的主要贡献如下：
1. 我们提出了一种跨模态 Transformer 融合（CMTF）模块，利用跨模态自注意力深度整合 RGB 和热特征，同时建模全局上下文依赖，从而在异构模态之间实现有效的信息互补和特征协同。
2. 我们提出了一种方向特征增强模块（DFEM），将方向卷积分支与局部卷积注意力和全局 Transformer 注意力相结合，以加强方向感知结构表示，从而特别受益于遮挡和杂乱环境下的细长道路物体和交通参与者。
3. 我们提出了一种尺度感知多级别注意力模块（SMAM），通过将通道和空间注意力与基于 Transformer 的跨尺度上下文建模相结合，自适应地融合多级别和多尺度特征，从而在保留全局语义理解的同时，显著改善对小型和尺度变化目标的感知。

本文的其余部分组织如下。第 2 节回顾相关工作。第 3 节提出所提出的 CMT-Det 框架及其关键组件。第 4 节报告实验结果并提供详细分析。第 5 节讨论所提出的方法。最后，第 6 节总结全文并讨论未来研究方向。

章节片段

目标检测中的 Transformer

Transformer 架构最初由 Vaswani 等人 [28] 提出，通过用纯基于注意力的机制取代循环和卷积操作，代表了序列建模的范式转变。Transformer 的核心是自注意力机制，它使序列中的每个 token 能够关注所有其他 token 并捕捉全局上下文依赖。对于一组查询 Q、键 K 和值 V，注意力计算公式为：
Attention(Q,K,V)=Softmax(QK^T)

理念阐述

在现实世界交通场景中，RGB 图像受光照、阴影和天气条件等因素影响显著。而热红外图像对光照变化不敏感，但缺乏纹理信息且分辨率相对较低。在这两种模态之间实现有效的信息互补和特征协同，对于提高全天候目标检测性能至关重要。为解决不足鲁棒性

数据集

为了全面评估 CMT-Det 的性能，我们选择了两个公开数据集进行实验：RoadScene [49] 和 LLVIP [50]。RoadScene 数据集包含 221 对已对齐的 RGB 和 IR 图像，涵盖了道路、车辆、行人等多样化场景。原始 IR 图像中的背景热噪声已经过预处理，确保 RGB 和 IR 图像对的精确对齐。LLVIP 数据集包含 15,488 对高分辨率注册图像 (1920

讨论

我们进一步讨论了观察到的实验结果的原因。CMT-Det 一致的性能提升可归因于其三个关键组件的互补效应。具体而言，跨模态 Transformer 融合实现了 RGB 和热特征之间的有效全局交互，缓解了模态不平衡并改善了特征对齐。方向特征增强模块加强了方向敏感的结构表示，这是

结论

在本研究中，我们解决了复杂交通场景下 RGB-T 目标检测的固有局限性，即可见光数据常受光照和天气条件退化，而热图像缺乏细粒度结构细节。为克服这些挑战，我们提出了 CMT-Det，一种基于跨模态 Transformer 的检测框架，有效利用了 RGB 和热模态的互补特性。本研究的主要发现表明

CRediT 作者贡献声明

李辰阳：写作 – 初稿，可视化，验证，软件，方法论，概念化。强千尧：验证，监督，软件，资源，调查，形式分析，数据整理。周寿平：资金获取，项目管理，写作 – 审查与编辑。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。

致谢

本研究由陕西省****（项目编号 10253180002）资助。

李辰阳 | 强千尧 | 周寿平