一种用于智能交通系统中目标检测的跨模态层次增强融合方法

《Digital Signal Processing》：A Cross-Modal Hierarchical Enhanced Fusion Method for Object Detection in Intelligent Transportation Systems

多模态目标检测方法在智能交通系统中的应用研究，提出基于YOLO11的CHEF-DET模型，通过自适应多模态特征融合模块、多尺度边缘感知特征增强块和高效共享细节增强检测头，解决异构传感器数据融合与多尺度检测难题，实验表明在M3FD数据集上mAP50提升5.2%，mAP50-95提升4.3%。

　　

卢立辉|张思浩|顾宇科|刘波|刘博文

曲阜师范大学工程学院，日照市，276826，中国

摘要

在智能交通系统中，基于可见光和红外图像融合的目标检测技术因其能够在夜间、雾天和隧道等恶劣条件下保持稳定的感知能力而受到广泛关注。在这些条件下，单一模态的方法性能会显著下降。然而，现有的方法在跨模态特征融合方面存在不足，并且对不同环境条件的适应性有限。为了解决这些问题，本文提出了一种跨模态层次增强融合检测器（CHEF-DET），该检测器对YOLO11进行了改进，实现了在像素级别上的精确可见光和红外多模态融合检测。具体而言，设计了一种自适应跨模态特征融合与层次通道注意力（ACMF-HCA）模块，用于从红外和可见光传感器数据中提取互补的特征信息。该模块采用了自适应掩码生成网络和层次注意力机制来增强特征提取能力。其次，将多尺度边缘感知特征增强块（MSEFE）集成到特征金字塔网络中，通过并行提取分支捕捉不同尺度的信息和高频边缘细节。此外，高效共享细节增强检测头（ESDH）利用多方向膨胀卷积扩大感受野，同时通过参数共享策略降低计算成本。实验结果表明，在M3FD数据集上，mAP50和mAP50-95的平均精度分别达到了82.4%和54.8%，比传统方法提高了5.2%和4.3%。

引言

目标检测是智能交通系统（ITS）中的核心感知技术，直接支持交通安全监控、流量优化和自动驾驶[1]、[2]。在各种环境条件下实现准确和稳健的检测对于构建可靠的ITS至关重要。

依赖手工特征的传统检测方法（如方向梯度直方图（HOG）和支持向量机（SVM）组合[3]在复杂照明和背景变化下的鲁棒性有限，无法满足现代ITS的要求[4]。

基于深度学习的检测算法通过端到端特征学习克服了这些限制，在复杂的交通场景中表现出优越的识别和定位能力[5]、[6]、[7]。同时，多传感器融合技术进一步增强了系统在恶劣天气条件下的鲁棒性[8]，为全天候智能交通监控奠定了基础。

尽管取得了这些进展，现有的检测方法仍面临一些持续存在的挑战。仅依赖可见光图像的单一模态方法在夜间和浓雾等恶劣光照条件下的性能会显著下降，而仅使用红外图像的方法缺乏区分具有相似热特性的交通目标所需的丰富纹理和颜色信息。此外，现有的多模态融合方法往往无法充分利用红外和可见光模态之间的互补关系，传统的单尺度特征提取框架也难以捕捉不同尺度上的完整对象信息。此外，现有的检测头引入了大量的参数冗余，同时无法保持足够的细节表示以实现精确的目标定位。

为了解决上述技术挑战，本文提出了CHEF-DET，它整合了三项核心创新：自适应跨模态特征融合与层次通道注意力（ACMF-HCA）模块用于深度多模态协同建模，多尺度边缘感知特征增强块（MSEFE）用于多尺度目标感知和边界定位，以及高效共享细节增强检测头（ESDH）用于轻量级但精确的检测。

本文的主要贡献如下：

•

针对交通检测系统中跨模态信息融合不足的问题，提出了自适应跨模态特征融合与层次通道注意力（ACMF-HCA）模块，以解决模态权重分配和语义对齐问题。通过自适应掩码生成网络和多层次通道注意力策略，该方法实现了红外和可见光特征的复杂协同建模。

•

通过引入多尺度边缘感知特征增强块（MSEFE）对特征金字塔网络进行了改进，该模块采用并行多尺度提取分支和边缘增强策略。这一改进显著提高了对不同目标尺度的感知能力，并增强了边界定位的准确性，特别是在复杂环境中的小目标检测方面。

•

为了在降低计算开销的同时提高检测精度，用高效共享细节增强检测头（ESDH）替换了传统的检测头架构。参数共享机制和多方向细节增强卷积大幅降低了模型复杂性，同时保持了出色的检测性能。

本文的结构如下：第2节回顾了目标检测和跨模态融合的相关工作。第3节详细介绍了CHEF-DET的方法论、数学公式和架构原理。第4节通过全面的实验和消融研究验证了该方法的有效性。第5节总结了本文的贡献。

相关研究

目标检测算法的相关研究

两阶段检测器（如R-CNN系列[9]）通过区域提议和细化实现了高精度，Faster R-CNN[10]通过共享卷积特征显著降低了计算开销，但其多阶段流程不太适合实时ITS应用。

单阶段算法通过单个神经网络直接预测目标边界框和类别概率，避免了复杂的候选区域生成过程，显著提高了检测效率

方法

CHEF-DET基于YOLO11构建，后者采用C3k2块作为骨干构建单元，改进了特征金字塔颈部结构，并加入了SPPF和C2PSA注意力模块，以及分别在P3、P4和P5级别运行的三尺度无锚点解耦检测头。提出的CHEF-DET通过三项核心创新对该架构进行了改进：自适应跨模态特征融合与层次通道注意力（ACMF-HCA）模块实现了红外和可见光特征的深度协同建模

实验

选择了两个数据集来验证所提出的CHEF-DET算法的有效性。M3FD数据集包含4,177对对齐的红外和RGB图像，以及23,635个目标注释，涵盖六类目标（人、汽车、公交车、摩托车、卡车和灯），这些图像是在各种照明、季节和天气条件下捕获的。数据集按8:1:1的比例分为训练集、验证集和测试集。DroneVehicle数据集包括

结论

本文提出了一种用于在恶劣环境条件下进行交通目标识别的CHEF-DET方法。首先，针对跨模态信息融合不足的问题，设计了ACMF-HCA模块，该模块结合了自适应掩码生成网络和层次通道注意力机制，有效融合了红外和可见光特征。其次，为了解决多尺度目标检测问题，MSEFE模块采用了不同尺度的并行提取

CRediT作者贡献声明

卢立辉：撰写——原始草稿、方法论、概念化、资金获取。张思浩：数据整理、撰写——原始草稿。顾宇科：可视化、调查、撰写——审阅与编辑。刘波：方法论、形式分析。刘博文：软件实现、验证。

利益冲突声明

作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。