基于可见光与红外图像的双分支YOLOv8网络的行人检测方法研究

《World Electric Vehicle Journal》：Research on Pedestrian Detection Method Based on Dual-Branch YOLOv8 Network of Visible Light and Infrared Images Zhuomin He and Xuewen Chen

　　

在低光照、强眩光、遮挡及夜间等复杂交通环境中，仅依赖可见光单传感器的行人检测系统存在检测精度低和鲁棒性差等缺点。基于YOLOv8卷积网络（Convolutional Neural Network, CNN），研究人员采用双分支结构同时处理可见光和红外图像，充分利用不同尺度的特征信息，以在复杂多变的环境中有效检测行人目标。为解决模态特征信息交互不足和融合权重固定的问题，引入跨模态特征交互与增强机制。设计了模态-通道交互块（Modal-Channel Interaction Block, MCI-Block），在该模块内添加残差连接结构和权重交互，以实现特征增强并滤除噪声信息。引入动态加权特征融合策略，自适应调整融合过程中不同模态特征的贡献比例，旨在增强关键行人区域的判别能力。研究人员所设计网络的训练和测试在可见光与红外行人检测数据集LLVIP和Kaist上完成。同时，进一步在实际交通场景中验证了双分支模型和本文设计模型的测试结果。结果表明，研究人员构建的可见光与红外图像双分支YOLOv8网络能够可靠提升复杂交通环境中行人目标的检测性能，包括精确率（precision）、召回率（recall）和mAP@0.5等指标，从而提高了行人检测的鲁棒性。

在智能交通系统与自动驾驶场景中，环境检测是安全决策与路径规划的关键基础。传统行人检测系统依赖单一可见光传感器，在低光照、强眩光、遮挡及夜间等复杂交通环境中表现不佳，存在检测精度低、鲁棒性差等问题。红外传感器虽能区分行人与环境，但分辨率低、缺乏纹理细节，且易受车辆热辐射等背景干扰。因此，需融合可见光与红外图像优势，并引入双模态特征交互与增强机制，以提升复杂环境下的检测可靠性。研究人员基于YOLOv8卷积网络，提出了一种可见光与红外图像双分支YOLOv8网络的行人检测方法。通过构建双分支主干网络，同时处理两种模态图像，并设计模态-通道交互块（MCI-Block）与动态对齐特征融合模块（DAFF），分别实现特征增强、噪声抑制与自适应权重调整。在LLVIP（12,025对训练、3,463对测试）和Kaist（清洗后7,095对训练、2,252对测试）数据集上训练和测试，并在实际交通场景中验证。结果表明，该方法在精确率、召回率和mAP@0.5等指标上均有提升，有效提高了行人检测的鲁棒性。该研究对提升自动驾驶系统在复杂环境中的感知能力具有重要意义。论文发表在《World Electric Vehicle Journal》。

研究人员为开展研究运用到以下几个关键的技术方法：采用双分支YOLOv8主干网络，分别处理可见光和红外图像，并在P3、P4、P5层进行中层特征融合。设计了模态-通道交互块（MCI-Block），包含残差连接、权重交互、通道压缩恢复、多尺度稀疏窗口注意力（MS-SWA）和局部补偿模块（LCM）以及全局跨模态注意力（GCMA），实现空间与通道维度的互补增强。在融合阶段设计了动态对齐特征融合模块（DAFF），利用可学习参数p1和p2动态调整可见光与红外特征的贡献比例。使用公开数据集LLVIP（可见光与红外配对行人检测数据集，15,488对图像）和Kaist（可见光与红外行人检测数据集，47,664对图像，采用清洗后的子集）进行训练与测试。硬件平台为NVIDIA RTX 4090（24GB内存），软件环境为PyTorch 1.10.0、CUDA 11.3、Python 3.8。

研究结果部分保留原文小标题如下：

2.1 双分支网络基础设施：通过将YOLOv8主干扩展为双分支结构，能够同时输入可见光图像和红外图像，并在P3、P4、P5特征提取层进行中层特征融合，从而充分利用不同尺度的特征信息，为后续检测提供多尺度基础。

2.2 模态-通道交互块设计：设计了MCI-Block，通过残差连接、权重交互、通道压缩恢复、多尺度稀疏窗口注意力（MS-SWA）和局部补偿模块（LCM）以及全局跨模态注意力（GCMA），实现了可见光与红外特征在空间和通道维度的互补增强，并有效滤除噪声信息。

2.3 动态对齐特征融合模块设计：设计了DAFF模块，通过1×1卷积统一通道维数，经3×3卷积和Sigmoid激活生成动态融合权重，并引入可学习参数p1和p2，自适应调整可见光与红外特征的贡献比例，从而实现精细融合，提升检测质量。

3.1 实验环境与数据集设置：使用LLVIP和Kaist数据集进行训练和测试，硬件环境为NVIDIA RTX 4090 GPU，软件环境包括PyTorch 1.10.0等。模型训练使用Adam优化器，初始学习率0.001，最终学习率0.2，批次大小64，训练轮数100，图像尺寸统一为640×640。

3.2 评价指标选择：采用精确率（precision）、召回率（recall）和平均精度mAP@0.5（在IOU阈值为0.5时的平均精度）作为性能评估指标。

3.3 实验结果与分析：通过对比实验，改进模型在LLVIP和Kaist数据集上相比单模态YOLOv8（可见光或红外）和双分支基线模型（仅元素相加）均有性能提升。在LLVIP数据集上，相比仅用可见光的YOLOv8，精确率提升9.3%，mAP@0.5提升11.7%；相比仅用红外的YOLOv8，召回率提升4.1%。在Kaist数据集上，改进模型精确率提升7.4%，mAP@0.5提升22.8%。消融实验验证了MCI-Block和DAFF各自的有效性，两者协同使用时指标最高。在实际交通场景中，改进模型在非机动车道遮挡、车辆热源干扰、强光眩光、夜间人群密集、白天横穿马路及夜间行人目标等条件下，均能可靠检测行人，减少了漏检和误检。与ICAFusion、ADCNet、CSM、PCMFNet、BPP-YOLO、LDI-YOLOv8、Dual-YOLO等主流方法相比，本方法在LLVIP和Kaist数据集上的精确率、召回率和mAP@0.5均具有优势，例如在LLVIP数据集上精确率最高提升9.1%，mAP@0.5最高提升12.4%。

总结讨论部分：研究人员对实验结果进行了分析，指出改进模型在复杂交通环境中有效解决了单模态检测的局限，并通过动态权重调整适应了不同场景下的模态差异。研究结论部分翻译如下：主要结论与成果包括：（1）构建了基于可见光与红外图像的双模态融合YOLOv8网络结构，同时处理两种图像，引入MCI-Block实现特征在空间与通道维度的互补增强，并抑制冗余与噪声。（2）在融合阶段设计DAFF模块，引入可学习参数自适应调整两模态权重，提升融合特征质量与检测性能。（3）基于LLVIP和Kaist数据集的对比实验表明，本模型在精确率、召回率、mAP@0.5等指标上相较原始YOLOv8及其他多模态与主流方法均有提升；实际交通场景验证显示，该网络能在复杂光照条件下可靠检测行人，有效提高行人检测鲁棒性。尽管方法在性能上有所提升，但仍存在局限，例如双分支结构导致计算成本高于单模态方法。未来工作将聚焦于提升实时性，以实现在边缘设备上的部署，并在更多样化的真实与自动驾驶场景中评估该方法。