PAE-YOLO：一种基于改进版YOLOv11n的红外行人检测算法

《Infrared Physics & Technology》：PAE-YOLO: An infrared pedestrian detection algorithm based on improved YOLOv11n

　　

摘要

在夜间或弱光环境下，红外图像在行人检测方面具有显著优势。然而，这类图像往往缺乏足够的纹理特征，且易受环境噪声干扰，这不仅阻碍了有效特征提取，也限制了检测精度的提升。为解决这些问题，本研究提出了基于YOLOv11n的PAE-YOLO算法。该算法在核心网络中的C3k2模块中加入了PPA单元，以增强分层特征提取能力，同时提高模型对环境噪声的抵抗能力。此外，还引入了高效判别频率前馈网络EDFFN，用于更精准地区分行人与背景之间的细微特征。研究采用ADown模块替代传统的步长卷积进行下采样，在压缩特征图与保留关键细节之间取得了平衡。最后，通过设计内部MPDIoU损失函数，提升了模型对复杂场景下目标的识别能力，同时优化了边界框回归的精度。在LLVIP数据集上的实验表明，PAE-YOLO的mAP50值为98.5%，mAP50-95值为71.1%，且模型结构较为紧凑，参数量为2.33百万，运算量为6.1 GFLOPs。与YOLOv11n基准模型相比，该模型的mAP50和mAP50-95指标分别提升了2.3%和4.8%。进一步在FLIR数据集上的实验也验证了PAE-YOLO在不同红外场景下的适用性。这些结果表明，PAE-YOLO是一种能够在复杂红外环境中实现高精度、快速行人识别的可靠方法。

引言

行人识别一直是计算机视觉领域研究的重点。作为行人跟踪、眼动定位等后续任务的基石，高效的行人检测是实现精准预测和深入分析的前提[1]。但在夜间或弱光环境下，基于可见光图像的行人检测效果往往不尽如人意[2]。目前，夜间行人检测的主要技术包括可见光成像[3]、基于LiDAR的检测技术[4][5]以及红外成像技术[6][7]。其中，可见光成像对光照条件极为敏感，在夜间环境中，图像容易出现噪声增多、细节模糊等问题，从而难以实现有效的行人识别[8]。而基于测距原理的LiDAR虽然具备较高的检测精度和较强的抗干扰能力，适合全天候使用，但其设计初衷主要是针对船舶、车辆等大型目标，因此在检测小型行人目标时存在较大挑战。相比之下，红外成像利用物体的热辐射特性，其强度由物体的温度和发射率决定。由于人体温度通常高于周围环境，因此在红外图像中行人目标更为突出。正是基于这一优势，红外行人检测具有广阔的应用前景，被广泛应用于高级驾驶辅助系统、自动驾驶、智能视频监控以及智能交通管理等领域[9]。

随着深度学习的发展，物体检测方法主要分为单阶段检测器（以YOLO系列为代表）和双阶段检测器（如R-CNN系列[10]）。例如，Zhang等人曾将Faster R-CNN应用于红外场景中的行人识别[11]，他们通过RPN从增强后的热图像中提取潜在区域，再通过对常见特征表示进行分类和定位，构建了完整的端到端检测流程。尽管双阶段检测器通常具有较高的精度，但其复杂的计算结构导致了严重的推理瓶颈[12]。而单阶段检测器如YOLO系列则因其更高的效率而被广泛用于实时应用中。Hu等人[13]提出了EFF-YOLO，该模型在YOLOv8n的基础上采用了FasterNet作为核心网络，并在网络结构中加入了收集-分发机制，从而提升了小尺度行人的检测能力，在LLVIP数据集上实现了90.2%的mAP50值和52.4%的mAP50-95值，但由于仍存在较高的计算冗余，难以在资源受限的设备上部署。类似地，Du等人[14]开发了MLE-YOLO，该模型通过结合M?SPTM混合模块和MANet聚合网络来提升模型对噪声的抵抗能力，但其对小型行人的召回率仅为62.8%，说明在特征表示和定位精度方面仍有进一步优化的空间。

红外图像本身的复杂性给深度特征学习带来了诸多挑战，限制了检测性能的进一步提升。因此，亟需开发出能够同时兼顾高精度与低延迟要求的新型检测架构。为应对这些难题，尤其是纹理特征不足和背景噪声严重的问题，本研究提出了基于YOLOv11的PAE-YOLO改进框架。我们的改进主要集中在四个关键方面：特征提取、噪声抑制、信息保留以及损失函数优化。具体贡献如下：

• (1)
  C3k2-PPA模块的实现：本研究在C3k2架构中加入了并行化斑块感知注意力机制PPA。该机制通过多路径特征提取和并发注意力处理，提升了模型对红外环境中小型目标的检测能力。
• (2)
  高效判别频率前馈网络EDFFN的引入：该网络通过自适应频率调节机制，有效过滤掉非行人产生的高频噪声，同时强化行人与背景之间的细微特征差异，从而提升了模型在复杂红外场景中的泛化能力。
• (3)
  ADown模块的采用：本研究用ADown模块替代了传统的步长卷积下采样方式。该模块通过多分支池化和卷积融合的设计，能够在有效压缩特征图的同时保留关键细节，从而在保持模型轻量化的同时提升对小型目标的检测性能。
• (4)
  内部MPDIoU损失函数的提出：该损失函数结合了动态硬样本聚焦与顶点双重约束回归机制，通过核心区域匹配纠正红外目标IoU指标的偏差，进而提升了硬样本检测精度和边界框回归的准确性。

内容节选

相关研究

在红外场景中的行人识别研究经历了从传统特征提取和分类器方法向基于深度学习的多任务融合方法的演变。早期方法主要依赖形状和外观特征，结合支持向量机这类传统分类器[15][16][17]，通过分层表示和模板匹配来实现多尺度行人检测。例如，Kumar[18]就

YOLOv11概述

YOLOv11是Ultralytics在2024年推出的新一代实时物体检测模型，它在YOLOv8、YOLOv9和YOLOv10的基础上进一步优化了网络结构和训练策略[27]。该模型以C3k2模块作为核心网络结构，C2PSA模块用于高级特征增强，同时还整合了双层路由注意力机制和SPPF结构。其检测头部则保持了三尺度（P3、P4、P5）预测机制。在训练阶段，

数据集

为验证所提出的PAE-YOLO框架在热成像行人识别任务中的有效性，我们采用了开源的LLVIP基准数据集来进行模型优化和性能评估。LLVIP专门用于夜间及极弱光环境下的行人检测，包含了15,488对像素对齐、时间同步的可见光和红外图像。在本研究中，我们仅关注红外图像部分，且仅使用了其中的

结论

本文提出了一种基于YOLOv11n框架的红外行人检测算法，旨在提升热成像环境下的检测精度及实际应用可行性。我们在特征提取、噪声抑制、细节保留以及损失函数优化四个方面进行了针对性改进。具体而言，我们在核心网络中加入了PPA模块，以增强多尺度特征捕捉能力并提升模型的抗噪声性能

作者贡献声明

王振生：论文撰写——初稿完成。孙克学：指导工作。陈悦：负责可视化呈现。陈江伟：参与指导工作。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本研究得到了2025江苏省研究生实践创新计划（编号：SJCX25_0327）的支持。

Zhensheng Wang|Kexue Sun|Yue Chen|Jiangwei Chen

南京邮电大学电子光学工程学院与柔性电子学院（未来技术），中国江苏南京210023