基于频带增强与多尺度融合的自动驾驶小目标检测方法

《Journal of Imaging》：An Object Detection Method Based on Frequency-Band Enhancement and Multi-Scale Fusion

　　

尽管基于Transformer的实时目标检测器在自动驾驶场景中已取得令人瞩目的性能，但其检测小目标的能力仍然有限。这一局限性主要源于小目标在图像中仅占据少量像素，且包含较弱的边缘和纹理信息，这些信息在特征提取和多尺度特征传播过程中可能进一步退化。为解决上述问题，本研究提出一种基于小波的频率感知特征增强方法，以RT-DETR作为基线网络。首先，在RT-DETR颈部（neck）的特征融合阶段引入小波频率单元（Wavelet Frequency Unit, WFU）。该单元采用Haar小波变换将输入特征分解为低频和高频子带，从而实现不同频率成分之间信息的解耦。其次，研究人员应用残差增强和频率注意力机制来强化高频分支中的边缘和纹理细节。最后，将低频子带与跨尺度的低分辨率特征进行融合，并通过逆小波变换进行特征重建。该设计改善了小目标在特征空间中的表示能力。在KITTI和BDD100K数据集上的测试验证了该方法的有效性。在KITTI数据集上，该方法获得了95.5%的mAP@0.5和69.7%的mAP@0.5:0.95，分别超过RT-DETR基线1.8和1.1个百分点。APs和ARs分别提升了2.7和2.3个百分点。在选定的BDD100K子集上，相应的mAP@0.5和mAP@0.5:0.95分别为51.7%和29.7%。

论文解读

一、研究背景与问题

随着智能交通系统和自动驾驶技术的持续发展，目标检测已成为自动驾驶感知系统中的基础性任务。自动驾驶系统需要准确、高效地识别各类道路要素，包括车辆、行人、骑行者、交通标志等，以支撑环境理解、运动规划和安全性决策。近年来，基于Transformer的目标检测方法凭借其强大的特征表示能力受到广泛关注。通过自注意力机制，Transformer检测器能够捕获图像特征间的长距离依赖关系，并实现端到端的目标分类和边界框回归。其中，DETR开创性地提出了基于Transformer的目标检测框架，通过建模不同图像区域间的全局交互，消除了传统检测器对人工设计组件的依赖。RT-DETR进一步整合了高效的混合编码器，在保持竞争力的检测精度的同时提升了推理速度，使其更适用于实际自动驾驶场景。

尽管RT-DETR在通用目标检测任务中取得了有竞争力的性能，但其在自动驾驶场景中识别小目标的能力仍显不足。小目标通常仅占据有限数量的像素，包含较弱的边缘、纹理和局部结构信息。这些细粒度特征在特征提取、下采样和跨尺度特征传播过程中极易发生信息丢失。此外，目标遮挡、光照变化和复杂背景干扰会进一步降低目标特征与周围环境信息之间的可区分性，从而增加漏检和误检的概率。

现有的大多数多尺度特征融合策略主要侧重于直接在空间域中组合或聚合特征，而未考虑不同频率成分的内在特性。因此，这些方法可能难以有效保留小目标的精细结构信息。与小波变换能够将输入特征分解为低频结构成分和高频细节成分不同，传统空间域融合方法缺乏频率层面的解耦建模能力。低频分支主要保留全局语义和结构信息，而高频分支捕获目标边界、纹理和局部轮廓等细粒度细节。因此，在融合过程中引入频域特征建模为缓解小目标表示在特征传播过程中的退化提供了潜在解决方案。

二、研究内容与结论

针对上述问题，本研究开发了一种基于RT-DETR的频率感知特征增强框架。具体而言，在RT-DETR颈部的多尺度特征融合阶段引入小波频率单元（WFU）。通过小波分解，WFU将结构信息与高频细节分离，并对高频分量和低频跨尺度特征进行针对性增强。这一策略改善了目标边界、纹理、局部轮廓、全局结构和上下文语义的表示能力，从而提升了小尺度目标的检测性能。

在KITTI数据集上的综合实验表明，该方法在Precision、AP₅₀和AP_50:95指标上分别达到93.5%、95.5%和69.7%，较RT-DETR基线分别提升了3.7、1.8和1.1个百分点。此外，AP_s和AR_s分别从46.8%和58.1%提升至49.5%和60.4%，表明该方法能有效提升小目标的检测精度和召回性能。在BDD100K数据集上，该方法实现了51.7%的AP₅₀，AP_s和AR_s分别提升了1.6和1.7个百分点。这些结果验证了该方法在不同道路环境和数据分布下的有效性和适应性。

三、主要技术方法

研究人员以RT-DETR为基线网络，在颈部跨尺度融合阶段引入两个小波频率单元（WFU）。首先，利用Haar小波变换将高分辨率输入特征分解为一个低频子带和三个方向性高频子带（水平、垂直、对角）。在高频分支中，采用残差增强块（RB）和基于空间注意力的高频子带空间注意力模块（FA）强化边缘和纹理表示。在低频分支中，通过最近邻插值将低分辨率语义特征上采样后与低频子带拼接，经两次1×1卷积实现通道融合。最后，将增强后的低频和高频分量按序拼接，通过逆Haar小波变换重建空间域特征。实验在KITTI数据集（7481张训练图像，按8:1:1划分）和BDD100K数据集子集（20955张标注图像，按8:1:1划分）上进行，输入尺寸统一为640×640，训练300轮。

四、研究结果

对比实验。 在KITTI测试集上，与Faster R-CNN、YOLOv3-tiny、YOLOv5n、YOLOv7-tiny、YOLOv8n、GOLD-YOLO、DINO、YOLOv10n、YOLOv11n和RT-DETR等10种方法进行对比。所提方法在Precision、mAP@0.5和mAP@0.5:0.95上分别达到93.5%、95.5%和69.7%，较RT-DETR基线提升3.7%、1.8%和1.1%。Recall为91.1%，较RT-DETR低1.1%。参数从30.9M增至31.8M，FPS从95.6降至92.8。

类别性能分析。 在六个检测类别中，所提方法在五个类别上取得性能提升。Car、Truck、Pedestrian、Cyclist和Tram的AP分别达到98.1%、95.4%、94.2%、92.0%和98.5%，较RT-DETR分别提升1.1、1.1、2.1、1.9和5.0个百分点。其中Tram类别提升最为显著，从93.5%提升至98.5%。

重复实验统计。 采用三种不同随机种子独立训练RT-DETR和所提模型。所提方法在Precision、mAP@0.5、mAP@0.5:0.95、AP_s和AR_s上均获得更高的平均值，且所有指标的标准差均低于0.4个百分点，表明模型在多次独立实验中保持相对一致的性能。

小目标检测性能。 所提方法的AP_s从46.8%提升至49.5%，提升2.7个百分点；AR_s从58.1%提升至60.4%，提升2.3个百分点。95%置信区间整体高于基线，表明小目标检测性能的提升在不同随机种子下保持一致。

BDD100K数据集验证。 所提方法在BDD100K数据集上取得51.7%的mAP@0.5和29.7%的mAP@0.5:0.95，较RT-DETR基线分别提升1.7和1.1个百分点。AP_s从14.8%提升至16.4%，AR_s从27.9%提升至29.6%。

消融实验。 在RT-DETR基线基础上，分别验证残差增强模块（A）、高频子带空间注意力模块（B）和低频跨尺度融合模块（C）的贡献。单独引入模块A使Precision和mAP@0.5分别提升1.5和0.8个百分点；模块C单独使用时可获得更显著的Precision和mAP@0.5增益。A+C组合使mAP@0.5提升0.7个百分点；B+C组合使mAP@0.5和mAP@0.5:0.95分别提升1.6和0.9个百分点。三个模块同时引入时，完整模型取得最优性能，Precision、mAP@0.5和mAP@0.5:0.95分别达到93.5%、95.5%和69.7%。

可视化分析。 在KITTI数据集上，与YOLOv5、YOLOv8、YOLOv10和RT-DETR的检测结果对比显示，YOLO系列方法对近距离和大尺度目标表现良好，但容易漏检小目标和严重遮挡目标。RT-DETR凭借全局特征表示在复杂道路环境中表现更稳定。所提方法进一步提升了小尺度目标的检测能力，但在极小目标、严重遮挡或拥挤场景中仍存在少量漏检。在BDD100K数据集的可视化结果中，模型能够准确检测不同尺度的车辆，在密集交通条件下保持可靠性能，且在雨天、光照变化和挡风玻璃反射等挑战性条件下维持稳定的检测表现。

五、讨论与结论

讨论。 尽管所提方法在Precision和平均精度上取得改进，但仍存在一定局限性。整体Recall从92.2%降至91.1%，表明在当前置信度阈值下精度与召回之间仍存在平衡问题。此外，小波频率单元的引入使模型参数从30.9M增至31.8M，推理速度从95.6 FPS降至92.8 FPS，带来了额外的计算成本。未来研究将聚焦于提升频率增强模块的效率，并通过多尺度召回分析、置信度校准策略和轻量化网络优化来增强对挑战性目标的检测能力。此外，将进一步研究恶劣天气、严重遮挡和多模态信息融合等复杂场景，以提升自动驾驶系统的鲁棒性和实际部署能力。

结论。 为克服自动驾驶场景中小尺度目标检测能力有限的问题，本研究提出了一种基于RT-DETR的频率增强与多尺度融合目标检测器。该方法在颈部跨尺度特征融合阶段引入小波频率单元，通过Haar小波变换将输入特征图分解为低频结构信息和高频细节成分。在高频通路中，引入残差增强块结合空间注意力机制强化目标边界、纹理模式和局部轮廓特征；在低频通路中，通过跨尺度融合将结构信息与深层语义特征整合，提供额外的上下文表示。最后，通过逆小波变换重建增强后的特征图，从而提升小尺度目标的特征表示能力。在KITTI数据集上的综合实验表明，该方法在Precision、AP₅₀和AP_50:95上分别达到93.5%、95.5%和69.7%，优于RT-DETR基线3.7、1.8和1.1个百分点。AP_s和AR_s分别从46.8%和58.1%提升至49.5%和60.4%。在BDD100K数据集上，该方法实现51.7%的AP₅₀，AP_s和AR_s分别提升1.6和1.7个百分点。这些结果验证了该方法在不同道路环境和数据分布下的有效性和适应性。