WHCD-DETR：一种考虑频率特性的跨尺度扩散架构，用于端到端的无人机小目标检测

《Neurocomputing》：WHCD-DETR: Frequency-aware cross-scale diffusion architecture for end-to-end UAV small-object detection

　　摘要：尽管基于深度学习的检测器在计算机视觉领域取得了显著进展，但航空图像中的小目标检测仍面临诸多挑战，如细粒度目标信息丢失以及跨尺度交互效率不足等问题。为解决这些难题，本文提出了WHCD-DETR，该框架通过优化端到端的Transformer结构来保留细粒度细节，提升跨尺度交互的建模效率，同时还能满足复杂航空背景下的去噪需求。首先，WAA-Net通过小波子带分解强化高频细节，并结合动态聚合机制，自适应选择多尺度响应，从而提升低级特征质量并抑制冗余背景信号。分层感受野特征Transformer采用通道解耦的分支架构，在几乎不增加额外开销的情况下实现远距离语义与局部细节的互补融合，进而提高多感受野表示的稳定性。此外，CSFID通过跨尺度交互和类似扩散的传播方式将上下文信息传递至高分辨率细节层，并通过动态上采样减少尺度恢复误差。在VisDrone2019基准测试中，WHCD-DETR-S的AP值为28.8%，AP50值为47.8%，模型参数量为10.66百万，计算量为27.49 GFLOPs；与DFINE-S基线相比，AP值提升了2.1个百分点，AP50值提升了3.4个百分点。而轻量级版本WHCD-DETR-N的AP值为23.4%，AP50值为40.4%，参数量为4.11百万，计算量为10.17 GFLOPs；相较于DFINE-N，其AP值提升了4.2个百分点，AP50值提升了6.7个百分点。在HIT-UAV和RSOD数据集上，该框架也展现了稳定的性能。消融实验和可视化分析表明，所提出的各组件在多尺度一致性、细节保留以及对复杂背景的鲁棒性方面具有互补作用。

引言：随着无人机平台及机载成像技术的不断发展，基于无人机的遥感技术已被广泛应用于环境监测、交通管理、灾害评估和公共安全等领域，用于物体感知和情境理解[1]–[4]。与地面视角拍摄的图像相比，航空图像由于飞行高度和视角的变化，导致物体尺度、外观和空间分布的不确定性更大。同时，小型且密集分布的目标占比更高，更容易受到运动模糊、遮挡以及复杂纹理背景的影响，这降低了特征的可区分性，增加了漏检和误报的风险。此外，在复杂的航空场景中，细粒度信息容易丢失，现有方法在多尺度特征表示以及跨尺度交互效率方面仍存在局限，从而影响了物体定位和分类的准确性。目前，无人机航空目标检测主要采用深度学习方法，包括两阶段R-CNN类方法、单阶段YOLO类方法[5]–[9]，以及基于Transformer的DETR变体。以YOLOv5及其改进版本为代表的卷积检测器，通过架构设计、损失函数构建和训练策略优化，在各类通用基准测试中实现了精度与效率之间的相对平衡[10]。然而，现有针对YOLO系列的研究大多针对地面自然图像场景，直接应用于无人机场景时仍存在一定局限性[11]。Transformer[12]凭借其多头自注意力机制，更适用于建模全局依赖关系、捕捉远距离上下文以及物体间的相互作用。DETR[13]则结合了CNN的局部特征提取能力和Transformer的全局关系建模能力，采用端到端的集合预测范式直接回归物体类别和位置，从而减少了对锚点设计和非极大值抑制的依赖。不过，其收敛速度、计算成本以及查询学习和匹配的复杂性仍在一定程度上限制了其在无人机场景中的应用。为提升实际应用性，赵等人提出了RT-DETR[14]，该模型通过高效的混合编码器和查询选择机制降低计算延迟，从而在保持较高精度的同时提升推理效率。即便如此，在无人机航空场景中，复杂的背景和大量噪声不仅会干扰全局注意力向有效区域的分配，还会加剧物体边缘、纹理和局部轮廓等细粒度判别特征的退化，这就对高级语义建模和低级结构保留提出了更高要求。在复杂的航空场景中，传统的空间域卷积在特征提取过程中通常会隐式地将不同频率分量耦合在一起，难以充分区分并一致地保留与目标物体相关的细粒度结构特征。相比之下，频率感知型建模能够在表示层面将高频细节信息与低频轮廓及上下文成分适度分离，为细粒度结构保留和多尺度响应组织提供了新的思路[15]–[16]。此外，考虑到无人机小目标检测同时涉及局部结构判别和多尺度信息表示[17]，在低级特征提取阶段引入具备局部多尺度分析能力的频率分解方案，有助于更好地平衡结构细节与上下文信息建模的保留，从而减少小目标细节在复杂航空背景中的丢失。基于以上分析，我们认为无人机小目标检测的性能瓶颈并非仅源于物体尺度的限制，还与特征提取过程中细粒度结构特征的易退化性、全局语义与局部结构之间的协调不足，以及跨尺度信息传递的不完善密切相关。为解决这些问题，我们开发了一个用于无人机小目标检测的端到端框架——WHCD-DETR，并在低级特征增强、表示学习优化以及跨尺度特征交互等方面进行了针对性设计，旨在改善复杂背景条件下小目标相关特征的保留效果，提升多尺度表示的一致性，增强检测过程的稳定性。如图1所示，VisDrone数据集上的实验结果表明，所提出的框架在检测性能与模型复杂度之间实现了较为合理的平衡。总之，本文的主要贡献如下：1. 提出了小波自适应聚合网络（WAA-Net），将该网络引入骨干特征提取阶段，通过频率分解和动态聚合共同建模高低频响应，增强边缘、纹理和局部结构信息的表示能力，弥补了传统空间域特征提取在表征细粒度结构特征方面的不足，从而提升了复杂航空背景和图像退化条件下的低级特征质量。2. 设计了分层感受野特征Transformer（HRFFT），通过全局关系建模、局部多感受野表示以及稳定的信息传输路径的协同作用，促进全局语义与局部细节的联合表示。与那些主要侧重于远距离依赖建模或局部响应的单路径建模策略相比，该模块更有助于在无人机小目标检测中同时保持上下文建模能力和对局部结构的敏感性。3. 提出了以特征为中心的跨尺度特征交互扩散机制（CSFID），通过在不同分辨率的特征之间构建扩散式信息传输和细节反馈路径，强化语义信息与局部细节的协同表示。该机制提升了多尺度特征的一致性和上下文相关性，同时减少了传统金字塔融合方法中因层间交互有限而导致的表示损失。

相关研究：随着航空图像在智能监控、应急响应和城市管理领域的日益广泛应用，其广阔的覆盖范围和高时空分辨率使其成为重要的信息来源。与传统的地面目标检测相比，无人机平台带来了更为复杂的成像条件，包括动态视角变化、随机平台姿态、成像高度的差异，以及更多小型且密集分布的目标等。

方法：如图2所示，WHCD-DETR的整体架构由四个主要部分组成：骨干网络、编码器、解码器和预测头。WAA-Net骨干网络对高分辨率的无人机遥感图像进行初步处理，通过多尺度金字塔结构提取分层语义表示。在编码器中，来自骨干网络的最终阶段特征图（P5）会被送入HRFFT模块进行特征交互。同时，

数据集：我们在VisDrone2019数据集[41]上对所提出的模型进行了系统评估。该数据集包含10,209张静态航空图像，其中6471张用于训练，548张用于验证，3190张用于测试。这些图像是由安装在不同无人机平台上的摄像头拍摄的，涵盖了多种真实的场景和成像条件，能够很好地体现无人机视角下的复杂成像特性和环境干扰情况。

局限性及未来工作：尽管WHCD-DETR通过WAA-Net、HRFFT和CSFID提升了多尺度表示能力、全局-局部信息建模能力以及跨尺度交互能力，但仍存在一些局限性。与Transformer相关的组件不可避免地会增加额外的计算量和参数数量，而CNN与Transformer融合以及跨尺度传播过程中语义一致性与时序细节保留之间的平衡问题仍需进一步研究。在HRFFT中，全局与局部之间的通道分配是固定的，

结论：本文提出了一种名为WHCD-DETR的端到端检测框架，该框架专为具有小目标密集分布、尺度变化剧烈以及背景干扰严重的复杂航空场景而设计。总体而言，该框架针对航空成像中常见的细粒度信息衰减和尺度不一致问题进行了针对性优化：一方面，将小波域信息与动态特征相结合

CRediT作者贡献声明：蔡华新：撰写——初稿、可视化、验证、软件、方法论、研究、形式分析、数据整理。李希辰：验证、研究、形式分析、概念设计。李莹莹：验证、研究、形式分析。罗一凡：验证、研究、形式分析。刘东风：撰写——审阅与编辑、资源、概念设计。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。蔡华新目前就读于广东工业大学，攻读硕士学位，研究兴趣包括深度学习、图像处理和计算机视觉。

蔡华新|李希辰|李莹莹|罗一凡|刘东风
中国广东省广州市广东工业大学信息工程学院，邮编510006