基于共享滤波器与语义引导的轻量化实时无人机检测

《Neurocomputing》：Toward a lighter real-time UAV detector via shared filter and semantic guidance

　　

• •
  RTODNet将无人机检测重新定义为精度-效率协同设计问题。
• •
  LFEM通过紧凑滤波器复用提升了表征经济性。
• •
  LSGFFM通过轻量级状态空间模型融合捕获长程上下文信息。
• •
  RTODNet在精度、延迟、浮点运算量、参数量和能耗之间取得了平衡。

引言

无人机遥感提供了具有快速部署能力的高性价比高分辨率数据采集手段。因此，它已被广泛应用于多个领域，包括交通监控[1]、灾害救援[2]以及大规模三维场景重建[3]、[4]。无人机目标检测旨在准确检测并分类无人机所捕获图像中的目标，如行人、汽车、自行车等。与地面视角图像相比，无人机图像通常包含更宽的场景覆盖、更大的尺度变化以及更小的目标实例，这使得特征提取和目标定位更具挑战性。近年来，随着移动计算和边缘计算的兴起，在计算资源受限的情况下确保推理延迟与检测精度之间的平衡变得越来越重要。为应对这些约束，一种能够优化精度、效率和通信开销的系统级解决方案是必需的。图1展示了所提出的基于物联网的无人机检测框架概览。

尽管系统级解决方案取得了进展，但由于微小目标细节有限难以检测以及不同相机角度引起的巨大尺度变化，无人机目标检测仍然面临挑战。小目标通常具有较弱的视觉特征，容易受到噪声和低分辨率的影响，这使得传统检测方法难以捕捉这些细微差异。尽管近期的一些无人机检测器[5]、[6]在标准场景下取得了显著进展，但由于光照条件恶劣，夜间环境下的目标检测仍然具有挑战性。现有研究[7]、[8]、[9]、[10]强调了增强神经网络对细粒度视觉模式敏感度的重要性，因为这些细微特征对于从复杂背景中区分小目标至关重要。然而，传统算子使用固定大小的卷积核聚合局部邻域，虽然高效，但不足以显式建模长程空间依赖关系。这一局限性限制了轻量级检测器在小目标及其周围区域之间捕获上下文关系的能力，尤其是在复杂背景和非均匀光照条件下。在此类场景中，高效的多角度特征聚合对于确保鲁棒的表征和对全局上下文的准确理解至关重要。

在无人机场景中，这些挑战变得更加突出，跨不同视角检测小规模、低纹理目标尤为困难。尽管一些近期工作提出了旨在检测小目标和多视角目标的检测策略[11]、[12]，但其高昂的计算复杂度对无人机平台上的部署构成了重大挑战。为使在此类场景中实现实际部署，亟需开发能够在真实世界约束下保持令人满意的精度的轻量级检测框架。

考虑到这些约束条件，有效的检测算法设计应在检测精度与无人机系统固有的硬件限制之间取得平衡。这些空中系统受续航能力和机载计算资源的固有约束，对有效载荷和功耗施加了严格限制。为解决资源受限设备上的实时目标检测挑战，众多研究者提出了高效轻量级检测器，如YOLOX Nano[13]、YOLOv7 Tiny[14]和YOLOv8[15]。尽管这些方法大幅降低了模型复杂度和推理延迟，但其有限的表征能力往往导致在复杂空中条件下检测小型、遮挡或弱纹理目标时性能次优。除设计轻量级架构外，还探索了两种有效策略来提升检测性能：增加输入图像分辨率以放大目标，以及引入高分辨率特征图以在不改变输入分辨率的情况下增强小目标检测。然而，无论其在提升精度方面的有效性如何，这两种技术都会大幅增加模型的计算成本，严重降低推理速度，并限制其在实时边缘部署中的适用性。因此，这些策略通常不适用于轻量级部署。

基于上述观察，我们将实时无人机目标检测形式化为资源受限部署条件下的精度-效率协同设计问题。核心挑战在于将有限的计算资源分配给判别性特征提取和有效的上下文交互，而非仅仅减少通道数或层数。基于这一原则，我们提出了RTODNet，一种结合表征经济性和上下文高效特征交互的轻量级实时无人机检测器。在RTODNet中，LFEM通过抑制冗余卷积核学习并保留紧凑的特征多样性来改善参数利用率，而LSGFFM通过渐进式语义引导特征融合增强长程空间交互。在夜间和具有挑战性的无人机基准上的大量实验表明，RTODNet在检测精度、参数量、浮点运算量、推理延迟和能耗之间实现了有效权衡。本文的主要贡献总结如下：

• 1.
  我们提出了RTODNet，一种从精度-效率协同设计视角开发的轻量级无人机检测器。RTODNet不依赖简单的模型缩放，而是联合考虑表征经济性和上下文高效特征交互，以提升资源受限部署条件下密集小目标的检测能力。
• 2.
  我们开发了一个逐层滤波器经济性模块（LFEM）以提高卷积滤波器的有效利用率。LFEM通过紧凑滤波器复用抑制冗余卷积核学习，并通过轻量级特征多样化恢复互补特征响应，从而构建紧凑且具有表现力的特征层级。
• 3.
  我们设计了一个轻量级语义引导特征融合模块（LSGFFM）以增强多尺度特征融合中的长程空间依赖建模。通过渐进式语义精炼和基于状态空间的上下文聚合，LSGFFM以有限的计算开销提升了小目标、遮挡目标和弱纹理目标的感知能力。
• 4.
  在NightDrone、VisDrone-Night、VisDrone和UAVDT上的大量实验表明，RTODNet实现了良好的精度-效率权衡。RTODNet-Nano在减少参数量和浮点运算量的同时，在资源受限平台上保持了实时推理能力。

章节摘要

小目标检测

现有的小目标检测方法[10]、[16]、[17]、[18]、[19]、[20]、[21]通常将精心设计的策略集成到当前最先进的框架中，并在通用目标检测中表现出卓越性能。Ma等人[16]基于Facet衍生模型提出了一种用于小目标检测的显著特征消除与样本评估网络。为提高小目标的检测性能，Zeng等人[17]提出了ABFPNet，其中

初步知识：状态空间模型

为说明所提出网络中的长程空间建模过程，我们首先介绍VMamba[48]中所使用的二维选择性扫描（SS2D）操作。如图2所示，SS2D由三个主要步骤组成：扫描展开、S6模块和扫描合并。扫描展开步骤将二维特征图转换为多个方向序列，S6模块执行状态空间序列建模，扫描合并步骤将方向响应恢复为原始空间布局。

对于

实验

本节介绍实验以评估我们所提出的方法。首先描述实现细节，包括数据集、参数设置和评估指标。然后，在逆光照无人机检测基准（NightDrone[56]、VisDrone-Night[56]）和通用无人机检测基准（VisDrone[64]和UAVDT[65]）上展示我们方法的性能。NightDrone和VisDrone-Night用于评估夜间和非均匀光照条件下的检测鲁棒性

结论与讨论

在本工作中，我们提出了RTODNet，一种以精度-效率协同设计视角开发的轻量级实时无人机检测器。RTODNet通过LFEM提升表征经济性，并通过LSGFFM增强上下文高效特征交互。LFEM抑制冗余卷积核学习并保留紧凑的特征多样性，而LSGFFM引入渐进式语义精炼和基于状态空间的长程上下文聚合。在NightDrone、VisDrone-Night上的大量实验表明

作者贡献声明

沈志隆：撰写–审阅与编辑，撰写–初稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，形式分析，数据管理，概念化。李国全：撰写–审阅与编辑，资金获取。夏瑞阳：撰写–审阅与编辑。毛有平：撰写–审阅与编辑。孟红英：撰写–审阅与编辑。

利益冲突声明

作者声明不存在任何已知的财务利益冲突或可能影响本文所报告工作的个人关系。

沈志隆于2023年获得重庆科技大学硕士学位。目前在中国重庆重庆邮电大学通信与信息工程学院攻读博士学位。2026年至2027年，他还将担任伦敦布鲁内尔大学电子与电气工程学院访问博士生。他的研究兴趣包括目标检测和图像识别。

沈志隆|李国全|夏瑞阳|毛有平|孟红英