SMG-UAV：面向复杂动态环境鲁棒无人机检测的稀疏互引导RGB–事件融合方法

《Drones》：SMG-UAV: Sparse Mutual Guided RGB–Event Fusion for Robust UAV Detection in Challenging Dynamic Environments

　　

在真实低空反无人机场景中，鲁棒的无人机（UAV）检测仍然面临挑战，原因在于运动模糊、极端光照、杂乱背景以及目标尺寸微小。现有多数UAV检测器依赖RGB图像，但其性能在这些不利条件下通常会显著下降。事件相机（Event Camera）作为一种神经形态感知模态，能够以高时间分辨率捕获对运动敏感的响应，因此可为鲁棒UAV检测提供互补线索。然而，现有RGB–事件融合检测器通常采用同构特征提取与通用融合机制，难以有效应对异构模态退化，也不足以挖掘可靠的跨模态线索。为解决这一局限，研究人员提出SMG-UAV，这是一种用于鲁棒小型UAV检测的稀疏互引导RGB–事件融合网络。该方法集成了用于模态特异性表征学习的混合双分支骨干网络、用于双向稀疏跨模态细化的稀疏互引导桥（Sparse Mutual Guided Bridge，SMG-Bridge），以及用于弱UAV响应多尺度增强的选择性门控金字塔颈部网络（Selective Gated Pyramid Neck，SGP-Neck）。在Florence RGB-Event Drone Dataset（FRED）和Neuromorphic-RGB Drone Detection Dataset（NeRDD）上的实验表明，SMG-UAV达到了当前最优（state-of-the-art）性能，在_mAP方面平均比最强竞争方法高5.2个点，并且在多种具有挑战性的反无人机条件下表现出更强的鲁棒性。

该文发表于《Drones》，围绕低空反无人机监视中“小目标、弱纹理、强干扰、易退化”这一核心难题，提出了一种面向复杂动态环境的RGB–事件融合检测框架SMG-UAV。研究背景在于，随着无人机（UAV）在航拍、物流、应急响应和基础设施巡检等领域的快速普及，低空空域中的未授权或恶意无人机对机场运行、关键基础设施保护、公共活动安全和个人隐私构成现实威胁。因此，能够在复杂环境下稳定输出空间定位结果的前端检测系统，已成为后续识别、跟踪、风险评估与拦截决策的基础。然而，当前主流视觉检测方法大多建立在RGB可见光图像之上，这类方法虽能有效利用纹理、颜色与语义信息，但在远距离小目标、快速运动造成的运动模糊、欠曝光与过曝光、复杂背景遮蔽以及背景结构与目标外观相似等条件下，检测性能会明显下降。相比之下，事件相机（Event Camera）以异步方式响应亮度变化，具备微秒级延迟、高动态范围与对运动敏感的稀疏输出特性，能够在快速运动和极端光照下保留清晰的运动轮廓，因此为UAV检测提供了与RGB互补的线索。

尽管RGB–事件融合被认为是提升鲁棒性的可行路径，但现有方法仍存在三方面不足。首先，许多方法对RGB与事件数据采用相似的骨干网络，忽略了两种模态在感知机制上的根本异质性。其次，常见融合策略主要依赖拼接、求和、通道加权或通用注意力，缺乏对“某一模态退化时由另一模态进行可靠补偿”的显式建模。再次，针对远距离小型无人机的多尺度增强仍然不足，普通特征金字塔虽然支持多尺度检测，但未必能够针对弱小目标形成足够强的响应。基于这些问题，研究人员提出SMG-UAV，强调模态感知（modality-aware）与任务导向（task-oriented）的统一设计，核心结论是：通过面向模态特性的特征提取、基于稀疏潜空间的双向互引导跨模态修正，以及门控式多尺度增强，能够显著提升复杂动态环境下小型UAV检测的准确性、稳定性与实用鲁棒性。

从技术方法上看，研究人员主要采用了四类关键技术。第一，构建模态特异性混合CSP骨干网络：RGB分支使用以外观表征为导向的CSPDarknet，事件分支则将事件流转换为体素（voxel）表示后输入Spiking CSPDarknet，并以LIF（Leaky Integrate-and-Fire，漏积累发放）神经元建模稀疏时序响应。第二，设计SMG-Bridge，在低维稀疏潜空间中完成事件引导RGB修正与RGB引导事件修正，以自适应稀疏阈值和动态引导门实现可靠线索保留与不可靠响应抑制。第三，设计SGP-Neck，通过局部响应感知、顶部向下语义注入和底部向上细节反馈的门控结构，对弱小无人机响应进行多尺度增强。第四，在FRED与NeRDD两个同步RGB–事件无人机数据集上进行统一协议实验，并补充挑战子集鲁棒性评估、复杂度评估、嵌入式部署评估、消融研究与跨数据集迁移评估。

在研究结果部分，论文按照模块与实验层次给出了较为系统的论证。

3.1. Problem Formulation and Overall Architecture
研究人员首先将任务定义为：给定时刻t的RGB帧与对应时间窗Δt内的事件集合，联合利用RGB外观信息与事件运动敏感响应实现UAV定位。原始事件被表示为含像素坐标、时间戳和极性的异步事件序列，随后被转换为带有时间分桶与正负极性通道的事件体素表示。整个SMG-UAV由模态特异性混合CSP骨干、3个SMG-Bridge、一个SGP-Neck以及YOLO风格检测头组成。该部分的核心结论是，研究人员通过统一框架把“模态特异性表征学习—稀疏跨模态融合—多尺度增强检测”串联起来，为复杂环境小目标无人机检测建立了完整技术路径。

3.2. Modality-Specific Hybrid CSP Backbone
在该部分，研究人员强调RGB与事件信号来自不同传感机制，不应被完全相同的特征提取策略处理。RGB分支采用标准CSPDarknet提取层级外观语义特征；事件分支则构建Spiking CSPDarknet，将事件体素按时间步送入脉冲网络，以LIF神经元更新膜电位，并通过替代梯度（surrogate gradient）解决Heaviside阶跃函数不可导问题。研究结果表明，这种事件导向的脉冲式编码方式更契合事件数据的稀疏性、异步性与时序性，能够比普通帧式骨干更有效地提取运动敏感特征，并为后续跨模态融合提供更可靠的事件表征。

3.3. Sparse Mutual Guided Bridge
这是论文方法学上的核心创新。研究人员指出，RGB特征虽包含丰富外观与语义，但易受模糊、曝光变化和背景杂波影响；事件特征虽对运动边界敏感，却可能因弱运动而稀疏，或因背景活动而含噪。因此，简单拼接两模态会将不可靠信息直接注入融合特征。SMG-Bridge借鉴稀疏编码与ISTA（Iterative Shrinkage-Thresholding Algorithm，迭代收缩阈值算法）思想，将特征映射到紧凑稀疏潜空间，并在阶段3–5之间逐级传播稀疏潜码。

3.3.1. Event-Guided RGB Sparse Updating
该小节中，研究人员利用传播而来的事件稀疏潜码生成引导门，对RGB潜码的重建残差进行调制，再通过自适应阈值的软收缩（soft-shrinkage）抑制弱噪声响应，并以残差形式重建增强后的RGB特征。由此得到的结论是：事件分支可作为运动敏感的引导来源，帮助恢复在模糊、曝光退化或背景干扰下受损的RGB目标结构。

3.3.2. RGB-Guided Event Sparse Updating
与前一方向对称，研究人员使用RGB稀疏潜码引导事件潜码更新。考虑到事件分支仍保留时间结构，该部分额外定义时间聚合与时间广播操作，使RGB语义线索能够用于压制背景触发事件，同时保留真正与UAV相关的运动响应。该结果说明，稳定的RGB外观语义可作为事件模态的判别先验，减少因相机抖动、植被运动、云层变化等带来的伪响应。

3.3.3. Fusion of Enhanced Features
在双向稀疏更新之后，增强后的RGB与事件特征不再直接拼接，而是通过轻量动态融合门预测逐token、逐通道的模态权重，并经卷积块进一步细化。该部分说明，研究人员实现的不是传统意义上的特征聚合，而是基于可靠性选择的细粒度动态融合，使每个局部位置都能自适应地偏向更可信的模态。

3.4. Selective Gated Pyramid Neck
研究人员指出，即便获得了多尺度融合特征，弱小无人机目标仍需要更有针对性的跨尺度增强。SGP-Neck先将各级特征投影到统一维度，再经局部响应感知模块（Local Response Perception Module，LRPM）增强局部空间上下文，随后通过自顶向下语义门和自底向上细节门完成双向门控传播。研究得出的结论是，该设计能够同时注入高层语义与底层定位细节，尤其有利于远距离、低对比度和弱响应的小型UAV目标。

4.1. Datasets and Implementation Details
实验部分基于FRED和NeRDD两个同步RGB–事件无人机检测数据集展开。FRED包含超过7 h标注数据，覆盖5种无人机与多种复杂条件；NeRDD包含超过3.5 h同步记录，共115个视频，分辨率为HD、30 FPS。所有方法均在统一输入分辨率、训练预算、优化策略与评估协议下比较，SMG-UAV默认将事件流编码为T=3的事件体素，即6通道表示。该部分表明，研究人员尽可能控制了实验变量，保证了与现有RGB-only、Event-only及RGB–Event方法比较的公平性。

4.2. Comparison with State-of-the-Art Methods
在总体对比中，RGB-only方法在FRED和NeRDD上表现有限，说明仅依赖外观信息难以适应真实反无人机场景。Event-only方法整体优于RGB-only，验证了事件相机在运动模糊和光照变化条件下的优势，但仍受弱运动和背景事件噪声影响。RGB–事件融合方法总体优于RGB-only，但并非始终超过最强Event-only基线，显示“简单融合并不等于有效融合”。相较之下，SMG-UAV在两数据集上的_mAP、AP₅₀和AP₇₅均取得最优，且训练方差较低，说明该方法不仅准确，而且稳定。

进一步的反无人机实用指标评估表明，SMG-UAV在FRED上同时实现了更高召回率（recall）、更低每帧误报数（FP/frame）和更低漏检率（miss rate），这意味着其作为前端告警模块时更能兼顾漏警风险与误警负担。研究人员还人工构建了五个挑战子集：small target、motion blur、extreme illumination、background-embedded以及bird distractor。在这五类场景上，SMG-UAV的AP₅₀均为最优，说明其在微小目标、运动模糊、极端光照、背景嵌入和鸟类干扰等关键失效因素下具有一致性鲁棒优势。尤其在bird distractor子集中，SMG-UAV相对最强竞争者提升明显，表明双向引导机制有助于区分真实无人机与类目标干扰物。

4.3. Computational Complexity and Inference Efficiency
该部分评估了参数量、GFLOPs、FPS与推理延迟。尽管SMG-UAV因双分支、脉冲事件编码和多模块融合而复杂于某些单模态方法，但其模型规模为18.7 M，计算量为66.2 GFLOPs，在服务器端达到132 FPS、平均前向延迟7.58 ms，在NVIDIA Jetson Orin Nano上也可实现40 FPS。研究结论是，SMG-UAV在保持当前最优检测性能的同时，仍具有较好的实时性和边缘部署潜力。

4.4. Qualitative Comparison and Heatmap Analysis
定性结果显示，在极端光照、背景杂乱、弱小目标和低对比度场景中，RGB-only方法容易漏检或置信度不稳定；Event-only方法虽能捕获运动响应，但在事件稀疏或背景运动存在时预测易碎片化；已有融合方法仍会出现定位漂移或背景误激活。SMG-UAV则输出更紧致的边界框与更稳定的置信度。Grad-CAM热图进一步表明，SMG-UAV对真实UAV区域形成更紧凑、更聚焦的激活，而对无关背景响应更少，这与其可靠性感知融合机制相一致。

4.5. Ablation Studies
消融实验系统验证了各组件作用。主组件逐步加入实验表明：事件体素表示优于三通道累积事件帧；Spiking CSPDarknet进一步提升事件表征质量；SMG-Bridge带来最大性能增益；SGP-Neck继续加强小目标多尺度表示。双向引导实验显示，仅保留单向引导虽优于直接融合，但完整双向互引导性能最佳，说明“事件引导RGB恢复”与“RGB引导事件净化”是互补关系。进一步分析表明，移除引导门或将动态门替换为静态标量，都会使性能下降；去除自适应稀疏阈值同样削弱结果，证明动态可靠性门控与稀疏阈值收缩共同构成SMG-Bridge有效性的关键。事件体素配置实验表明，T=3在时间分辨率、事件密度、精度与复杂度之间达到较优平衡，33.3 ms积累窗口最合适。桥接层位置实验显示，在L3、L4、L5多层同时部署SMG-Bridge优于仅在单层部署，说明高分辨率细节引导与深层语义引导具有互补性。

4.6. Cross-Dataset Transfer Evaluation
跨数据集实验呈现出明显的不对称迁移模式。FRED→NeRDD时，性能相对NeRDD域内测试下降较小，说明在更广分布上训练得到的表示可较好迁移到相关但相对较窄的分布；而NeRDD→FRED时下降明显，说明较窄训练分布难以覆盖FRED更丰富的目标尺度、背景、光照与运动变化。这表明SMG-UAV具备一定跨分布迁移能力，但从有限源域泛化到更复杂真实环境仍是未完全解决的问题。

在讨论部分，研究人员并未夸大方法能力，而是明确指出若干实际限制。首先，SMG-UAV依赖时空同步的RGB–事件感知，若同步或几何标定存在误差，跨模态交互可靠性会下降，尤其影响快速小目标。其次，悬停、缓慢运动或径向运动UAV会产生较弱事件响应，削弱事件模态的补偿价值。再次，当前数据集缺乏完整标定距离与物理尺寸信息，因此难以从物理空间给出固定最大探测距离，只能以图像域小目标条件作为长距离难度代理。最后，边缘端评估目前仅报告网络前向推理速度，尚不包含采集、同步、体素构建、预处理、后处理和通信等完整系统开销。失败案例分析进一步显示，当RGB外观极弱且事件运动证据也不足时，方法仍可能漏检；而对于鸟类等具有相似尺度和运动响应的干扰物，仍可能产生误报。

论文结论部分可译为：
本文提出了SMG-UAV，一种用于复杂低空反无人机监视场景中鲁棒无人机检测的稀疏互引导RGB–事件融合网络。不同于主要依赖直接特征聚合的传统RGB–事件检测器，所提出框架显式建模了非对称退化条件下的互补跨模态恢复。具体而言，采用面向外观的RGB分支与Spiking CSPDarknet事件分支，分别编码稠密外观线索与稀疏运动敏感响应；在此基础上，SMG-Bridge通过双向稀疏互引导恢复退化目标结构并抑制不可靠的跨模态干扰，而SGP-Neck则通过选择性多尺度特征聚合进一步增强弱UAV响应。FRED与NeRDD上的大量实验表明，SMG-UAV稳定优于代表性的RGB-only、Event-only以及RGB–事件融合方法。除总体基准比较外，在人工构建的FRED挑战子集上的鲁棒性评估还表明，该方法在小目标、运动模糊、极端光照、背景嵌入以及鸟类干扰条件下具有明显优势。消融实验验证了事件体素表示、Spiking CSPDarknet、双向互引导、自适应稀疏阈值、动态可靠性门控以及多尺度增强的有效性。定性可视化与失败案例分析进一步揭示了该方法在复杂反无人机场景中的优势与仍待解决的挑战。研究人员同时指出，方法仍受同步标定误差、弱运动事件响应、跨环境泛化和完整端到端部署开销等因素限制，未来将继续面向更广泛跨环境与跨传感器评估、同步鲁棒性提升、弱运动建模、异步或自适应窗口推理以及更多嵌入式平台上的端到端优化展开研究。