一种使用卷积脉冲神经网络与可学习突触延迟的轻量级关键词 spotting（KWS）方法

《Sensors》：A Lightweight Keyword Spotting Method Using a Convolutional Spiking Neural Network with Learnable Synaptic Delays

　　

为解决航空遥感图像中目标尺度极小、纹理信息弱及背景干扰严重等挑战，研究人员提出了MambaIR-YOLO，一种面向航空小目标检测的特徵引导轻量级状态空间框架。该方法基于YOLOv5架构，在细粒度特征建模、长程依赖学习与高分辨率空间信息保留三个关键方面进行了系统性改进，同时保证了实时性能。具体而言，研究人员设计了一个特征级MambaIR_SR（feature-level Mamba-based super-resolution guidance）训练辅助分支，通过融合浅层细节特征与深层语义特征生成高分辨率细节引导信息，在训练阶段提升小目标边缘与纹理的表征能力。在主网络中，研究人员引入了由轻量级Mamba驱动的Object Detail State-Space Block（ODSSBlock），通过通道压缩的状态空间建模机制，以低计算开销统一局部细节保留与长程上下文建模。同时，在浅层特征层面构建Feature Modulation Block（FMB）以增强高频结构信息的表征，从而缓解多次下采样导致的不可逆细节退化。在特征融合与检测阶段，研究人员引入了Coordinate and Channel Attention（C3CA）注意力增强模块，并基于Lightweight Decoupled Head（LADH）构建了轻量级解耦检测头，在高分辨率特征上进行单尺度密集预测，提升小目标定位并减少信息损失。值得注意的是，MambaIR_SR分支仅在训练阶段用于优化，推理阶段完全丢弃，不引入额外计算开销。在VEDAI数据集上的实验结果表明，该方法在三次独立运行中平均mAP50达到84.19 ± 0.03%，参数仅4.46 M，计算量19.97 GFLOPs，在保持低计算成本的同时优于基线方法。

研究背景方面，无人机与航空遥感成像技术的发展使得大范围地面目标观测成为可能，航空遥感图像目标检测已广泛应用于智能交通监控、城市管理、灾害救援、军事侦察、农田巡查与公共安全等任务。与自然场景图像相比，航空遥感图像中的准确目标检测面临独特挑战：由于拍摄海拔高，车辆等典型目标在图像中仅占极少像素，易出现低分辨率、弱纹理与边缘模糊；背景复杂，道路纹理、建筑边缘、阴影、植被与噪声区域可能与小目标产生相似视觉响应导致误检；视野广且尺度分布复杂，单一图像可能同时包含大尺度背景结构与极小目标，要求检测网络具备细粒度局部感知与强上下文建模能力；在无人机巡检与实时边缘监控场景下，检测模型还需满足参数量少、计算需求低与高推理速度等部署要求。传统YOLO系列检测器虽在实时目标检测中广泛应用，但常规卷积主要建模局部邻域，连续下采样与低分辨率特征图会削弱本就微弱的小目标响应，现有方法仍存在推理阶段超分辨率分支增加复杂度、显式保留极小目标浅层细节探索不足、高分辨率定位信息保留困难等问题。因此，研究人员开展了MambaIR-YOLO研究，在YOLOv5基础上围绕“特征级细节引导、轻量级状态空间建模、高分辨率单尺度检测”三方面改进，在VEDAI数据集上取得平均mAP₅₀为84.19 ± 0.03%、参数4.4588 M、计算量19.97 GFLOPs的结果，优于YOLOv8、YOLOv11、YOLO26与SuperYOLO等近期方法，在航空小目标检测精度与部署效率间取得良好平衡，论文发表在《Sensors》。

作者为开展研究用到的主要关键技术方法包括：基于YOLOv5架构构建MambaIR-YOLO框架；设计特征级MambaIR_SR训练辅助分支，融合浅层细节与深层语义特征生成高分辨率细节引导信息并在推理时移除；设计轻量级Mamba驱动的ODSSBlock，在类C3双分支结构中嵌入通道压缩状态空间建模单元；在骨干网浅层部署FMB，通过深度可分离卷积与轻量级Mamba增强高频细节；在Neck融合节点引入C3CA注意力增强模块，构建基于LADH的高分辨率单尺度检测头；采用CIoU-NWD混合定位损失；在VEDAI航空遥感数据集及扩展的DroneVehicle、AI-TOD、DOTA数据集上开展实验，输入尺寸统一为512×512，采用RGB+IR+MF输入模式，使用SGD优化器训练300轮，对比YOLOv8、YOLOv11、YOLO26、SuperYOLO等方法，以Precision、Recall、mAP₅₀、mAP_50–95、Params、GFLOPs、FPS为评价指标并开展消融实验。

研究结果部分保留小标题并说明如下：

4.1. Datasets and Evaluation Metrics，研究人员使用VEDAI航空图像数据集验证方法有效性，该数据集具典型俯视视角、小目标密度高、背景复杂与尺度变化显著特点，同时引入DroneVehicle双模态数据集、AI-TOD极微小目标单模态数据集、DOTA大规模卫星遥感数据集开展跨场景泛化实验；评价指标采用Precision、Recall、mAP₅₀、mAP_50–95、参数量（Params）、计算量（GFLOPs）与推理速度（FPS）。

4.2. Experimental Setup，所有模型在相同条件下训练测试，基于PyTorch 2.1.0与CUDA 12.1实现，输入尺寸512×512，批次大小2，训练轮数300，SGD初始学习率0.01，动量0.937，权重衰减0.0005，热身轮数3.0，框、目标、分类损失权重分别为0.05、1.0、0.5，SR辅助损失权重0.1，训练启用MambaIR_SR分支、推理移除，完整模型独立训练三次取均值±标准差。

4.3. Comparison with Mainstream Methods，在VEDAI数据集上MambaIR-YOLO的mAP₅₀为84.19%、mAP_50–95为51.47%，参数约4.45 M、19.97 GFLOPs；较YOLOv8s、YOLO11s、YOLO26s的mAP₅₀分别提升18.09、14.79、16.69个百分点，mAP_50–95分别提升12.67、11.27、11.77个百分点；较SuperYOLO的mAP₅₀从75.09%提升至84.19%、mAP_50–95从43.72%提升至51.47%，参数从4.84 M降至约4.45 M，推理速度达196.36 FPS，在精度与效率间取得良好平衡。

4.4. Ablation Experiment，原始YOLOv5s的mAP₅₀为56.69%、mAP_50–95为31.70%，完整MambaIR-YOLO分别为84.19%与51.47%；移除MambaIR_SR分支mAP₅₀降至80.00%、mAP_50–95降至48.80%；移除ODSSBlock降至80.28%与49.84%；移除FMB降至77.73%与48.73%；移除C3CA降至76.15%与45.27%；各模块均有互补贡献，C3CA移除影响最大。

4.5. Analysis of Model Complexity，MambaIR-YOLO参数从YOLOv5s的7.041 M降至4.458 M，降幅约36.69%，计算量从15.80增至19.97 GFLOPs，仍达196.36 FPS；MambaIR_SR分支仅训练使用，推理不增加参数与计算量；移除ODSSBlock、FMB、C3CA会提升推理速度但降低精度，各增强模块以有限吞吐量换取上下文建模、细节保留与特征判别能力提升。

4.6. Analysis of Inference Efficiency，输入512×512、批次1时，MambaIR-YOLO平均推理延迟5.093 ms/图，P95延迟5.366 ms，速度196.36 FPS，峰值GPU显存371.81 MB；实时性源于训练专用MambaIR_SR推理移除、ODSSBlock通道压缩轻量Mamba设计、FMB与C3CA紧凑结构、高分辨率单尺度检测避免多分支，在保持高精度同时具备优良实时推理能力。

4.7. Analysis of Visualization Results，可视化对比显示YOLOv8、YOLOv11、YOLO26在复杂背景、极小车辆、模糊边界场景易漏检误检，MambaIR-YOLO更鲁棒，可靠检测微小车辆并抑制背景误检；密集场景中更好区分相邻小目标，低对比度或阴影干扰场景更准确聚焦车辆区域；混淆矩阵中MambaIR-YOLO对car与pickup准确率达0.86与0.86，van与boat达1.00与0.82，优于基线；评估曲线显示在置信阈值约0.348时F1最优，多数车辆类别检测稳定，验证特征级细节引导、轻量状态空间建模与高分辨率单尺度检测的有效性。

4.8. Generalization Capability Experiments and Analysis，在DroneVehicle数据集上MambaIR-YOLO的mAP₅₀为81.85%，较YOLOv5s提升10.5%、较SuperYOLO提升9.35%；在AI-TOD极微小目标数据集上达58.47%，依托MambaIR_SR高分辨率细节引导与CIoU-NWD混合损失缓解特征退化；在DOTA小目标类别测试上达73.82%，高分辨率单尺度检测头结合FPN与C3CA可有效集中关键通道与空间方向响应；跨数据集实验表明方法在多场景、多模态与复杂背景下具良好鲁棒性与部署潜力。

讨论部分总结：研究人员指出MambaIR-YOLO基于YOLO系列基线，当前对比主要聚焦YOLO变体与少数轻量网络，未全面对比非YOLO专用航空检测框架；ODSSBlock虽平衡上下文与参数，但Mamba在低功耗边缘设备的硬件级优化不及标准卷积成熟。未来将把特征级细节引导与轻量状态空间建模扩展至更广泛先进航空检测架构，探索更轻量状态空间结构与硬件友好算子以适配无人机边缘嵌入式设备实时解译。

研究结论部分翻译：本文针对航空遥感小目标检测中目标分辨率低、浅层细节退化、复杂背景干扰强与轻量部署难等问题，提出MambaIR-YOLO这一受MambaIR引导的轻量高分辨率单尺度YOLO检测模型；基于YOLOv5框架在特征级细节引导、轻量级状态空间建模与高分辨率单尺度检测三方面改进；构建特征级MambaIR_SR训练辅助分支利用主网浅层细节与深层语义生成高分辨率细节引导、推理移除不增开销；设计轻量Mamba驱动的ODSSBlock与FMB，ODSSBlock在类C3双分支增强局部与长程上下文、FMB在骨干浅层通过深度可分离卷积与轻量Mamba预调高频细节缓解下采样细节损失；在Neck融合节点引入C3CA并在高分辨率单尺度检测头聚焦小目标区域与定位信息；VEDAI数据集上MambaIR-YOLO平均mAP₅₀达84.19 ± 0.03%、参数4.4588 M、计算量19.97 GFLOPs，优于近期YOLO系列与SuperYOLO，平衡精度与效率；消融实验验证MambaIR_SR、ODSSBlock、FMB、C3CA的有效性；DroneVehicle、AI-TOD、DOTA数据集泛化实验表明方法在多模态、极微小尺度与复杂背景下具良好鲁棒性与泛化性；局限在于对比范围主要限YOLO变体、Mamba边缘硬件优化不成熟；未来将扩展至非YOLO架构并探索更轻量与硬件友好算子以推进无人机边缘实时解译应用。