基于分层残差量化和时间误差补偿的脉冲神经网络用于遥感目标检测

《Applied Sciences》：Spiking Neural Network Based on Hierarchical Residual Quantization and Temporal Error Compensation for Remote Sensing Object Detection

　　

与传统人工神经网络（artificial neural network, ANN）相比，脉冲神经网络（spiking neural network, SNN）具有更低的计算复杂度、更低的能耗和更快的推理速度，使其在边缘设备上的实际部署更具前景。然而，在SNN中，由于神经元的输出脉冲是离散的，模型可能面临信息损失，特别是当膜电位被量化为二进制脉冲时，量化误差会导致模型精度损失和信息丢失。为应对这些挑战，本研究提出了一种基于分层残差量化和时间误差补偿的脉冲神经网络（HRQ-TEC-SNN），并将其用于遥感目标检测任务。通过分层残差量化和时间误差补偿设计，可以对膜电位进行更高分辨率的量化，并动态调整膜电位的量化阈值以补偿量化过程中引入的误差，从而在每个时间步进行精细调整，减少粗量化导致的信息损失。在网络结构方面，通过引入深度可分离卷积模块、通道注意力和空间注意力机制，以及整合基于脉冲神经网络的快速空间金字塔池化，模型在减少参数数量和计算成本的同时，进一步提高了检测精度。实验结果表明，HRQ-TEC-SNN在DOTAv1.0、DOTAv1.5和DIOR数据集上，在精度和能耗方面均取得了显著优势。

**论文解读：基于分层残差量化和时间误差补偿的脉冲神经网络用于遥感目标检测**

### 研究背景与问题

遥感目标检测是遥感数据解译中的核心任务，在土地调查、环境监测、国防安全等领域具有重要应用价值。随着深度学习技术的发展，基于人工神经网络（artificial neural network, ANN）的方法已在该领域占据主流地位，但ANN存在高计算能耗、长推理时间以及对大规模标注数据依赖性强等固有局限。相比之下，脉冲神经网络（spiking neural network, SNN）模拟生物神经元的脉冲发放机制，具有事件驱动、低功耗和低延迟的特性，在资源受限的卫星和边缘设备场景中展现出巨大潜力。然而，SNN在应用于遥感目标检测这一复杂视觉任务时面临关键挑战：由于神经元的输出脉冲是离散的，膜电位在量化为二进制脉冲的过程中会引入量化误差，该误差在多时间步传播中逐渐累积，导致连续回归信息（如空间位置、尺度和旋转角度）的建模精度下降。此外，现有SNN训练机制缺乏像ANN那样稳定的反向传播方法，且网络结构常沿袭ANN设计，存在参数冗余和计算效率低的问题。针对上述问题，研究人员提出了一种基于分层残差量化和时间误差补偿的脉冲神经网络（HRQ-TEC-SNN），旨在同时提升检测精度和能效。

### 研究工作与结论

研究人员从神经机制和网络结构两个核心层面展开研究。在神经机制层面，提出了分层残差量化（hierarchical residual quantization, HRQ）和时间误差补偿（temporal error compensation, TEC）的脉冲神经元模型，通过细化膜电位量化粒度和引入前向误差补偿环，有效抑制了量化误差在多时间步中的累积，提升了SNN对连续回归信息的建模能力。在网络结构层面，设计了一种轻量级架构，包括脉冲深度可分离卷积（spiking depthwise separable convolution, SNN_DSC）、通道-空间注意力模块（channel-spatial attention module, CSAM）以及基于SNN的快速空间金字塔池化（SNN-based fast spatial pyramid pooling, SNN_SPPF），在降低参数数量和计算成本的同时，增强了多尺度特征表达和关键区域聚焦能力。实验在三个公开遥感数据集（DOTAv1.0、DOTAv1.5、DIOR）上进行，结果表明HRQ-TEC-SNN在检测精度和能量效率上均优于现有基于ANN和SNN的先进检测器，例如在DOTAv1.5上以仅19.4M参数和20.1mJ能耗达到73.7% mAP@0.5，能耗仅为ReDet的1/23。该研究发表于《Applied Sciences》。

### 主要关键技术方法

研究人员用到了以下关键技术方法：①分层残差量化（HRQ）：通过多级精细量化粒度（g=0.5，4个量化等级）对膜电位进行高分辨率编码，减少信息损失；②时间误差补偿（TEC）：将当前时间步的量化残差反馈至下一时间步的膜电位更新中，形成前向补偿环，抑制误差累积；③深度可分离卷积（SNN_DSC）：替代部分标准卷积，显著降低参数量和计算冗余；④通道-空间注意力机制（CSAM）：同时增强语义和空间维度的特征筛选能力；⑤快速空间金字塔池化（SNN_SPPF）：适配SNN时序计算机制，融合多尺度上下文信息。所有实验基于DOTAv1.0、DOTAv1.5和DIOR三个遥感数据集，样本来源包括Google Earth等公开数据源。

### 研究结果

#### 4.1 数据集与评估
研究人员在DOTAv1.0、DOTAv1.5和DIOR数据集上进行实验，采用mAP@0.5和mAP@0.5:0.95作为精度指标，使用SOPS（突触操作每秒）和能量消耗（基于45nm工艺，累加操作0.9 pJ，乘累加操作4.6 pJ）评估效率。训练使用SGD优化器，余弦退火学习率调度，共300个epoch。

#### 4.2 定量实验比较
在DOTAv1.0上，HRQ-TEC-SNN以19.4M参数达到78.40 mAP@0.5，优于ReDet、O-RepPoints等经典方法，参数分别减少38%和63%。在DOTAv1.5上，模型以20.1 mJ能耗达到73.7% mAP@0.5，能耗仅为ReDet的8%和LSKNet的3%。在DIOR上，模型以74.7% mAP@0.5优于PKINet（67.03%）和MessDet（68.19%）。误例分析表明，定位误差和漏检降低最为显著（分别减少23.8%和19.0%），但重复检测和背景误报略有增加。类别分析显示，小目标（Small Vehicle：+4.9%）和复杂形状目标（Helicopter：+5.6%）提升最大。

#### 4.3 消融实验
在DOTAv1.5上对神经元模型进行消融：单独使用HRQ使mAP@0.5提升7.7%，单独使用TEC提升8.3%，两者联合提升10.8%（从56.4%到67.2%），表明两者存在协同效应。在DIOR上进一步验证了类似结果：HRQ+TEC使mAP@0.5从69.0%提升至74.7%。在不同时间步的实验显示，T=4时达到最佳精度-效率权衡。对轻量级模块的消融表明：单独引入SNN_DSC将参数从34.3M降至16.4M（减少52%），精度略降（从75.6%到74.3%）；添加CSAM后精度回升至74.7%；进一步加入SNN_SPPF达到最佳78.4% mAP@0.5，参数仅19.3M。说明SNN_DSC、CSAM和SNN_SPPF在维度压缩、关键区域增强和尺度特征表达上互补协作。

### 讨论与结论

讨论部分分析了轻量级模块的协同效应：SNN_DSC实现特征压缩和净化，为CSAM提供稀疏特征空间，使注意力权重分配更合理；CSAM在此基础上进行特征筛选和强化；SNN_SPPF进一步整合多尺度上下文信息。三者形成“压缩-选择-融合”的渐进优化流程，有效应对尺度变化、密集排列等复杂场景。能量效率分析显示，HRQ和TEC模块使能耗仅增加10.4%，但精度提升19.1%，能量效率（mAP每mJ）从3.10提高到3.34；轻量级结构进一步将脉冲发放率从38.5%降至28.6%，同时精度提升至73.7%，表明每个脉冲携带更多信息。

研究结论翻译如下：本研究将脉冲神经网络（SNN）与遥感目标检测任务相结合，在DOTA和DIOR数据集上实现了检测精度和能量效率的显著提升。通过开发基于分层残差量化（HRQ）和时间误差补偿（TEC）的脉冲神经元模型，有效缓解了SNN固有的量化误差问题，进一步提高了膜电位计算精度和整体网络性能。在网络架构优化方面，通过三个关键组件实现了轻量级设计：脉冲深度可分离卷积（SNN_DSC）、通道-空间注意力模块（CSAM）和基于SNN的快速空间金字塔池化（SNN_SPPF）。实验结果表明，所提出的HRQ-TEC-SNN不仅在检测精度上优于传统人工神经网络（ANN），而且在多尺度遥感目标检测任务中展现出优异的鲁棒性和灵活性。该模型的优势使其特别适用于实际部署场景，其低能耗和快速推理特性适合星载处理、无人机侦察等资源受限环境。尽管结果令人鼓舞，但该方法目前仅在有限类别数据集上评估，其在更大规模基准上的有效性仍有待验证。未来工作将探索集成先进脉冲注意力机制，并扩展至其他遥感模态和更复杂的检测场景。