ICCT-SNN：用于遥感分类与检测的整数校准协同训练脉冲神经网络

《Neurocomputing》：ICCT-SNN: Integer-calibrated co-training spiking neural network for remote sensing classification and detection

　　

## 摘要

遥感边缘平台通常需要在有限的内存和能量预算下执行场景级分类和对象级检测。近期的整数值脉冲训练和脉冲驱动推理方法表明，训练期间的整数值激活和推理期间的二进制脉冲扩展可以减轻二进制脉冲量化误差，同时保持脉冲神经网络（SNN）的低功耗特性。然而，现有方法主要关注单一视觉任务，通常采用固定的时间步长和量化配置，对时间长度 $T$ 和量化精度 $Q$ 之间的可配置性探索不足。为解决此问题，我们提出 ICCT-SNN，一种用于遥感分类和检测的整数校准协同训练脉冲神经网络框架。ICCT-SNN 采用共享的整数值脉冲编码器和两个任务特定解码器，以减少独立部署分类和检测模型导致的参数冗余。ICCT-SNN 通过在同一二进制推理预算下构建长时编码器和高量化编码器，利用整数值神经元的 $T/Q$ 可配置性。第一阶段并行训练增强共享编码器的表示能力，第二阶段交替输入分类和检测数据，使共享编码器在异构任务监督下更新，同时解码器保持任务适应性。遥感分类和对象检测基准实验表明，ICCT-SNN 在准确率、参数规模和归一化理论计算能量比之间实现了良好的权衡，并相较于单任务 SNN 基线提供了稳定的性能提升。在 PASCAL VOC 2007 上的对照实验进一步表明，所提出的两阶段框架在通用领域分类和检测中依然有效，提供了超越遥感数据集的额外证据。

## 引言

遥感图像分类和物体检测 [1, 2, 3, 4] 是遥感信息提取的核心技术，也是遥感数据实际应用的关键组成部分。这两项技术支持生态保护、城乡农业发展和国家安全等核心需求，为动态监测和精准防控提供数据支持。遥感任务通常部署在边缘设备和无人机等移动平台上，这些平台供电有限且存储资源稀缺。低功耗模型可以延长设备电池寿命，满足长期遥感监测的需求。

目前，大多数主流遥感分类和检测算法均基于人工神经网络（ANN）实现 [5, 6, 7]，但通常在前向传播时需要大量的计算资源。在推理过程中，ANN 中的每个神经元都需要执行耗能的乘法运算。鉴于遥感环境中能量获取和储存的极端困难，检测系统过多的能量消耗可能导致设备过早失效。随后发展的 Transformer 模型 [8, 9, 10] 基于自注意力机制，能够有效捕获图像的全局特征信息，因此已被广泛应用于遥感领域。然而，在处理高分辨率图像任务时，Transformer 模型需要巨大的计算资源，可能导致边缘设备内存溢出，阻碍整个监测任务的进展，从而限制了其在边缘设备上的适用性。

在此背景下，脉冲神经网络（SNN）[11, 12, 13] 因其独特优势 [14] 在研究社区中引起了广泛关注。SNN 遵循事件驱动的计算范式，仅在神经元发放脉冲时执行计算。与传统神经网络相比，SNN 依靠脉冲信号的稀疏性有效降低计算和存储开销 [15]，在资源受限的遥感场景中展现出显著的可适应性优势。

近期，SpikeYOLO/I-LIF 风格的方法 [16, 17] 大幅推进了基于 SNN 的物体检测。其核心思想是在训练期间使用整数值脉冲激活以减少二进制脉冲量化误差，并在推理期间通过虚拟时间步将整数值激活转换为二进制脉冲序列，从而保持脉冲驱动计算。这为高性能、高能效的 SNN 物体检测提供了重要基础。然而，现有研究主要关注单任务物体检测，未解决在遥感边缘场景下独立部署分类和检测模型所导致的参数冗余问题 [18, 19]。此外，整数值脉冲神经元天然包含两个耦合的配置因素——时间长度 $T$ 和量化精度 $Q$。现有工作通常将它们视为固定超参数，而非探索它们在共享编码器训练中的互补性。

基于以上观察，我们提出 ICCT-SNN，其整体框架如图 1 所示。ICCT-SNN 基于继承的 SpikeYOLO/I-LIF 风格整数值脉冲训练和推理基础构建，而非引入新的脉冲神经元或新的检测骨干网络。我们的主要方法论重点是通过对互补的长时编码器和高量化编码器形式来利用该基础的 $T/Q$ 可配置性，并通过分阶段的第二阶段运行将两种编码器状态与共享分类-检测框架整合。在第二阶段，任务级更新通过依次优化相应的共享编码器来分别精化这些编码器状态，同时保留任务特定解码器。主要贡献总结如下：

- 我们将继承的整数值脉冲检测实现扩展为具有共享编码器和两个任务特定解码器的统一分类-检测框架，为两项任务的联合部署提供了参数高效的基
- 我们提出 $T/Q$ 互补训练策略，其中长时编码器形式强调时间积分稳定性，高量化编码器形式强调每个时间步的振幅保真度，两者均在相同的 $N_{virt}$ 虚拟二进制推理预算下运行。
- 我们将 $T/Q$ 互补的第一阶段编码器状态与分任务的共享编码器协同训练相结合，通过两次独立的第二阶段运行实现，其中依次进行的分类和检测更新精化统一模型对应的共享编码器。
- 我们在遥感分类和检测数据集上进行了系统评估，包括与 SpikeYOLO/I-LIF 风格基线、YOLOv8 ANN 基线、单任务 SNN 基线及关键消融设置的对比。在 PASCAL VOC 2007 上的通用领域对照验证进一步表明，完整的 ICCT-SNN 相较于参数匹配的朴素共享骨干网络，分类 mAP 和检测 mAP@0.5 分别提升了 0.9 和 0.7 个百分点。

## 方法部分摘录

### SNN 学习算法

为解决深度 SNN 的训练挑战，研究人员提出了两种深度监督学习算法，即 ANN 到 SNN 的转换和基于梯度替代的直接训练。转换方法 [20, 21] 首先在静态图像上训练一个定制的 ANN，然后将权重迁移到相同架构的 SNN 中，并将输入转换为脉冲数据以适应其时空特性。直接训练方法 [22, 23, 24] 则直接

### 研究与方法

本节介绍 ICCT-SNN 的架构和训练策略。该模型基于整数值脉冲实现基础构建，并将其扩展为统一的遥感分类-检测框架。具体而言，ICCT-SNN 包含一个共享的整数值脉冲编码器和两个任务特定解码器。编码器首先通过 $T/Q$ 互补并行训练进行初始化，然后通过分任务的分类-检测协同训练进行精化。通过这种方式，模型减少了

### 数据集与实现

为验证所提出 ICCT-SNN 模型在遥感领域的有效性和跨数据集鲁棒性，我们在对应遥感领域两个核心任务的基准数据集上进行了系统实验。具体而言，UCM 和 SIRI-WHU 基准数据集被选用于场景分类任务，RSOD 和 NWPU VHR-10 经典数据集被采用于物体检测任务。此外，我们将 UCM 与 RSOD 组合、SIRI-WHU 与 NWPU VHR-10 组合，

## 结论与未来工作

本文提出 ICCT-SNN，一种用于遥感分类和检测的整数校准协同训练脉冲神经网络。该模型基于继承的整数值脉冲驱动检测基础，其设计核心在于在匹配虚拟二进制推理预算下的 $T/Q$ 互补长时编码器和高量化编码器训练。所得到的长时编码器和高量化编码器状态分别带入两次独立的第二阶段运行中，并通过分任务的

## CRediT 作者贡献声明

曹震：监督、方法论。张明宇：软件、数据管理。耿家奇：形式化分析。侯彪：软件。葛怡帆：验证。王云龙：验证。焦李成：监督。

## 利益冲突声明

作者声明没有已知的竞争经济利益或个人关系可能影响本文所报告的工作。

## 作者简介

**曹震**（IEEE 会员）于 2019 年获得西安电子科技大学微电子与固体电子学博士学位。现任西安电子科技大学人工智能学院副教授及教育部智能感知与图像理解重点实验室成员。

曹震 | 张明宇 | 耿家奇 | 侯彪 | 葛怡帆 | 王云龙 | 焦李成

西安电子科技大学人工智能学院，中国陕西西安 710126