SpikeVPR：基于多尺度脉冲变换器的节能视觉位置识别方法

《Neurocomputing》：SpikeVPR: Energy-efficient visual place recognition via multi-scale spiking transformers

　　摘要：视觉场景识别在自主机器人导航中起着关键作用，但需要在检索精度与计算效率之间实现精确平衡。虽然人工神经网络在精度方面表现优异，但其高昂的计算成本限制了其在边缘设备上的应用。脉冲神经网络作为一种节能的替代方案，但在为视觉场景识别提取具有区分度的特征方面一直存在不足。为填补这一差距，我们提出了SpikeVPR——一种兼具优异性能与高能效的新型脉冲神经网络框架。我们的贡献主要有两方面：（1）我们引入了一种基于脉冲的多尺度适配器，为基于Transformer的脉冲神经网络架构增添多尺度感知能力；（2）我们设计了脉冲注意力解码器，利用基于脉冲的注意力机制将深层特征提炼为简洁的全局描述符。实验表明，SpikeVPR在基于脉冲神经网络的视觉场景识别方法中达到了新的最佳水平（如在Nordland数据集上的R@1准确率为88.2%），大幅缩小了与基于人工神经网络方法的性能差距。根据我们的能量模型，该框架每处理一张图像仅需6.7毫焦耳的能量，相比传统模型能耗降低了83%以上。这项工作为在能源约束严格的机器人系统上实现高精度的视觉场景识别奠定了基础。

引言：视觉场景识别是自主系统的导航核心，它通过将当前观测场景与已访问地点的数据库进行匹配，帮助机器人确定自身位置[1]。这一功能对于各种机器人定位任务至关重要，包括同步定位与建图中的环路闭合检测，以及移动机器人的全局重定位[2]。然而，在实际应用中，视觉场景识别面临着一个现实挑战：既要保证在高动态环境中仍能实现高精度检索，又要满足在资源受限平台（如微型无人机或移动机器人）上的高效运行需求[3]。因此，开发更高效的算法已成为该领域的重要研究方向。

近年来，人工神经网络的快速发展推动了多种专为视觉场景识别设计的算法的出现[4]–[8]。由于人工神经网络具备强大的表征能力，这些方法往往能够达到当前最佳性能。但如此高的性能往往以更高的计算复杂度、更大的模型规模以及更高的能耗为代价。这些局限性严重阻碍了它们在实时运行且资源有限的机器人平台上的应用。

受生物神经处理机制的启发，脉冲神经网络因其具备在类脑硬件上实现超低能耗和低延迟计算的潜力，成为一种极具前景的替代方案[9]–[11]。它们已被越来越多地应用于机器人领域的场景理解、导航和运动规划等任务中[12]–[14]。尽管前景广阔，但在视觉场景识别领域，脉冲神经网络与人工神经网络之间仍存在显著的性能差距。现有的基于脉冲神经网络的方法[15]–[18]通常采用较为简单的架构或时间编码方式，无法捕捉到实现可靠场景识别所需的深层语义信息。因此，脉冲神经网络目前仍处于边缘地位，被视为具有节能优势的有趣技术，而非主流深度学习模型的有力竞争者。这引发了一个重要的研究问题：性能差距究竟仅源于脉冲机制本身，还是也因现有脉冲神经网络架构的表征和聚合能力有限而加剧？

我们认为两者都是原因。脉冲表征方式对信息的表征和聚合过程带来了限制，而以往基于脉冲神经网络的视觉场景识别方法所采用的相对简单的架构则可能进一步加剧这些限制。为克服这些难题，我们提出了SpikeVPR。该框架结合了脉冲信号带来的高效处理特性与现代深度学习的强大表征能力，显著缩小了基于脉冲神经网络与基于人工神经网络的视觉场景识别方法之间的性能差距。与以往的研究不同，我们采用了深度脉冲Transformer架构来捕捉全局上下文。为应对视觉场景识别的特殊需求，我们还设计了两个专用组件：（1）基于脉冲的多尺度适配器，用于将局部多感受野特征融入脉冲流中；（2）脉冲注意力解码器，它利用可学习的查询机制将深层特征聚合为具有区分度的全球描述符。我们的研究证明，在类脑硬件严格的能耗限制下，依然可以实现高精度、深层次的语义视觉场景识别，这为在资源受限的机器人平台上实现高精度视觉场景识别带来了希望。

我们的主要贡献如下：
（1）高性能脉冲Transformer框架：我们提出了SpikeVPR，这是一种新型脉冲神经网络框架，显著缩小了基于脉冲神经网络与基于人工神经网络的视觉场景识别方法之间的性能差距。通过将预训练的脉冲Transformer架构调整为满足视觉场景识别特有的表征和聚合需求，SpikeVPR在现有基于脉冲神经网络的视觉场景识别方法中达到了新的最佳性能水平（如在Nordland数据集上的R@1准确率为88.2%）。
（2）多尺度适配器：我们设计了一种新的基于脉冲的多尺度适配器，为脉冲神经网络架构增添多尺度感知能力。该模块通过脉冲驱动的卷积操作，注入在传统Transformer架构中容易丢失的局部上下文细节，从而显著提升模型对视角和尺度变化的适应能力。
（3）脉冲注意力解码器：我们设计了一种专用的脉冲注意力解码器，它利用脉冲驱动的注意力机制和可学习的查询机制，将复杂的深层特征映射转化为简洁的全局描述符，有效解决了脉冲神经网络中信息聚合的瓶颈问题。
（4）理论上的高能效：SpikeVPR在保持与若干类似规模的人工神经网络相当的性能的同时，具有较低的理论能耗。根据我们所采用的能量模型，该框架处理一张图像仅需6.7毫焦耳的能量，相比传统模型能耗降低了83%以上，显示出其在资源受限的机器人平台上的巨大应用潜力。

相关内容片段：
视觉场景识别：视觉场景识别旨在通过将查询图像与参考场景数据库进行匹配，判断当前观测到的场景是否曾出现过[3]。这一检索任务需要在视角、光照、外观以及动态环境条件发生大幅变化的情况下依然保持稳定性能。早期的视觉场景识别方法依赖于诸如SIFT之类的手工设计的局部描述符[20]，而后来的方法则转向基于CNN的全局描述符学习。

方法：如图2(A)所示，SpikeVPR首先通过带有多尺度适配器的脉冲神经网络架构处理输入图像，随后通过3×3卷积将得到的特征进行投影，再传递给脉冲注意力解码器层。所有中间输出结果会被拼接在一起，之后通过两次线性投影优化其通道维度与查询数量。最后，这些特征会被展平并经过L2归一化处理，形成用于相似性搜索的简洁全局图像表示。

实验设置：在模型训练方面，我们使用了GSV-Cities数据集[40]，该数据集包含56万张图像，涵盖67,000个不同的地理位置，每张图像都配有高精度的标签。在评估阶段，我们在多个常用的视觉场景识别基准数据集上进行测试，包括Pitts30k[41]、MSLS[42]、Tokyo24/7[43]、SPED[44]、Nordland[45]和St. Lucia[46]。表1总结了这些数据集的基本信息。在我们的评估中采用了Recall@N（R@N）指标，该指标用于计算满足特定条件的查询占所有查询的百分比。

消融实验：我们进行了消融实验，旨在探究三个关键问题：所提出的各个组件是如何运作以及彼此之间如何相互作用的；与基于人工神经网络的方法相比，它们的准确率有何变化；SA-Decoder中关键参数的选择如何影响性能。除非另有说明，所有实验均在相同的训练和评估条件下进行。

定性分析与可解释性研究：除了定量分析之外，我们还对成功案例和失败案例进行了定性分析，进一步探讨了所提出方法的可解释性。

结论：本文介绍了SpikeVPR，这是一种高效能的脉冲神经网络框架，可用于实现高质量的视觉场景识别。该框架基于基于Transformer的脉冲神经网络架构，结合了用于特征提取的多尺度适配器以及用于全局描述符聚合的脉冲注意力解码器。实验结果表明，SpikeVPR在性能上始终优于以往所研究的基于脉冲神经网络的视觉场景识别方法，显著缩小了脉冲神经网络与人工神经网络方法之间的性能差距，并且在与若干类似规模的基于人工神经网络的方法相比时，也具备了相当的准确率。

作者贡献说明：
周恒毅：论文撰写与修改。陈寅生：监督指导。罗继龙：监督指导。高建政：监督指导。刘伟：监督指导。肖善林：监督指导。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。周恒毅于2024年在中国珠海的中山大学微电子科学与工程学院获得电子科学与技术学士学位，目前他正在该校攻读电子科学与技术硕士学位，他的研究方向为人工智能与类脑计算领域的专用架构设计。

周恒毅|陈寅生|罗继龙|高建政|刘伟|肖善林