《Frontiers in Neuroscience》:Energy-efficient traffic sign recognition using directly trained spiking neural networks and population decoding
编辑推荐:
交通标志识别是自动驾驶系统的一项基本感知任务,需要在严格的延迟和能量约束下实现高精度。卷积神经网络(CNN)性能强大,但对于嵌入式平台而言,其计算需求可能较高。脉冲卷积神经网络(SCNN)提供了一种事件驱动的替代方案,可通过稀疏活动减少计算量,然而其在时间步数
交通标志识别是自动驾驶系统的一项基本感知任务,需要在严格的延迟和能量约束下实现高精度。卷积神经网络(CNN)性能强大,但对于嵌入式平台而言,其计算需求可能较高。脉冲卷积神经网络(SCNN)提供了一种事件驱动的替代方案,可通过稀疏活动减少计算量,然而其在时间步数很少的极低延迟设置下,准确性常常会下降。为了在严格的运行时约束下改进基于脉冲的推理,研究人员在输出阶段集成了一层神经元群体解码层,并在德国交通标志识别基准(GTSRB)上评估了带有和不带有群体解码的直接训练SCNN与一个CNN基线的性能。在不使用群体解码的情况下,最佳SCNN在30个时间步上达到了98.85%的测试准确率,超过了CNN基线(98.38%)。群体解码在低延迟状态下改善了性能,在单个时间步上达到了98.31%的准确率,相比于相同时间设置下没有群体解码的SCNN提高了0.56%。基于操作的能量估计表明,在单个时间步上,SCNN的能量效率比CNN高出14倍以上。总体而言,结果表明,在给予足够的时间整合时,直接训练的SCNN可以匹配甚至超过可比的CNN基线,同时实现更高的能量效率。特别是,在严格延迟约束下运行时,群体解码被证明是有益的。
论文解读:基于直接训练的脉冲神经网络与群体解码的能量高效交通标志识别
一、 研究背景与问题
交通标志识别是高级驾驶辅助系统(ADAS)和自动驾驶(AD)发展中的一个重要组成部分,旨在提升道路安全与交通法规遵守的可靠性。过去十年,该领域主要依赖卷积神经网络(CNN),其通过从图像数据中学习层次化特征表征,在包括交通标志识别在内的多种视觉任务中展现了卓越的准确性。然而,CNN的能量需求和计算要求构成了重大挑战,尤其是在资源受限的嵌入式系统中,其逐层的密集计算会导致显著的能量消耗,限制了其在需要持续感知的自动驾驶车辆等高频率任务中的实时部署。因此,亟需一种能在保持高精度的同时,更节能且能进行低延迟推理的有效替代方案。
为此,神经形态计算应运而生。其中,脉冲神经网络(SNN)模仿生物神经元的异步、事件驱动行为,仅在特定条件满足时才传递信息,这种事件驱动范式使得SNN能够以稀疏的活动模式运行,相比依赖连续信号传播的传统CNN具有潜在的节能优势。然而,SNN因其依赖基于时间的脉冲机制而面临独特挑战。在交通标志识别等实时应用中,这些时态动力学必须在有限时间内展开,这使得同时实现高精度和低延迟变得困难。SNN通常在严格时间约束下难以匹配CNN的性能水平。为了克服这一限制,需要能在不影响预测性能的前提下提升时态效率的策略。
二、 研究概述与意义
针对上述问题,发表在《Frontiers in Neuroscience》的这篇论文深入探讨了SNN在自动驾驶感知任务中的潜力,并以交通标志识别作为代表性案例进行研究。该研究的核心目标是解决SNN在准确性、能量效率和计算复杂性之间的权衡挑战,探索了不同模型配置,包括变化的时间步数以及在输出层使用群体解码。群体解码是一种受神经科学启发的技术,其中神经元群体共同表征特定信息,以增强神经表征的鲁棒性。通过利用群体解码,研究人员旨在减少对广泛时态动力学的依赖,使网络能够在更少的时间步数下实现可靠的预测。
本研究的核心贡献在于:1) 证明了在德国交通标志识别基准(GTSRB)上,直接训练的脉冲卷积神经网络(SCNN)可以达到、甚至在某些时态配置下超越可比的CNN基线的分类准确率;2) 探究了输出层的群体解码作为改善严格低延迟条件下分类性能的策略,结果表明在仅有极少时间步可用时,群体解码能提供持续的优势;3) 通过分析激活稀疏性和基于操作的能量需求,系统地量化了SCNN相比CNN基线的能量效率,表明SCNN在单时间步设置下可实现超过14倍的能量效率提升;4) 分析了不同SCNN配置下分类准确率、时间步数和估计能量需求之间的权衡,为在不同应用约束下选择合适的操作点提供了实用指导。这项研究对于在资源受限环境中(如车载嵌入式系统)实现实时、高效的视觉感知具有重要意义。
三、 关键技术方法
本研究主要采用了以下几个关键技术方法:
- 1.
模型架构:构建了脉冲卷积神经网络(SCNN)作为主要模型,其结构包括一个可训练的输入编码层、三个卷积-LIF块(每个块包含卷积、批归一化、最大池化和泄漏积分发放(LIF)神经元)以及三个全连接层。同时构建了结构类似但使用ReLU激活的CNN作为性能比较基线。
- 2.
群体解码:在输出层引入了一种群体解码策略。与传统“一个神经元代表一个类别”的方式不同,每个类别由一个包含10个神经元的群体共同表示,最终的分类决策基于属于每个类别的神经元群体的累计脉冲计数。
- 3.
直接训练与替代梯度学习:采用通过时间的反向传播(BPTT)结合替代梯度学习的方法直接训练深度SNN,以克服脉冲生成函数不可微的问题,从而能够直接优化网络的时空动态特性,避免了依赖预训练ANN转换带来的高时间步需求。
- 4.
能量效率评估:采用了一种基于操作的估计方法来量化能量消耗。该方法将卷积神经网络(CNN)的浮点运算次数(FLOPs)作为密集计算的上界,并根据SCNN各层观测到的脉冲率进行缩放,以估算其有效计算量,并结合不同的每操作能量成本(CNN的乘加运算(MAC)为4.5 pJ,SCNN的累加运算(AC)为0.9 pJ)来对比两者能效。
四、 研究结果
5.1 数据集与实验设置
研究使用德国交通标志识别基准(GTSRB)数据集,包含43个类别的51,839张图像。对图像进行了标准化、数据增强等预处理,并使用PyTorch和snnTorch框架在GPU上进行模型训练与评估。模型性能在1、3、5、10、20、30个时间步上进行了测试,并比较了带群体解码(SCNN + PD)和不带群体解码(SCNN)的版本。
5.2 准确率与时间步分析
- •
研究发现,SCNN的准确率随时间步增加而提高。无群体解码的SCNN在单时间步准确率为97.75%,在30个时间步达到最高的98.85%。这表明模型受益于额外的时态整合。
- •
群体解码显著提升了低延迟下的性能。在单时间步,带群体解码的SCNN准确率达到98.31%,比无解码版本高0.56%,并且几乎与CNN基线(98.38%)持平。在3和5个时间步,带解码模型也保持略微优势。但在10个时间步以上,其优势减弱,无解码模型在30个时间步实现了最高准确率。
- •
SCNN在足够时态整合下可超越CNN基线。从5个时间步开始,无群体解码SCNN的准确率已超过CNN基线,并在30个时间步实现最佳性能(98.85% vs 98.38%)。
5.3 能量效率估计
- •
研究通过分析各层脉冲率和基于操作的能量模型来估计能效。脉冲率呈现从网络浅层到深层递减的趋势,表明深层活动更稀疏。
- •
SCNN在低时间步下展现出显著的能效优势。在单时间步,SCNN(无论是否带群体解码)的估计能量效率比CNN高出超过14倍(最高达14.95倍)。随着时间步增加,能效优势逐渐减小。在30个时间步,SCNN的能效与CNN相当甚至略低。这表明SCNN的能效收益强烈依赖于网络运行时态操作点。
6 讨论
- •
揭示了准确率、延迟与能量效率之间的权衡关系。增加时间步可提高准确率但会降低能效优势;减少时间步可极大提升能效,但需要策略(如群体解码)来维持准确率。
- •
明确了群体解码的优势场景。群体解码主要在低延迟(时间步少)场景下通过增强输出层的表征能力和决策稳定性来提升性能,在时间步充足时,其优势不再明显。
- •
指出了研究的局限性。包括仅在GTSRB数据集上进行评估,未涉及更复杂的感知任务(如多目标检测、恶劣天气条件),以及能量评估基于分析模型而非实际神经形态硬件测量。未来工作需在更复杂数据集和真实硬件平台上进行验证。
五、 研究结论
本研究在GTSRB数据集上探究了SCNN用于能量高效交通标志识别的应用。结果表明,直接训练的SCNN能够达到具有竞争力的准确率,并且在某些时态配置下,其平均准确率甚至高于可比的CNN基线。同时,凭借稀疏的脉冲计算,SCNN在低延迟设置下提供了显著的能量效率优势。特别是,群体解码在可用时间步数极少时被证明是有益的,而无群体解码的SCNN则在更多时间步下达到了最高的总体平均准确率。总体而言,研究发现SCNN在能量效率和识别准确率之间提供了良好的平衡,使其非常适合资源受限的感知系统。未来工作应在神经形态硬件平台上验证所提出的模型,以获得硬件层面的能量和延迟测量。此外,自适应时间步策略和改进的解码机制可能进一步增强脉冲感知模型在自动化系统更复杂视觉任务中的效率和可扩展性。