编辑推荐：
•脉冲VoteNet针对室内3D检测中的两个脉冲敏感阶段。•混合池化残差PointNet++保留了具有判别性的种子特征。•多残差投票在二值脉冲下改进了投票定位。•ScanNetV2上的mAP@0.25相比脉冲基线从44.8%提升至57.1%。•理论能耗相比ANN VoteNe
- •
脉冲VoteNet针对室内3D检测中的两个脉冲敏感阶段。
- •
混合池化残差PointNet++保留了具有判别性的种子特征。
- •
多残差投票在二值脉冲下改进了投票定位。
- •
ScanNetV2上的mAP@0.25相比脉冲基线从44.8%提升至57.1%。
- •
理论能耗相比ANN VoteNet最高降低60.7%。
引言
室内3D目标检测对于机器人、增强现实和自主平台中的感知系统至关重要[1], [2], [3], [4]。在室内环境中，有限的功耗和计算预算使得高效部署尤为重要。然而，主流人工神经网络（ANN）检测器仍依赖于大量乘累加操作，这阻碍了其在资源受限平台上的部署[5], [6]。
脉冲神经网络（SNN）因其事件驱动和稀疏计算的特性，在低功耗3D感知方面具有吸引力[7], [8]。然而，室内3D检测比分类更具挑战性：它既需要在杂乱场景中获取信息丰富的局部特征，又需要准确的定位。直接以脉冲方式替代ANN检测器因此面临两个相互关联的困难。首先，二值激活会削弱用于区分邻近物体的局部几何描述符。其次，物体中心投票需要精细的偏移回归，这对量化和表示损失非常敏感。这两种效应使得朴素的ANN到SNN的移植方法在室内检测中不可靠。
VoteNet [9]为开发脉冲式室内检测器提供了合适的基础。它是一种代表性的基于投票的方法，其PointNet++聚合、种子投票和提案生成阶段分离清晰。这种结构使得识别脉冲式表示造成最大损失的环节成为可能。其基于投票的设计也构成了后续室内检测器如MLCVNet [10]、VENet [11]和CAGroup3D [12]的基础，同时保持紧凑且纯几何的特性。因此，我们在VoteNet的基础上进行改进，将重新设计聚焦于受脉冲计算影响最大的阶段。如图1所示，这些阶段是PointNet++中的局部特征聚合和提案生成中的精确投票定位。
为解决这一问题，我们提出了Spiking VoteNet，一种围绕这两个失效模式设计的混合ANN/SNN检测器。采用混合池化的残差脉冲PointNet++主干网络通过保留显著响应和粗粒度邻域激活密度来改善局部特征聚合。多残差投票模块通过累积中间脉冲激活而非依赖单一最终脉冲表示来改善偏移回归。这些模块共同将VoteNet中两个表示敏感的阶段适配到脉冲计算。
我们的贡献可总结如下：
- •
我们提出了Spiking VoteNet，一种具有残差混合池化脉冲PointNet++主干网络和多残差投票模块的混合ANN/SNN检测器，用于室内3D目标检测。
- •
我们识别并实证刻画了将VoteNet适配到脉冲计算时的两个结构性瓶颈：PointNet++中弱的局部特征判别能力和投票阶段中粗糙的投票定位。受控消融实验评估了所提出的两个模块如何解决这些瓶颈。
- •
在ScanNetV2 [13]和SUN RGB-D [14]上的实验表明，所提出的重新设计相比朴素的脉冲式VoteNet基线有了显著提升，同时保留了有意义的理论能耗优势，尽管在SUN RGB-D上仍低于ANN对应模型。
章节摘要
相关工作
脉冲神经网络因其事件驱动的计算在高效视觉感知中展现了潜力，近期的研究通过替代梯度和残差设计改进了其在图像分类和检测中的可训练性[5], [7], [15]。近期直接训练的SNN也被探索用于目标检测[16]。超越二值IF/LIF神经元，近期工作探索了更丰富的激活，例如具有脉冲驱动推理的整数值训练（I-LIF）[17]，
方法
本节介绍了Spiking VoteNet如何在二值脉冲计算下重新设计VoteNet的两个表示敏感阶段。局部特征聚合通过采用混合池化的残差脉冲PointNet++主干网络来解决，粗糙的投票定位通过多残差投票来解决。Spiking VoteNet是一种混合检测器而非全脉冲检测器：第一个抽象层和提案头保持基于ANN以确保稳定性，而后续的主干网络和
实验
我们使用ScanNetV2和SUN RGB-D上的mAP@0.25进行评估[13], [14]。所有基于脉冲的VoteNet变体都遵循VoteNet的训练流程、数据增强和损失设计[9]。我们使用Adam端到端训练这些变体220个epoch。主要实验使用阈值为1.0的IF神经元和在SpikingJelly [27]中实现的替代梯度BPTT。对于ScanNetV2上的神经元模型消融实验，我们将IF替换为I-LIF，使用整数值训练激活Clip(round(U), 0, D)，其中
结论
我们提出了Spiking VoteNet，一种具有残差混合池化和多残差投票的混合脉冲式室内检测器。该研究考察了基于投票的室内检测中的两个脉冲敏感阶段：局部点聚合和投票偏移回归。结果表明，重新设计这两个阶段相比朴素的脉冲基线有了显著提升，同时保留了理论能耗节省。与ANN VoteNet相比，在SUN RGB-D上的差距比在ScanNetV2上大得多，表明
CRediT作者贡献声明
ZHOUTAO WANG：概念化、方法论、软件、调查、撰写——初稿。ZIKUAN LI：方法论、验证、正式分析、撰写——审阅与编辑。ANYI HUANG：验证、资源、撰写——审阅与编辑。JUNBIN YUAN：撰写——审阅与编辑。FENGYUN WANG：撰写——审阅与编辑。YIMING ZHANG：可视化、撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。
ZHOUTAO WANG|ZIKUAN LI|ANYI HUANG|JUNBIN YUAN|FENGYUN WANG|YIMING ZHANG
