SGSR：用于基于事件的脉冲语义分割的结构引导语义恢复

《Scientific Reports》：SGSR: structure-guided semantic recovery for event-based spiking semantic segmentation

　　

摘要

事件驱动脉冲语义分割非常适合稀疏和非同步的视觉感知，但由于事件响应在空间上是非均匀的，密集预测仍然具有挑战性。物体轮廓和运动边界通常会产生强烈的响应，而物体内部和亮度变化微弱的区域提供的证据有限。这种不平衡通常导致语义区域不完整和边界不准确。为解决这一问题，我们提出了 SGSR，一种用于事件驱动语义分割的结构引导脉冲框架。SGSR 采用多尺度脉冲深度可分离卷积块，以较低的计算成本捕捉不同空间尺度的局部结构。脉冲并行聚合金字塔池化模块聚合高层上下文，以改善弱观测区域的表示。此外，一个轻量级边界先验分支从中间特征中提取边界线索。预测的先验被注入到连续的解码器阶段以指导空间恢复，而非仅用于辅助监督。在纯事件 SNN 设置下，SGSR 在 DDD17-Seg 上达到了 \(52.93\%\) 的 mIoU 分数，在 DSEC-Semantic 上达到了 \(52.45\%\)。结果表明，SGSR 在保持紧凑计算特性的同时提供了具有竞争力的分割精度。