基于脉冲神经网络与扩散模型的事件驱动图像遮挡去除

《Neurocomputing》：Event-based image occlusion removal with spiking neural networks and diffusion models

　　

摘要

减轻前景遮挡以揭示被遮挡的场景在侦察、搜索和救援等各种应用中具有重要意义。然而，在密集遮挡环境中对遮挡物体进行可视化仍面临诸多挑战。近年来，基于事件的技术已成为一种穿透密集遮挡并有效捕捉高速运动的可行解决方案。然而，这些方法在稀疏遮挡、离焦目标和高动态范围场景中会出现性能下降。这种下降源于事件相机输出的信号事件数量显著减少且分布不均匀，导致目标区域以外的恢复质量欠佳。为应对这些挑战，本文提出了一种新颖的基于事件的遮挡消除方法，该方法利用增强的脉冲神经网络（SNN）和去噪扩散概率模型（DDPM），分别发挥其强大的时空信息处理能力和卓越的图像生成能力。具体而言，我们提出了一种全精度脉冲神经网络（FP-SNN），专门用于从重新对焦的事件流中熟练地编码和过滤时空信息。随后，编码后的事件表示被输入我们的扩散模型，以迭代地精细化重建描绘遮挡场景的视觉图像。广泛的实验评估证明了我们的方法在应对不同遮挡密度和有效处理复杂真实室外场景方面的有效性，从而达到了最先进的性能水平。

引言

前景遮挡常常对高效拍摄真实场景构成挑战，因为遮挡的严重干扰限制了从被遮挡场景中仅捕捉到有限的光信息。近年来，各种基于帧的合成孔径成像（SAI）技术应运而生，通过从多个视点进行离散曝光来重建被遮挡的场景，以解决遮挡问题。Hur等人[1]提出了一种光场去遮挡框架，Li等人[2]开发了一个用于光场数据的4D卷积网络（Mask4d），Wang等人[3]引入了DeOccNet用于前景移除，其他研究工作[4]、[5]、[6]则通过动态滤波或注意力机制进一步优化了SAI。然而，这些方法在密集遮挡和极端光照等极端条件下，成像质量往往会出现显著下降。

近年来，事件相机凭借其高时间分辨率（超过1 MHz）和高动态范围（超过120 dB）等优势[7]，在许多计算机视觉应用中展现出了在极端条件下的优异性能，如点云分析[8]、语音命令识别[9]、光流估计[10]和分割[11]。这种固有优势使得事件相机成为解决基于帧的SAI方法在某些难以处理的极端条件下性能下降问题的一个方案。在遮挡场景中，事件相机因被遮挡目标与遮挡物之间的亮度对比而输出信号事件[12]。对于图像遮挡消除，基于事件的SAI方法[13]、[14]利用累积的信号事件来重建被遮挡目标的光场。因此，信号事件的数量和质量对于有效的去遮挡至关重要。然而，现有的基于事件的SAI方法[12]、[13]、[14]在以下情况中性能不可避免地会下降，即信号事件的数量和质量减少的情况（见图1）：

• •
  稀疏遮挡：遮挡密度的降低导致目标与遮挡之间的对比度减小，从而减少了信号事件的数量。
• •
  离焦目标：与焦平面上的目标相比，离焦目标产生的信号事件在空间上不如后者集中，导致离焦目标的重建效果欠佳。
• •
  高动态范围遮挡场景：在此类场景中，事件相机会产生更多的物理噪声，导致信号事件被噪声事件掩盖，从而降低了信号事件的质量。

在上述极端场景中，当前基于事件的SAI方法重建的图像往往显示出过于明亮的不真实目标细节[13]、不清晰的边缘信息[12]、模糊、严重伪影，有时甚至丢失纹理细节[14]。因此，在这些极端情况下实现基于事件的遮挡消除需要解决一个主要挑战：增强事件流的有效表示，并重建整个遮挡场景的低缺陷、高质量图像。为应对这一问题，必须关注两个关键方面。

第一个方面是增强事件流表示以更好地进行图像重建，同时减少噪声。值得注意的是，脉冲神经网络（SNN）提供了一种专门针对处理和建模时间变化流数据的全新的范式，使其非常适合事件流相关任务。SNN模拟大脑处理信息的方式，神经元根据当前输入和记忆状态更新其膜电位，当膜电位超过阈值时发出脉冲[15]、[16]。这种范式赋予了SNN捕捉时间变化流输入的时空动态的能力[17]。这一优势使其在具有流输入的计算机视觉任务中取得了成功，如面部和眼部跟踪[18]、动作识别[19]。此外，当SNN神经元的膜电位未能达到阈值时，噪声输入会被自然忽略。这种固有机制使SNN能够有效过滤输入中的噪声干扰。对于编码事件流，之前的工作[12]、[20]、[21]使用SNN编码器来保留时空信息并过滤噪声。然而，SNN编码器的离散化特征图会导致信息丢失[22]、[23]，而这种丢失会降低重建图像的质量。这种丢失可以通过某些ANN-SNN蒸馏方法加以缓解。即便如此，SNN的离散化特征图仍然限制了其编码输入和表示高维特征的能力。为了解决这一问题，我们提出了一种增强的SNN编码器，采用新颖的全精度泄漏积分-发放（FP-LIF）神经元，以实现更有效的事件表示。

第二个方面涉及精细化事件表示，以重建整个遮挡场景的高质量无遮挡图像。这种精细化操作应该解决焦平面以外物体的重建以及捕捉高动态范围场景中较暗的细节。为实现这一目标，我们提出利用扩散模型进行遮挡消除和图像重建。我们建议使用SNN编码的事件表示作为扩散去噪模型的条件输入，同时结合高斯噪声图。SNN和扩散模型都可以进行迭代训练。在推理阶段，重新对焦的事件流首先通过改进的基于FP-LIF的SNN编码器进行过滤。随后，它经过扩散去噪模型的迭代精细化处理，以生成无遮挡图像。这种方法能够在有效重建遮挡场景的同时保留空间细节并提升图像质量。本文的主要贡献可总结如下：

• •
  新颖的基于事件的遮挡消除方法：我们提出了一种在基于事件的成像中使用扩散模型进行遮挡消除的新方法。该方法在各种条件下实现了高质量的成像性能，包括不同的遮挡密度、物体相对于焦平面的位置以及场景的动态范围。据我们所知，这是首次将扩散模型应用于基于事件成像领域的图像遮挡消除工作。
• •
  基于FP-LIF神经元改进的SNN编码器：我们引入了一种基于新颖全精度泄漏积分-发放（FP-LIF）神经元的改进SNN编码器。该编码器增强了事件表示的同时最小化信息丢失，从而有助于有效重建遮挡场景。
• •
  实验评估：我们在EF-SAI数据集上进行了实验来评估我们提出的方法。实验结果表明，我们的方法在性能上优于最先进的（SOTA）SAI方法，特别是在复杂真实场景中。

总体而言，我们的贡献通过提供新颖的遮挡消除方法、通过改进的SNN编码器增强事件表示，以及通过广泛的实验评估展示优越性能，推动了基于事件成像领域的发展。

章节摘要

基于事件的SAI进行图像去遮挡

基于事件的去遮挡：在密集遮挡场景中，传统相机由于其有限的视点，往往难以捕捉到足够的信息。事件相机以其低延迟著称，已展现出有效穿透密集遮挡的能力[12]、[13]、[14]。Zhang等人[12]提出了一种结合SNN和CNN的混合网络来重建无遮挡图像。然而，他们的事件重新对焦过程依赖于诸如相机细节等先验信息，

所提出的方法

图2展示了我们提出的用于遮挡消除的基于事件的网络架构。原始事件流首先经过重新对焦并被组织成时空表示的形式，然后送入FP-SNN编码器进行增强和去噪。编码后的事件表示和噪声图被输入扩散去噪模型，以迭代输出无遮挡图像。

实验

在本节中，我们呈现了为评估我们提出的方法在EF-SAI数据集[24]上的有效性而进行的广泛实验结果。由于我们提出的方法仅利用事件数据进行图像去遮挡，我们在实验中没有使用EF-SAI数据集中带有遮挡的帧。模型以批量大小为32进行了40,000步的训练。遵循[25]、[26]的方法论，我们采用了Adam优化器，初始学习率为

结论

本文介绍了一种新颖的基于事件的去遮挡方法，旨在解决在稀疏遮挡、离焦目标和高动态范围场景中的性能下降问题。我们的方法将新颖的FP-SNN编码器与去噪扩散概率模型相结合，通过迭代精细化重建无遮挡图像。一方面，所提出的FP-SNN缓解了传统二值脉冲SNN中的信息丢失问题。另一方面，将FP-SNN与

CRediT作者贡献声明

Yuhan Zhang：撰写 – 初稿，概念设计。Yuanpei Chen：验证，软件。Jie Zhou：监督指导。Weihang Peng：调查研究。Xiaode Liu：项目管理，调查研究。Yufei Guo：撰写 – 审阅与编辑，监督指导，方法论。

利益冲突声明

作者声明他们不存在任何可能被认为会影响本文所报告工作的已知竞争性经济利益或个人关系。

Yuhan Zhang于2022年获得中国北京北京大学动力学系统与控制博士学位。她目前是中国兵器装备集团智能科学技术研究所工程师。她当前的研究兴趣集中在图像生成、神经形态传感器和神经形态计算。

Yuhan Zhang|Yuanpei Chen|Jie Zhou|Weihang Peng|Xiaode Liu|Yufei Guo