BRS-E2NeRF：基于模糊滚动快门图像的事件增强型神经辐射场

《Pattern Recognition》：BRS-E2NeRF: Event Enhanced Neural Radiance Fields from Blurry Rolling Shutter Images

　　•我们提出了一种新型的事件增强框架BRS-E2NeRF，该框架能够同时解决神经辐射场重建中的滚动快门畸变和运动模糊问题，无需额外的校正步骤。•设计了一个事件增强的重模糊模块，该模块利用事件数据的高时间分辨率，在潜在的清晰图像与其模糊观测结果之间建立稳定的对应关系，从而显著提升重建的精度。•引入了一种事件增强的双循环机制，该机制包含两个相互补充的循环，通过迭代优化过程协同工作，以实现高质量的3D场景重建。•我们构建了一个包含合成数据与真实世界数据的全面基准数据集，这些数据集具有同步的事件流、滚动快门图像、运动模糊以及真实值数据，可用于定量评估滚动快门校正和去模糊算法的效果。

引言
当在高质量全局快门图像上训练时，神经辐射场在3D神经表示和新型视图合成方面展现了出色的能力[1]、[2]。然而，在自动驾驶系统[3]、无人机[4]以及机器人感知系统[5]、[6]等高速摄像机应用场景中，由于摄像机与场景之间的快速相对运动，运动模糊和滚动快门畸变会严重影响3D重建的性能[7]。如图1（左）所示，严重的运动模糊会导致运动模糊不清以及强度纹理的丢失，进而限制了NeRF的重建精度。此外，滚动快门畸变还会表现为边缘扭曲，进一步降低整体重建质量。基于帧的方法通过模拟物理上的运动模糊形成过程[8]、[9]、[10]或滚动快门的曝光机制[7]、[11]来解决这些限制问题，但在缺乏精确运动信息的情况下，这些去模糊NeRF方法难以处理复杂的非线性运动[12]。现有的滚动快门NeRF方法依赖B样条插值[11]或视觉惯性定位技术[7]来优化摄像机轨迹，但在快速运动条件下这两种方法都表现不佳[13]。在具有复杂轨迹的真实世界场景中，滚动快门曝光过程中的运动模糊会引发耦合畸变问题，如图1（右）中的“输入模糊的滚动快门图像”所示。这种耦合问题主要体现在两个关键挑战上：•不同的运动模式：基于帧的去模糊NeRF方法[8]假设扫描线间的运动是均匀的。然而，滚动快门运动模糊会导致每条扫描线具有不同的运动特性，这一特点打破了上述假设，大大降低了现有方法的有效性。•每条扫描线的时间积分：目前的轨迹优化方法[7]、[11]将扫描线曝光时间与摄像机姿态之间建立了一一对应的映射关系。但由于运动模糊的存在，每条扫描线在多个曝光周期内都会发生时间积分，这违背了上述假设，进而降低了重建质量。神经形态事件相机是一种新型的视觉传感器，它能在像素级别异步工作，当对数强度变化超过预设阈值时触发二进制事件[14]。由于其微秒级的响应时间[15]，这类传感器能够天然地捕捉到精确的行内运动信息，同时保留清晰的边缘特征[14]。这些特性恰好可以解决运动模糊和滚动快门畸变这两个耦合问题：精确的行内运动信息有助于减少运动模糊带来的缺陷，而保留的边缘特征则有利于进行可靠的滚动快门校正。事件流的这一固有优势为解决滚动快门模糊问题提供了有效的方案。已有许多研究证明了事件相机在去模糊NeRF[12]、[16]、[17]以及2D图像的滚动快门校正[18]、[19]方面的优势。然而，这些NeRF方法[12]、[16]、[17]仅关注运动去模糊，忽视了滚动快门畸变这一耦合问题。那种先进行滚动快门校正再去除模糊或反之的操作顺序，会存在误差传播和跨视图不一致的问题。因此，需要一个能够同时解决运动模糊和滚动快门畸变的统一NeRF框架，以确保3D场景重建的一致性。基于此，我们提出了一种名为“从模糊滚动快门图像生成的事件增强型神经辐射场”（BRS-E2NeRF）的一阶段框架，用于实现高质量的新型视图合成，详见图1。我们设计了一个事件增强的重模糊模块（EER），该模块能够高效地预测清晰滚动快门图像、对应事件与模糊滚动快门图像之间的映射关系。通过利用事件中编码的行内运动信息和强度变化，EER模块可以直接从清晰滚动快门图像及其相关事件预测出模糊的滚动快门图像。为了实现稳健的3D重建，我们还引入了一种事件增强的双循环机制，该机制由两个相互补充的循环组成，通过迭代优化过程协同工作。此外，我们还创建了一个名为“模糊滚动快门与事件数据集”（BRSE）的新数据集，其中包含了合成数据与真实数据。每个数据序列都由滚动快门图像及其对应事件组成。我们使用Blender和DVS-Voltmeter[20]分别生成不同视角的图像和事件流。同时，我们还使用DVS346事件相机在多种真实场景中拍摄了一系列滚动快门图像及其对应事件。BRSE数据集为我们所提出的框架提供了全面的评估和验证依据。总体而言，我们的贡献可总结如下：•我们提出了一种新型的事件增强框架，该框架能够从滚动快门图像和模糊图像中重建出清晰的神经辐射场，同时解决滚动快门校正和去模糊问题。•我们设计了一个事件增强的重模糊模块，该模块能够利用事件数据高效地建立清晰图像与模糊图像之间的关系，从而提升重建效率。•我们实现了一种事件增强的双循环机制，该机制在迭代优化过程中协同工作，有助于实现稳健的3D场景重建。•我们构建了“模糊滚动快门与事件数据集”（BRSE），该数据集包含了具有滚动快门效应和运动模糊的合成数据与真实世界数据，同时还包括事件数据和滚动快门模糊图像。

章节节选
滚动快门校正
基于帧的滚动快门校正。早期关于滚动快门校正的研究主要集中在基于几何原理的方法上，用以解决滚动快门畸变问题[21]。这些方法为理解和建模滚动快门效应奠定了基础，但在处理复杂场景时的能力较为有限。近期的研究则转向了基于学习的方法，利用多帧信息来实现更准确的滚动快门校正。刘等人[22]提出了

方法
我们提出BRS-E2NeRF，旨在同时解决滚动快门畸变和运动模糊问题。核心挑战在于这两种现象的耦合效应：滚动快门会导致与行相关的图像扭曲，而运动模糊则通过时间积分效应消除图像纹理。正因如此，传统的NeRF方法无法满足需求，因为它既无法因畸变而进行精确的射线追踪，也无法因模糊问题而获得可靠的光度监督。为了解决这一问题，我们利用高时间分辨率的事件相机来连接受损的观测结果与潜在的清晰几何结构。

数据集构建
由于目前尚无适合用于基于事件增强的NeRF重建滚动快门图像的数据集，因此有必要创建一个新的基准数据集，因为现有的数据集（如Fastec-rs [22]、Carla-rs [22]、BS-RCSD [23]、GEV [18]）无法满足我们的特定需求。因此，我们创建了一个新的数据集，即“模糊滚动快门与事件数据集”（BRSE），该数据集涵盖了合成数据与真实世界数据。

合成数据生成。我们的合成数据集包含了六种不同的

总结
本文介绍了BRS-E2NeRF，这是一种全新的方法，可用于从经过事件流增强的滚动快门图像中恢复清晰的全局快门视角，并构建3D模型。该方法通过创新的事件增强重模糊模块，深入研究了滚动快门图像与其对应事件流之间的关系。我们提出了一种统一的框架，该框架能够同时校正滚动快门畸变并执行去模糊操作，从而重建神经辐射场。大量的

CRediT作者贡献声明
王慧娇：撰写——初稿、验证、方法论、概念设计。夏克静：撰写——初稿、验证、数据整理。王扬光：验证。张驰：撰写——审阅与编辑、正式分析。林明远：撰写——审阅与编辑、概念设计。于磊：撰写——审阅与编辑、监督、资金筹集。

关于写作过程中生成式AI和AI辅助技术的声明
在准备本论文的过程中，作者使用了Cursor工具来提升手稿的可读性和语言表达质量。在使用该工具后，作者对内容进行了必要的审阅和修改，并对最终发表的文章内容承担全部责任。

利益冲突声明
作者声明自己没有已知的、可能影响本文所述工作的财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金（NSFC）的资助，项目编号为62271354。

王慧娇|夏克静|王扬光|张驰|林明远|于磊