基于事件相机的3D重建技术研究

《IEEE Transactions on Computational Social Systems》：A survey of 3D reconstruction with event cameras

　　

摘要：

事件相机作为一种强大的视觉传感器，正在迅速应用于3D重建领域，它能够独特地异步捕获每个像素的亮度变化。与传统基于帧的相机相比，事件相机产生的数据流虽然稀疏，但在时间上较为密集，这使得即使在高速运动、低照明条件以及极端动态范围等复杂环境下，也能实现稳定且精确的3D重建。这些优势为自动驾驶、机器人技术、空中导航以及沉浸式虚拟现实等众多领域的创新发展带来了巨大潜力。本综述首次对基于事件的3D重建技术进行了全面梳理。现有方法根据输入模式被系统地分为立体视觉、单目视觉或多模态系统，再进一步按照重建方法进行分类，包括基于几何学的技巧、深度学习方法，以及神经辐射场（NeRFs）和3D高斯溅射（3DGS）等神经渲染技术。在每一类中，各种方法都按时间顺序排列，以展现关键概念和技术的演变过程。我们还详细总结了那些专门适用于基于事件重建任务的公开数据集。最后，我们探讨了数据集获取、标准化评估、有效表示以及动态场景重建等方面存在的重大挑战，并提出了未来研究的方向。本综述旨在为相关领域的研究人员提供参考，为推动基于事件的3D重建技术的发展指明清晰的路径。