基于多视角视频的在线动态场景重建

《Scientific Reports》：Online dynamic scene reconstruction based on multi-view video

　　

摘要

动态场景4D重建技术在影视制作、虚拟现实和智慧城市领域具有巨大的应用潜力。然而，现有方法普遍存在超密集或单视角输入限制、端到端黑盒设计、逐帧独立输出以及高计算需求等局限性。为解决这些问题，本文提出了一种模块化、流式、异步且具有时空一致性的4D重建方法。其主要创新点包括：(1)原生支持稀疏多视角视频输入；(2)一种由四个解耦且可独立替换的模块组成的模块化架构；(3)一种时序流深度估计方法，可在连续帧之间传播和优化深度；(4)一种用于流式异步处理的层级关键帧调度策略，实现在线/近在线处理。通过使用稀疏多视角视频作为输入以及模块化设计——每个核心阶段解耦且可独立替换——该方法输出了时空一致性的动态点。在多个数据集上的实验表明，所提方法能够在保证重建精度和完整性的同时，实现对多视角视频数据的在线、增量式动态4D重建。