CSRF：面向众包街景视频的鲁棒三维重建框架

《Journal of Geovisualization and Spatial Analysis》：CSRF: A Robust 3D Reconstruction Framework for Crowdsourced Street View Videos

　　

摘要

新视角合成（特别是神经辐射场 (NeRF) 和 3D 高斯泼溅 (3DGS)）的最新进展，推动了基于街景视觉流的 3D 重建取得显著进步。通过这些计算范式利用可微分渲染优化连续或离散的场景表示，使得复杂的城市环境建模变得日益可行。然而，由于社交媒体平台上海量的众包街景视频 (CSVVs) 具有非标准化特性，这些方法在很大程度上仍难以处理，这往往导致在浪费了大量计算资源后重建失败。为了解决这一挑战，我们引入了众包辐射场 (CSRF)，这是一个旨在利用 CSVVs 的框架。CSRF 通过双阶段架构增强了重建的可行性，并减少了浪费在失败初始化上的处理时间：(1) 一个轻量级质量评估模块，用于快速过滤严重退化的内容；以及 (2) 一种渐进式联合优化策略，利用局部重叠的基于 TensoRF 的辐射场重建场景，同时在单目深度和光流先验的指导下同步估计相机姿态。为了系统评估从 CSVVs 进行 3D 重建的能力，我们提出了 CS3D100，这是一个具有挑战性的基准测试，包含来自社交媒体平台的 100 个多样化的用户上传 CSVVs（无人机、行车记录仪、移动端和 vlog 素材）。大量的实验评估表明，在所评估的零先验基线范围内，提出的 CSRF 框架在 CS3D100 数据集上产生了最具竞争力的定量结果。这一性能优势在一套全面的标准中得到验证，包括序列处理成功率、感知渲染质量、计算资源效率以及新引入的综合指标 CUR 和 REI。此外，该框架应用于标准参考基准时也保持了相当的重建能力。我们的框架达到了 31% 的绝对重建成功率，代表了超过 40% 的相对提升。质量评估阶段有效地过滤了 77.8% 的不可重建视频，与表现最好的基线和速度导向的基线相比，总处理时间分别减少了 88% 和 8.5%。通过尽可能利用 CSVVs，CSRF 大幅扩展了使用街景视频进行 3D 环境重建的潜在数据来源，而 CS3D100 基准测试则为未来在此方向的改进奠定了坚实基础。