基于单视图输入的实时位置感知视图合成

《Signal Processing: Image Communication》：Real-time position-aware view synthesis from single-view input

　　• 一种用于从单张图像和目标姿态进行实时视图合成的神经网络，支持仅平移和完整的6DoF输入，适用于远程呈现应用。
• 一种与NeRF [1]中使用的类似的小型灵活的位置嵌入模块，该模块与多层感知器（MLP）结合使用，创建了一个更具通用性的框架，能够处理不同的场景。
• 对所提出方法进行了深入评估，证明了其在512 × 512分辨率下超过50 FPS的实时性能，在速度和图像质量上显著优于现有的单视图方法。

**引言**
远程呈现系统[2]、[3]、[4]允许用户与远程环境进行实时交互，提供了广泛的应用场景，特别是在需要从安全距离进行远程操作的重型机械等领域。这些系统有潜力促进与远程环境的无缝自然交互。当前的实时远程呈现技术[3]、[4]通常依赖于头戴式显示器（HMDs）、高速网络和消费级或工业级摄像头来提供环境的实时视频流。虽然实时2D视频流提供了视觉信息，但它们在提供深度感知方面存在不足[3]。深度感知的缺失显著限制了情境意识[5]，这对于有效的远程操作至关重要。

2D视频流提供的深度感知缺失可以通过双眼视差和运动视差作为深度线索来弥补。最近，SpinVR [6]利用了立体虚拟现实设置来为用户提供双眼视差。然而，这仍然缺乏运动视差。当用户在空间中移动他们的视角时，场景中物体的相对运动为大脑提供了关于深度的线索。因此，渲染不同位置的新视图可以模拟运动视差，提高远程操作中的深度感知和情境意识。为了实现有效的深度感知和实时顺畅交互，合成新视图同时保持低延迟变得至关重要，因为它能够同时利用双眼视差和运动视差。

从不同视角合成视图需要足够的信息来了解场景。虽然一些远程呈现系统[3]使用了360度摄像头，但从这些全向图像（ODIs）合成新视图（如PanoSynthVR [7]中所做的）会增加复杂性。ODIs中固有的失真以及传输此类数据所需的高带宽使得这些方法不太适用于实时使用。相反，专注于从用户视角捕获的平面图像提供了更高效的解决方案。

我们考虑将远程呈现应用作为我们视图合成方法的主要用例，如图1所示。在这种情况下，从远程场景捕获一个全向图像（ODI）。根据用户当前的注视方向从ODI中提取一个视口图像，同时使用相对头部运动（即平移）来定义目标位置。然后将提取的图像、目标位置和目标旋转传递给我们的网络，该网络在预期的偏移处合成新视图。生成的图像作为更新的视口进行渲染，从而实现运动视差，而无需进行完整的3D重建或将其重新缝合到ODI中。这种基于补丁的渲染流程消除了ODIs中的失真，减少了传输带宽，并允许高效地进行局部视图合成。通过直接从这些提取的平面补丁合成视图，我们避免了ODIs中的失真，并减少了传输高分辨率球形图像所需的带宽。这种基于补丁的合成流程支持实时性能，并能够在用户视角周围实现局部运动视差。然而，这种基于ODI的工作流程本质上在提取的视图方向中嵌入了方向信息，仅需要平移偏移量即可进行渲染。为了扩展对一般平面RGB输入的支持（例如未嵌入在球形系统中的单目相机），我们的方法还结合了完整的6DoF输入，包括偏航、俯仰和滚转。这使得我们的框架可以广泛应用于图示的远程呈现场景之外。

**早期视图合成方法**
[8]、[9]、[10]采用了视图插值[11]和基于深度图像的渲染[12]，但这些方法存在插值伪影[13]和由于使用噪声深度图而导致的像素错位问题。最近的方法如Quark [14]和SIMPLI [15]使用通过深度神经网络估计的动态分层深度图（LDM）来进行视图合成。然而，这些方法仍然需要多视图输入，从而需要多个捕获设备和高通信带宽。因此，从单张输入图像和指定的相机姿态生成新视图已成为渲染中的一个关键任务。提出了多种方法，如基于扩散的3DiM [16]和基于Transformer的架构如NViST [17]，来解决这个问题。这些方法利用大规模数据集进行训练并生成高质量的新视图。虽然这些方法实现了显著的逼真度，但它们要么不适合实时部署，要么假设特定的场景表示（例如，密集层或预计算的几何结构）。我们的工作在这个基础上进行了扩展，专注于支持实时约束和6DoF姿态输入的通用前向合成。

实时渲染对于远程呈现和AR应用至关重要，但大多数最先进的方法要么依赖于复杂的迭代模型（例如，扩散[16]、[18]），要么依赖于计算密集型的Transformer模块[17]，这些都会影响对延迟敏感的部署。在这项工作中，我们基于不断增加的研究成果来解决计算效率和低延迟的挑战。我们提出了一种名为PVSNet的方法，旨在从单张输入图像生成高质量的新视图，以实现实时性能。PVSNet采用了一种感知位置的渲染方法，能够高效处理场景中的相机移动，实现平滑且真实的运动视差以进行深度感知，而无需传统方法的计算负担。总结来说，我们的主要贡献包括：
• 一种用于从单张图像和目标姿态进行实时视图合成的神经网络，支持仅平移和完整的6DoF输入，适用于远程呈现应用。
• 一种与NeRF [1]中使用的类似的小型灵活的位置嵌入模块，该模块与多层感知器（MLP）结合使用，创建了一个更具通用性的框架，能够处理不同的场景。
• 对所提出方法进行了深入评估，证明了其在512 × 512分辨率下超过50 FPS的实时性能，在速度和图像质量上显著优于现有的单视图方法。

本文的其余部分组织如下：第2节回顾了旨在视图合成的最新方法。第3节描述了所提出的视图合成方法。第4节提供了结果的比较分析，包括质量和速度评估。第5节进行了详细的消融研究，分析了所提出方法的不同组成部分。最后，第6节总结了结论。