《Optics & Laser Technology》：High-fidelity view synthesis for light field 3D display
编辑推荐：
从稀疏RGB-D输入生成高质量光场显示图像，提出两阶段混合框架：第一阶段通过前向映射和多视图融合快速合成密集虚拟视图并生成自适应掩膜，精准定位无法恢复的完全视差孔洞；第二阶段采用协同多视图精修网络（CMVR-Net），通过处理相邻视图的局部光场上下文实现生成式孔洞填充，确保空间和角度几何一致性。构建大规模合成数据集解决收敛相机阵列数据稀缺问题，实验表明该方法在定量指标和视觉质量上均显著优于现有技术。
Kefeng Tu|Hongkun Cao|Xing-Yu Lin|Bo-Yang Chen|Fan Chu|Qiong-Hua Wang|Yan Xing
北京航空航天大学仪器与光电工程学院，中国北京100191
摘要
光场显示是一种无需眼镜的3D显示技术，它通过光线光学原理对光场进行采样和重建。从稀疏的输入视图生成高质量且无伪影的合成图像是该技术面临的主要挑战，这主要是由于视图合成过程中产生的遮挡孔问题。为了解决这一问题，本文提出了一种采用两阶段混合框架的高保真视图合成方法。在第一阶段，利用前向变形技术从稀疏的RGB-D输入数据中合成一组密集的虚拟视图，随后通过多视图融合过程来解决部分遮挡问题。关键在于，该阶段能够精确识别无法恢复的完全遮挡区域，并生成一个自适应掩膜，将后续的孔洞填充任务交给第二阶段的专用细化网络。在第二阶段，提出了一种名为“相干多视图细化网络”（CMVR-Net）的几何感知生成模型，用于在先前阶段识别的掩膜区域内进行生成性修复。通过同时处理一组相邻视图，CMVR-Net利用局部光场上下文生成具有空间-角度一致性的内容。这种方法保证了视图之间的几何一致性，有效消除了传统单视图修复方法中的伪影，产生了稳定的视觉效果。为了便于进行鲁棒的训练和评估，构建了一个包含多样化3D场景的综合性合成数据集，这些场景采用随机化的汇聚相机配置进行渲染。该数据集有效弥补了现有汇聚相机阵列资源的不足。实验表明，所提出的方法显著优于现有最先进的方法，在孔洞区域取得了更优的定量指标，并在光场3D显示原型上产生了视觉上一致且无伪影的结果。
引言
光场显示（LFD）被广泛认为是下一代3D显示技术的关键技术[1]，[2]，它承诺提供一种无需眼镜的体验，能够真实地重建3D场景的光线。与传统立体显示不同，LFD旨在再现由四维（4D）光场函数描述的全部光场[3]。这使得它们能够提供人类视觉所需的所有关键深度线索，如双眼视差、运动视差和正确的遮挡关系[4]，[5]，[6]，[7]，[8]。高质量LFD系统的实现依赖于高保真合成图像的生成，该图像直接显示在LFD面板上。这种合成图像是通过将像素从密集的视图图像阵列中严格映射而构建的，这些视图图像代表了高密度的光场数据[1]，[9]。
目前获取光场数据的方法在质量、成本和实用性之间存在权衡。使用大规模相机阵列物理获取密集光场可以获得高分辨率和实时捕获，但存在显著的缺点，包括相机之间的较大基线距离、庞大的物理尺寸以及高昂的硬件成本[10]，[11]，[12]。作为替代方案，最近出现了神经辐射场（NeRF）和3D高斯扩散等技术，它们可以从真实世界捕获的数据中创建出逼真且可渲染的模型[13]，[14]，[15]。为了使这些先进技术适用于LFD，人们探索了几种专门的方法。例如，DirectL框架[16]通过仅渲染3D显示所需的具体光线来加速性能。类似地，还开发了结合了改进的NeRF和3D体素化以及神经图形原语的混合流程，以实现高分辨率合成图像的加速合成[17]，[18]。尽管这些方法质量令人印象深刻，但它们通常需要针对每个场景进行训练并且计算复杂度较高。尽管像pixelNeRF[13]这样的前馈方法避免了针对每个场景的训练，但从稀疏输入直接回归完整的3D体积往往会平滑掉场景特定的细节，并且难以处理LFD常见的较大基线距离问题。因此，对于既需要真实世界内容又需要高效合成的应用来说，仍然存在一个关键缺口。为了解决这个问题，采用了一种更直接且高效的范式，即结合稀疏相机阵列和虚拟视图合成技术，从有限的真实世界捕获数据中创建密集的光场。
近年来，深度学习在光场处理和视图合成任务中取得了显著进展。例如，开发了先进的神经架构和领域专用网络来处理空间-角度超分辨率[19]，[20]以及低光照条件下的光场增强[21]。在新视图生成的背景下，深度学习还实现了多视图光场的有效从稀疏到密集的转换[22]。在这些高效的光场显示范式中，基于深度图像的渲染（DIBR）由于其卓越的计算效率而仍然是一个成熟的选择[23]，[24]。DIBR技术通过根据深度图对稀疏的源视图进行变形来合成新的视图。然而，这种效率的代价是在物体边界处不可避免地会产生遮挡孔，暴露出之前被遮挡的背景[25]，[26]，[27]。这些孔洞作为分散注意力的伪影，严重降低了合成图像的视觉质量和连续性。为了解决遮挡问题，最近的进展转向了深度学习，利用强大的神经网络进行孔洞修复[28]，[29]。然而，传统的针对每个视图的处理范式对于光场应用来说存在根本性的缺陷。当每个视图单独修复时，遮挡孔内的合成内容缺乏多视图几何一致性。这种不一致性表现为在LFD上观察时出现令人分心的闪烁、边界抖动和错误的视差，破坏了沉浸式体验。因此，核心挑战不仅在于填充孔洞，还在于在整个光场中保持一致性。
在本文中，提出了一种新颖的两阶段混合框架来解决这种具有一致性意识的孔洞填充问题。该方法结合了传统视图合成的效率与神经网络的强大功能。在第一阶段，快速生成一组完整的虚拟视图并进行初步的孔洞填充。为了智能地指导细化过程，使用了一个自适应掩膜，该掩膜根据几何不确定性和初始填充的感知质量来识别最需要增强的区域。在第二阶段，引入了一个名为“相干多视图细化网络”（CMVR-Net）的专用模型，以确保几何一致性。这个轻量级网络通过对一组相邻视图进行处理，利用共享信息对目标视图中的掩膜区域进行连贯修复。通过强制网络考虑局部光场片段，修复后的内容在空间和角度域上与其周围环境保持一致。特别构建了一个大规模的合成数据集，以支持鲁棒的网络训练，解决了汇聚相机阵列公共数据稀缺的问题。在测试数据集和LFD上的实验表明，所提出的方法显著优于现有最先进的方法，在孔洞区域取得了更优的定量指标，并生成了高保真、视觉上一致且无伪影的3D图像。
方法原理
所提出方法的框图如图1所示。整个过程包括两个组成部分。第一部分是视图合成和掩膜生成，其中生成一组密集的视图并识别无法恢复的区域。第二部分是相干多视图细化和合成图像生成，首先使用新型神经网络填充完全的遮挡区域，同时确保几何一致性，之后将所有细化的视图进行交错显示
实验
为了严格评估所提出方法的性能，进行了一系列实验。首先详细介绍了实验设置，包括数据集构建、训练协议、评估指标和基准方法。随后，对LFD原型进行了全面的定量分析和定性评估，证明了所提出方法的视觉优越性。
结论
在本文中，我们解决了从稀疏输入数据合成高保真且几何一致的光场内容这一关键挑战。提出了一种新颖的混合框架，它将高效的视图合成与CMVR-Net相结合，有效解决了遮挡伪影问题。通过利用局部光场上下文，所提出的模型确保了空间-角度的一致性，使得恢复的区域展现出正确的视差和稳定性。进行了全面的实验
CRediT作者贡献声明
Kefeng Tu：撰写 – 原始草稿，方法论。Hongkun Cao：监督，软件，资源。Xing-Yu Lin：软件，调查。Bo-Yang Chen：软件，调查。Fan Chu：形式分析，数据管理。Qiong-Hua Wang：监督，资源，概念化。Yan Xing：撰写 – 审稿与编辑，形式分析，数据管理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
