基于被遮挡场景分层结构分析的神经网络遮挡消除渲染

《Computers & Graphics》：Neural occlusion removal rendering based on occluded scene layered structure analysis

　　张小强|张志新|范青•提出了一种全新的即插即用型神经渲染框架，用于消除遮挡现象。•能够精确处理复杂的遮挡关系。•无需使用无遮挡的训练数据。•通过避免使用生成模型，降低了出现虚假伪影的风险。•在公共数据集和自定义数据集上均展现了出色的去遮挡效果。

引言
遮挡现象[1]在日常场景中十分常见，同时也是众多计算机视觉任务中难以避免的挑战。由于在成像过程中只能对复杂的三维现实世界进行二维离散投影采样，物体的一部分可能会在相机视角中被遮挡。这一固有限制给各种计算机视觉应用带来了巨大困难，比如物体检测[2]或跟踪[3]、[4]，这些任务的性能和稳定性都会因部分或完全遮挡而受到影响。因此，有效处理遮挡问题已成为制约许多算法能力发展的关键障碍。

开发能够在成像阶段减轻或穿透遮挡的算法[5]、[6]、[7]、[8]、[9]、[10]、[11]为解决遮挡问题提供了有希望的方案。这类能够在成像时恢复被遮挡物体隐藏视觉信息的能力，将有助于提升后续的视觉任务性能。早期的交互式和基于涂色法的方法[12]、[13]存在诸如伪影之类的固有缺陷。后续方法则针对特定类型的遮挡，如栅栏或重复出现的封闭结构，利用其独特特征来进行处理[14]、[15]、[16]。合成孔径成像技术（SAI）[7]、[9]、[10]、[11]、[17]、[18]、[19]、[20]是一种可用于穿透遮挡的计算摄影技术。SAI能够将多视角的图像投影到虚拟焦平面上。借助较大的虚拟合成孔径，有限的深度范围可通过散焦效应使遮挡部分变得模糊，从而显现出焦平面上的被遮挡区域。然而，过度的散焦也会导致不在焦平面上的物体出现严重模糊，即便这些物体并未被遮挡，进而降低图像质量。在后续的全焦深SAI方法中[10]、[19]，对遮挡物的分割不准确也可能引入伪影，进一步影响图像质量。

近年来，深度学习的发展为被遮挡物体的成像带来了新的方法。基于编码器-解码器网络架构的DeOccNet[6]解决了光场中的遮挡去除问题，其性能优于基于SAI的方法。不过，DeOccNet及其后续改进版本[5]、[21]都属于监督学习类型，需要大量无遮挡场景数据来进行模型训练。虽然可以通过使用合成数据来缓解对训练数据的需求，但对于未曾见过的遮挡情况，仍可能出现伪影。神经渲染技术，例如NeRF[22]及其变体，为高质量视图渲染提供了新方法。近期的进展还包括CeRF[23]，它通过建模辐射度导数来提升新视图合成效果；以及MT-NeRF[24]，它利用多分辨率特征平面来实现高效的场景表示。基于对场景的隐式建模，NeRF的变体能够区分场景中的动态物体和静态物体[25]，从而去除动态遮挡。还可以通过抗遮挡模块[26]来分析被成像物体的可见性。基于深度不一致性，可以分离前景遮挡物和背景，进而用于遮挡去除[27]。然而，假设只有单一层的前景遮挡会限制在具有多层遮挡的复杂场景中的遮挡去除效果。

为了解决训练数据需求大以及难以去除多层遮挡等问题，本文提出了一种新的遮挡去除神经渲染方法。该方法侧重于在体积渲染框架中精确分析每条被遮挡光线的积分下限。具体而言，对于与遮挡物相交的光线，我们将它们的积分下限定义为下方目标物体，也就是被遮挡物体的深度。这样一来，就能将遮挡去除与神经渲染技术实现高效且无缝的结合。为此，该方法假设被遮挡场景可以被分解为多层结构，处于不同深度的遮挡物会被分配到相应的层次中。首先，根据来自被遮挡场景的NeRF的场景深度直方图渲染，设计出一个分层结构分解模块。其次，利用得到的分层结构，该方法进一步分析构成前景遮挡层的物体，以确定穿过场景的每条光线所对应的遮挡元素的深度范围。最后，通过精确调整体积渲染中每条光线的采样下限，实现去遮挡神经渲染。在公共数据集和自行构建的数据集上对去遮挡渲染质量的定量评估表明，所提出的方法优于包括传统基于SAI的方法、基于深度学习的方法以及NeRF变体方法在内的各类基准方法。总之，该方法的贡献在于：
•一种全新的即插即用型神经渲染框架，用于遮挡去除。该框架可与现有的神经渲染流程无缝集成，即使在具有多层遮挡的复杂场景中，也能实现高质量的去遮挡渲染。
•分层结构分解模块和每条光线遮挡深度分析模块，能够自动且准确地确定遮挡层的总数、每层的初始深度以及前景遮挡物的深度范围。
•该方法无需依赖无遮挡场景的训练数据，也不需要手动标注遮挡区域等外部知识，同时避免了使用生成模型，从而降低了出现虚假伪影的风险。

本文的其余结构如下：第2节回顾相关研究工作；第3节介绍NeRF和神经渲染的基础知识；第4节阐述我们所提出的方法；第5节详细说明实验设置及结果；第6节讨论本研究的局限性；最后，第7节对全文进行总结并指出未来的研究方向。

相关研究
在本节中，我们简要总结与本研究方法相关的现有工作。首先介绍传统的被遮挡物体成像技术，然后再探讨现代的数据驱动方法，尤其是那些利用深度学习和神经渲染的技术。

基础知识
本节概述了所提方法背后的基础理论，重点介绍NeRF框架中的场景建模和体积渲染过程。

NeRF[22]通过神经网络隐式地对3D场景的辐射场进行建模，这种神经网络实际上是一种多层感知器（MLP），它能够将场景中各点的空间位置和观察方向映射为相应的体积密度和辐射值。假设有一条以点o为起点、方向为v的场景光线，那么……

所提方法
基于第3节所述的理论知识，本节将详细介绍我们所提出的遮挡去除神经渲染方法。典型的被遮挡场景主要由前景遮挡物和被遮挡物体组成，也就是说，场景中不同物体处于不同的深度范围。因此，所提方法假设可以根据物体的深度将场景分解为多层结构。从基础知识可以看出……

实验结果
在本节中，我们将详细展示实验结果，以证明所提方法的性能。首先，我们在UCSD/MERL光场存储库（简称UCSD）[51]、[52]中的公共数据集，以及OCC-NeRF[27]中使用的数据集，还有（新）斯坦福光场档案库（简称SLFA）[54]中的数据集上进行实验。其次，为了进一步验证该方法在不同场景下的性能，我们还构建了多种类型的数据集，包括（1）常规遮挡场景……

局限性与讨论
为说明所提方法的局限性和应用范围，我们从（新）斯坦福光场档案库（SLFA）[54]中选取了一个遮挡最为严重的场景“悍马车-树木”作为进一步测试对象。图17(a)展示了该场景的多视角图像，图17(b)为参考视角的图像。该场景的前景是纹理复杂、遮挡密集的茂密植被，而背景则有一辆玩具悍马车和一个玩具士兵。应用所提方法后……

结论
在本文中，我们基于对复杂场景中遮挡关系的精确分析和推理，提出了基于NeRF框架的一种新型去遮挡神经渲染方法。通过利用从训练得到的NeRF模型生成的深度图，可以分析被遮挡场景的分层结构。通过将某些层次定义为遮挡物，就能够准确分割出图像中的被遮挡区域。通过为每条光线设定去遮挡神经渲染的积分下限C，从而实现有效的遮挡去除。

CRediT作者贡献声明
张小强：写作——审稿与编辑，写作——初稿撰写，指导监督，软件开发，项目管理，方法设计，资金获取，正式分析，概念构思。张志新：写作——初稿撰写，可视化处理，结果验证，软件开发，方法设计，资金获取，正式分析，数据整理。范青：结果验证，数据整理。

利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：张小强表示获得了中国国家自然科学基金的资助；张志新则表示得到了西南科技大学的经费支持。其他作者则声明没有已知的可能构成利益冲突的财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金项目（编号62201479）的支持，同时也得到了西南科技大学研究生创新基金项目（编号25ycx2031）的资助。