编辑推荐：
Ruide Meng|Jieyu Chen|Xinpeng Huang|Yilei Chen|Ping An•基于几何引导的显式-隐式融合方法用于光场去遮挡。•区分可恢复区域与不可见区域，保留场景结构。•基于可见性感知的融合方法，实现自适应多视图整合与一致性保持。引言光场成像能够
Ruide Meng|Jieyu Chen|Xinpeng Huang|Yilei Chen|Ping An
- •
基于几何引导的显式-隐式融合方法用于光场去遮挡。
- •
区分可恢复区域与不可见区域，保留场景结构。
- •
基于可见性感知的融合方法，实现自适应多视图整合与一致性保持。
引言
光场成像能够同时捕捉光线的强度和方向，为光场显示系统[1]、[2]、[3]等视觉计算任务以及多种多视图分析问题[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]提供丰富的空间角度信息。在这些应用中，光场去遮挡是一个核心问题，因为中心视角中的前景遮挡往往会遮住在其他视角中仍部分可见的背景区域。这种多视图冗余为恢复被遮挡的内容提供了可能，但在复杂的遮挡情况、深度不连续以及视点依赖的可见性条件下，有效利用这些分布式观测数据仍然极具挑战性。
现有的基于学习的光场去遮挡方法可根据几何线索的利用方式大致分为隐式方法和显式方法两类。隐式方法（如[14]、[15]）通常学习从被遮挡的光场观测数据到恢复后结果的端到端映射关系。尽管这类方法具有很强的生成能力，但它们往往将整个被遮挡区域视为统一的恢复目标，没有区分那些可以从其他视角恢复的区域与那些在所有视角下都不可见的区域。这往往会导致在复杂场景中出现过度平滑、结构不一致或内容虚构的问题。相比之下，显式方法（如[16]、[17]）则试图通过利用视差或深度等几何线索来恢复各视角中的可见信息。当几何结构可靠时，这类方法能更好地保持物理一致性，但在遮挡边界、深度模糊或对应关系不准确的情况下，由于几何传递变得不稳定，其性能会明显下降。
这两种方法的一个共同局限性在于，它们没有明确考虑被遮挡区域内部不同的可见性条件。实际上，目标视角中缺失的区域并非完全未知——有些区域在其他视角中仍是可见的，可以通过符合几何结构的对应关系进行恢复；而另一些区域在所有视角下都不可见，只能通过隐式神经网络生成来恢复。以相同的方式处理这两种情况并非最佳选择：要么因重新生成本可恢复的内容而浪费有效的多视图观测数据，要么在对应关系不可靠的区域过度依赖几何传递。因此，要实现稳健的光场去遮挡，不仅需要具备几何感知的对齐能力或生成能力，还需要一种机制来判断何时应从其他视角恢复可见内容，何时仍需依靠神经网络生成。
为解决这一问题，我们提出了一种基于几何引导的显式-隐式融合框架，用于光场去遮挡。该框架不会统一恢复整个被遮挡区域，而是将可从其他视角恢复的区域与在所有视角下都不可见的区域区分开来。首先，一个具备深度感知的粗略恢复阶段会提取几何线索，并为关键视角提供初步的、考虑遮挡情况的恢复结果。其次，在这些线索的引导下，一个视差映射对齐阶段会在几何约束下，从其他视角恢复可见的背景信息到中心视角。最后，一个基于可见性感知的融合阶段会选择性整合来自不同角度组的可靠观测数据，仅对在所有视角下都不可见的区域应用隐式神经网络生成。通过将显式的跨视图恢复与隐式生成分开，该框架提升了结构保真度，同时减少了在可恢复区域的不必要合成。
本研究的主要贡献如下：
- •
我们提出了一种基于几何引导的显式-隐式融合框架，用于光场去遮挡，该框架能够明确区分可从其他视角恢复的区域与在所有视角下都不可见的区域，而非将整个被遮挡区域一视同仁。
- •
我们设计了一种具备深度感知的视差映射策略，能够在复杂的遮挡和深度变化情况下，可靠地实现可见背景信息的跨视图恢复。
- •
我们设计了一种基于可见性感知的融合机制，能够选择性整合来自不同角度组的可靠观测数据，仅在没有有效观测数据时才启动隐式神经网络生成，从而在复杂遮挡情况下提升结构一致性。
章节要点
光场去遮挡
早期的光场去遮挡方法主要依赖于合成孔径成像以及人工设计的光场先验。经典研究表明，通过移动和平均子孔径图像可以抑制遮挡现象，这一思路后来也被应用于动态场景和相机阵列[18]、[19]、[20]、[21]、[22]、[23]。尽管这些方法证明了多视图观测在去除遮挡方面的价值，但其性能往往受到简化几何假设的限制
提出的方法
在本节中，我们介绍了一种基于几何引导的显式-隐式融合框架，用于光场去遮挡。如图1所示，该框架由三个相互协作的组件构成：*几何先验重建*、*跨视图几何对齐*以及*自适应多视图融合*。我们设计背后的核心理念是，目标视角中的被遮挡区域并不都具有相同的可见性条件——有些像素在其他视角中仍然是可见的，可以通过相应方式恢复
数据集
我们利用来自公共数据集[14]、[40]的61张光场图像以及80个不同的遮挡掩码来合成数据。为了提升模型的泛化能力，我们还采用了随机翻转、旋转以及颜色通道交换等标准数据增强技术。在标准的基准测试中，我们使用了Syn-4和真实场景基准测试集[14]，该测试集包含四种具有不同遮挡模式的合成场景、对应的真实图像，以及5个真实的被遮挡场景。此外，我们还创建了
讨论与结论
尽管所提出的框架在大多数情况下表现良好，但仍有部分复杂场景难以处理。尤其是当遮挡非常薄且视差较大时，DM-STN可能无法将精细结构与预测的遮挡掩码完全对齐，由此产生的不对齐会在融合后留下稀疏的残差伪影。这一限制主要源于变形场的空间分辨率较低。此外，虽然Syn-10分析提供了额外的
利益冲突声明
作者声明，他们不存在任何可能影响本文所述工作的已知财务利益或个人关系。
