跨区域无监督去噪技术，用于实现高保真积分成像3D显示

《Optics & Laser Technology》：Cross-region unsupervised denoising for high fidelity integral imaging 3D display

　　``

• •
  提出了一种用于积分成像光场的无监督去噪方法。
• •
  利用跨区域体素相关性进行无监督训练。
• •
  模拟了真实采集过程中混合泊松-高斯噪声的影响。
• •
  在严重的混合噪声退化下保持纹理和极线几何结构。

引言

准确表示和重建真实世界的三维（3D）光场是下一代计算成像和沉浸式显示技术的基础。积分成像（InIm）[1] [2] 是这一领域中最具有前景的技术之一，它使用透镜阵列将3D场景的连续光场编码为富含深度线索的二维（2D）元素图像阵列（EIA）。这种在全散射照明下的光场采集范式通过光学路径的可逆性实现了计算重新聚焦和3D显示[3] [4]，并为混合现实[5] [6]、显微镜[7] [8]和物体检测[9] [10]等广泛应用提供了强大的3D视觉先验。然而，在实际的光学采集过程中，EIA不可避免地会受到多种噪声源的污染，如光学系统的固有缺陷、传感器噪声、光子散粒噪声以及环境照明的波动。这些退化不仅降低了重建图像的视觉保真度，更重要的是，还严重破坏了在多个视图之间应保持的视差一致性，导致明显的伪影甚至完全无法重建体素。因此，在忠实保留高频纹理细节的同时有效抑制噪声已成为推进InIm实际应用的关键瓶颈[11]。

为了解决这一挑战，现有的光场去噪方法已经从基于统计先验的模型发展为数据驱动的方法。早期方法主要依赖于高维稀疏表示、非局部相似性先验或变换域协作滤波来利用光场视图之间的相关性[12] [13] [14]。随着深度学习的发展，后续方法开始在网络设计中结合视差和角度结构。例如，各向异性视差分析和空间-角度正则化已被用于恢复依赖于视图的细节并提高光场恢复的几何一致性[15] [16] [17]。通用的2D去噪网络，如DnCNN、FFDNet、CBDNet以及更近期的平行-串行架构，也提供了强大的恢复先验[18] [19] [20] [21]，但它们并没有明确建模光场的耦合空间-角度结构。低光环境下光场的增强和基于Transformer的恢复方法进一步增强了跨维度特征融合和长距离依赖性建模[22] [23] [24] [25]。然而，这些方法大多数仍是在受监督的环境或特定的子孔径采样格式下开发的。当直接应用于InIm时，它们会遇到限制，因为EIA具有不同的采样特性，元素图像之间的空间变化较大，且去噪质量与光学3D重建之间的联系更为紧密。

无监督和自我监督的去噪方法提供了一个有前景的替代方案，因为它们减少了对干净真实值的依赖。Noise2Noise证明了在适当的噪声假设下，独立的噪声观测可以作为训练目标[26]，这一想法最近被引入到通过构建相邻透镜元组的单次拍摄3D积分图像去噪中[27]。在其他高维成像场景中的相关研究也表明，利用空间-角度冗余可以在不依赖时间平均的情况下支持自我监督去噪[28]。尽管如此，相邻视图配对仅利用了短基线相关性，可能无法完全捕捉EIA中固有的长距离空间-角度冗余，特别是在深度变化大、有遮挡或混合噪声复杂的场景中。其他单图像自我监督方法在2D图像去噪方面取得了显著的成功。代表性的盲点预测方法包括Noise2Void和Noise2Self[29] [30]。基于自我采样和邻居的策略，如Self2Self和Neighbor2Neighbor，进一步改进了内部监督的构建[31] [32]。基于重构的相关精细自我监督方案，包括Noise2Same、Blind2Unblind和通用的重构到重构方法，将这一思路扩展到更灵活的恢复环境中[33] [34] [35]。然而，这些方法主要基于单图像统计数据，没有明确考虑InIm所需的多视图耦合、视差一致性和体素级相关性。因此，一个可以直接利用全局EIA相关性同时保持3D几何一致性的无监督去噪框架仍然非常值得期待。

为了克服这一局部范式的局限性，提出了一个名为Cross-Region Noise2Noise（CRN2N）的新跨区域无监督去噪框架，用于InIm。该框架从实际光学采集中的物理图像退化过程出发，分析了多视图观测的统计特性，并超越了传统上严重依赖于局部短基线对应关系的无监督去噪策略。具体来说，CRN2N将范围从局部邻域扩展到全局跨区域配对，利用EIA中嵌入的高维视差相关性建立了一个联合映射模型，以自适应地利用长距离视差互补性。此外，设计了一个具有几何感知能力的注意力残差去噪网络（ARDNet），以明确区分结构相关性和随机噪声扰动。通过这种方式，该框架能够在不需要干净真实值监督的情况下忠实保留高频纹理和多视图一致性。本工作的主要贡献总结如下：

• 1)
  本文提出了一个针对实际InIm采集过程定制的混合泊松-高斯退化模型。该模型描述了多视图观测中视图间噪声的条件独立性，为高维光场数据的自我监督去噪提供了统计基础。
• 2)
  开发了一种新的跨区域联合无监督去噪范式，以缓解传统局部配对导致的信息利用瓶颈。这种范式建立了一个灵活的自我监督学习机制，用于自适应地挖掘光场的长距离视差互补性。
• 3)
  配备有全局感受野的ARDNet有效地克服了由跨区域配对引发的几何和视差错位挑战。该网络有助于在强大的噪声抑制和保持复杂高维3D几何关系之间实现平衡。

章节片段

方法论

在InIm系统中，3D场景的光场通过透镜阵列在角空间域中被离散采样，并最终在传感器上编码为EIA。在理想的采集条件下，光场捕获遵循光学路径的可逆性和几何光学的约束。从同一物体点发出的光线通过不同的透镜元件在EIA上形成相应的图像点，从而产生一组具有严格多视图一致性的观测数据

实验部分

为了全面评估CRN2N在InIm去噪中的有效性，实验围绕三个目标进行设计。第一个目标是在标准光场数据集上提供可复制的定量比较，以验证所提方法在不同噪声水平下的基本有效性。第二个目标是在更接近实际成像过程的混合噪声条件下检验其鲁棒性，从而证明其适应性

结论

本文介绍了CRN2N，这是一个用于InIm系统的跨区域无监督去噪框架，解决了EIA时常受到复杂噪声影响而难以获取干净真实值的实际挑战。与基于相邻视图的方法不同，CRN2N利用了EIA内的更广泛的跨视图相关性，在噪声抑制、高频纹理保留和多视图几何一致性之间取得了良好的平衡。实验结果表明

CRediT作者贡献声明

Lei Xiaoyu：撰写 – 原稿撰写、软件开发、方法论设计、概念化。Li Qiang：撰写 – 审核与编辑、资金筹集。Shen Sheng：撰写 – 审核与编辑、验证、资源协调。Zhou Wenbin：验证、项目管理。Tong Xinyang：软件开发、形式分析。Liu Hanlin：可视化、数据管理。Han Shuya：概念化。Yu Xunbo：撰写 – 审核与编辑。Wang Xiaorui：指导。

资助

中国国家自然科学基金 (62505239, 62475205); 陕西省自然科学基础研究计划 (2025JC-YBQN-839); 西安科技协会青年人才基金 (0959202613051); 中国移动通信股份有限公司 (C2025001–A2025268)。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

图1、图2、图3、图7、图8中使用的魔方和鹦鹉3D模型是由作者使用3ds Max创建和渲染的。

Xiaoyu Lei|Qiang Li|Sheng Shen|Wenbin Zhou|Xinyang Tong|Hanlin Liu|Shuya Han|Xunbo Yu|Xiaorui Wang

```