场景定制的多深度三维纯相位全息图生成学习

《Advanced Intelligent Systems》：Scene-Customized Learning for Multi-Depth 3D Phase-Only Hologram Generation

　　

基于卷积神经网络（CNN）的计算机生成全息术（CGH）能够实现高速、高质量的全息显示，但其性能严重依赖于训练数据集的统计特性，并且目前缺乏评估基于CNN的全息图编码器性能边界的系统框架。从数据集设计的角度，本研究提出了GM-4K，这是一个通过场景定制几何建模构建的4K RGB-D数据集。利用随机几何图元、程序纹理和参数化空间采样，GM-4K生成了具有可控的低频、中频、高频和宽频强度分布的场景，同时允许灵活的深度区域采样。使用U-Net++编码器进行的数值和光学实验表明，训练数据的强度频谱分布显著影响多深度纯相位全息图的重建质量，并且在宽频或中频数据集上训练的模型在复杂三维场景中表现出更好的整体泛化能力。基于这一观察，研究人员进一步建立了一个由低频、中频和高频场景组成的频谱测试框架，用于评估不同频率条件下全息图编码模型的性能。所提出的数据集构建范式和频谱测试框架为高分辨率多深度全息图生成提供了可控的数据支持，并为基于学习的CGH中的数据设计、模型评估和针对性优化提供了实用指导。

### 研究背景与意义
全息三维显示技术在医疗成像、工业检测、教育展示、增强现实和沉浸式交互等领域展现出巨大潜力。计算机生成全息术（CGH）因其能够数值模拟衍射传播并生成用于重建三维场景的全息图而受到广泛关注。然而，在高分辨率、多深度和全彩显示条件下，传统的CGH方法通常面临重建质量、计算速度和系统复杂度之间的权衡。近年来，卷积神经网络（CNN）被广泛引入CGH领域。通过学习从目标场景到纯相位全息图的非线性映射，CNN大幅缩短了全息图生成时间，为高分辨率、多深度全息显示开辟了新的技术路径。然而，现有研究大多聚焦于网络架构和训练策略的改进，对训练数据的影响关注不足。当前可用于学习的3D RGB-D数据集在强度频谱分布、空间采样和场景构建方面可控性有限：深度相机捕获的真实世界数据存在深度噪声、遮挡、缺失区域等问题，且其频谱和深度分布无法精确调控；基于外部三维资产库合成的数据集则受限于外部模型、材质和纹理资源，同样难以系统操控强度频谱分量。此外，现有的全息图编码模型评估方法也存在局限，通常仅使用少量自然图像或合成场景，并报告平均峰值信噪比（PSNR）和结构相似性指数（SSIM）。这类聚合指标虽能反映模型的平均性能，但无法充分揭示其在不同类型场景下的性能边界。因此，从数据集设计角度出发，开发一种无需外部资产、可参数化生成RGB-D场景、并能定制控制强度频谱分布的数据集构建方法，并建立相应的系统性评估框架，对于提升和理解基于学习的CGH至关重要。

### 关键技术方法概述
为应对上述挑战，研究人员提出了一种场景定制的几何建模方法，构建了名为GM-4K的4K RGB-D数据集。该方法利用Blender三维建模软件及其Python脚本功能，通过随机放置球体、立方体和正四面体等基本几何图元，并为其分配程序噪声纹理，无需依赖外部三维模型或纹理库即可生成场景。强度频谱定制主要通过控制纹理尺度参数实现，通过调整噪声矩阵的初始大小（参数m）来生成具有不同低频、中频或高频成分的纹理。深度区域采样定制则引入了一种基于调和级数的离散概率函数来指导几何图元的深度位置采样，以改善不同深度区域的可见像素覆盖并减少潜在的深度偏差。此外，研究采用U-Net++作为代表性的CNN全息图编码器，将SLM平面的复振幅映射为纯相位全息图。训练过程中，通过层间替换法（L2RM）结合角谱法（ASM）计算多深度反向传播衍射场，并采用带亮度归一化的L1重建损失来优化网络参数。

### 研究结果分析
**4.1 实验设置**
数值实验在配备NVIDIA GeForce RTX 3090 Ti GPU的计算平台上进行，使用U-Net++模型，并采用Adam优化器进行训练。光学实验系统采用中心波长分别为638、520和450 nm的激光光源，通过空间光调制器（SLM）加载相位全息图进行重建，并使用CCD相机在不同深度记录结果。

**4.2 代表性数值与光学重建结果**
为测试方法在复杂场景中的有效性，研究构建了一个三维“火车”场景和一个三维二值测试场景。使用在三种不同数据集（深度相机数据集NYU、基于资产的MIT-CGH-4K数据集以及GM-4K(WF)数据集）上训练的U-Net++模型分别生成全息图并进行重建。结果表明，在具有快速强度变化和复杂纹理的区域（如“HOLO”文字和高对比度边缘），使用GM-4K(WF)和MIT-CGH-4K训练的模型重建出了更清晰的局部细节，并且GM-4K(WF)训练的模型在不同深度层能更好地保持目标结构的清晰度和深度一致性。这证实了训练数据的频谱特性影响多深度纯相位全息图的重建质量，且具有更丰富中高频成分的数据有助于提升复杂场景细节的编码。

**4.3 频谱测试框架评估**
为进一步分析训练数据频谱分布对编码性能的影响，研究构建了由GM-4K(LF)、GM-4K(MF)和GM-4K(HF)组成的频谱测试集，并系统比较了在六个代表性数据集上训练的模型在七类测试场景下的数值重建结果。结果显示：
* 在GM-4K(WF)和GM-4K(MF)上训练的模型在多个测试集上表现出相对稳定的性能，表明宽频和中频训练数据有助于提升模型在复杂三维场景中的整体泛化能力。
* 在GM-4K(LF)和GM-4K(HF)上训练的模型在对应的频谱测试集上取得了更高的指标，但在具有相反频谱特性的测试场景中性能下降，表明单一频谱分布的训练会使模型偏向特定的频率类型。
* 在NYU数据集上训练的模型在低频测试集上表现尚可，但在中频和高频测试集上效果较差，这与真实深度相机数据中可控的中高频成分有限有关。

这些结果证明，与单一综合测试集相比，LF/MF/HF频谱测试框架能更有效地揭示模型在不同频率范围下的能力差异和适用场景条件，从而为基于学习的CGH中的数据设计、模型选择和性能优化提供了更具诊断性的依据。

### 讨论与结论
**讨论与未来方向**
本研究从训练数据设计的角度，探讨了基于CNN的多深度三维纯相位全息图生成。针对现有3D RGB-D数据集在强度频谱分布、空间采样和场景构建方面可控性有限的问题，提出了通过场景定制几何建模构建的4K RGB-D数据集GM-4K。数值和光学实验表明，训练数据的强度频谱分布对多深度纯相位全息图的重建质量有明显影响。采用四深度层配置时，完整的4K纯相位全息图生成流程（包括多深度衍射计算和网络推理）每帧耗时约20 ms，显示出支持实时多深度全息图生成的计算潜力。这些结果表明，面向任务的可控训练数据设计能为多深度纯相位全息图生成提供有效的数据支持，并有助于提高模型在不同场景条件下的稳定性和适应性。

在评估方面，研究人员进一步构建了由低频、中频和高频场景组成的频谱测试框架。与仅依赖单一综合测试集和平均PSNR/SSIM指标相比，该框架能更精确地揭示全息图编码模型在不同频率条件下的性能边界，有助于识别模型适用的场景类型及其性能可能下降的条件。因此，GM-4K数据集及其关联的频谱测试框架不仅可用于训练基于CNN的全息图编码器，还可作为分析和比较不同基于学习的CGH方法适用范围的补充评估工具。

**研究结论**
本工作的结论可总结如下：首先，提出的GM-4K数据集构建方法能够在不依赖外部三维资产的情况下，灵活构建具有可控低频、中频、高频和宽频强度分布的4K RGB-D场景。其次，训练数据的强度频谱分布显著影响基于CNN的多深度纯相位全息图重建质量；使用宽频或中频数据训练的模型在复杂三维场景中表现出更好的整体泛化能力。第三，所建立的频谱测试框架能更有效地评估编码模型在不同频率条件下的性能边界。最后，完整的全息图生成流程显示出实时处理的潜力。未来研究方向包括：对深度分布影响的更严格单变量消融实验、扩展GM-4K的场景类型和统计控制维度、建立更严格的数据集质量指标和标准化基准、在光学实现中纳入系统校准和相位误差补偿，以及结合轻量级网络架构和模型压缩技术以提升生成速度和部署效率。总体而言，本研究表明可控的数据集设计和频谱感知评估为改进和理解基于学习的CGH提供了有效支持。