具有振幅约束和相位控制的物理引导彩色全息技术，用于生成逼真的三维场景

《Optics & Laser Technology》：Amplitude-constrained and phase-supervised physics-guided color holography for realistic three-dimensional scenes

　　

摘要

多平面全息技术在重建质量上的下降主要表现为层间串扰、失焦和散斑现象。为了解决这些耦合伪影，本文提出了一种基于深度估计和物理监督的多平面全息显示方法MpD-Holo。首先，一个单目深度网络预测相对深度，然后通过K-means深度聚类（KDC）将深度离散化为多个显示平面。接下来，一个两阶段复数幅度和相位估计网络在角谱传播约束下生成仅包含相位的全息图。离线通过多平面随机梯度下降（M?SGD）生成的相位伪标签，结合幅度、结构和感知目标，提高了相位稳定性和重建逼真度。数值和光学实验证明了该方法重建分离深度内容的能力。

引言

近年来，近眼显示、虚拟现实和增强现实等应用范式的迅速普及对三维空间信息的表示提出了越来越高的要求[1]。尽管基于双眼视差的传统显示技术可以增强空间感知[2][3]，但由于无法重建目标波前，可能会导致视差-调节冲突，从而引发视觉疲劳[4][5]。相比之下，计算生成全息术（CGH）通过数值模拟光的衍射传播来合成全息图，从而通过空间光调制器（SLM）调节波前的幅度和相位。因此，CGH被广泛认为是实现自然3D显示最具前景的技术途径之一[6][7][8]。在实际应用中，由于SLM在光利用和衍射效率方面的优势，仅相位SLM更为受欢迎。因此，快速生成高质量的三维仅相位全息图（POH）已成为计算全息领域的主要挑战。

在CGH中，传统的POH生成方法主要依赖于迭代优化算法，如Gerchberg-Saxton（GS）算法或随机梯度下降（SGD）[9][10][11]。虽然这些方法具有明确的物理可解释性，但它们的计算负担较大，这限制了它们用于实时显示高分辨率动态彩色场景的适用性[12]。最近，深度学习凭借其强大的非线性映射能力[13]，将全息逆问题重新定义为正向推理过程，从而在生成速度上显示出显著优势。与迭代算法相比，基于深度学习的CGH方法能够快速合成3D POH，为实时全息显示开辟了一条新的技术路径[14]。

在初步集成深度学习技术时，早期的研究主要集中在建立从强度图像到参考相位标签的直接映射关系上。例如，Horisaki等人使用卷积神经网络实现了非迭代的快速全息图生成[15]；Lee等人引入了多深度全息图生成网络（MDHGN）来处理多个深度平面的输入[16]；MIT的Shi等人发布了一个大规模的3D相位全息图学习框架，并附有一个广泛的配对数据集[17]。尽管这些数据驱动的方法在生成速度上具有显著优势，但它们的性能本质上依赖于传统迭代算法预先生成的真实标签的质量。对于复杂的三维场景，获取高保真标签在计算上非常昂贵。此外，网络容易对特定的标签精度过拟合，严重限制了其泛化能力。

为了减少对显式标签的依赖，基于物理的架构变得越来越普遍。这些方法将物理传播模型（如角谱衍射）嵌入神经网络，并通过反向传播重建域误差来优化网络参数。代表性的成果包括Peng等人提出的HoloNet，它能够快速生成高分辨率彩色全息图[18]；Liu等人设计的DCPNet，它采用双分支并行网络将复数幅度间接编码为仅相位格式[19]；在3D显示领域，Shui等人提出的Self-Holo框架则根据物理层析约束合成多深度全息图[20]。最近，该领域趋向于提高环境适应性和超高清分辨率。Fang等人提出了SST-holo，它结合了幅度域重建约束和从SGD生成的全息图派生的特征级相位监督，并使用Res-MSR增强型U-Net进行多尺度特征提取[21]。然而，其深度离散化依赖于预定义的深度量化，相位监督是通过特征域相似性实现的，没有明确考虑相位变量的周期性。相比之下，本工作关注连续真实场景深度分布的自适应分层，并引入了防缠绕相位监督以及空间频率多尺度复数场建模。同时，Liu等人成功地在实时计算了基于物理约束的空间和傅里叶神经算子的4K超高清3D全息图[22]。

最近的工作还扩展了全息显示向紧凑和可缩放架构的发展。Meta-holographic系统展示了一个0.18立方厘米的三维缩放微投影仪[23]和具有缩放功能的多波长消色差三维meta全息技术[24]。尽管这些研究针对不同的硬件平台，但它们强调了紧凑的光学设计、波长感知建模和可控深度缩放对实际全息显示的重要性。

物理驱动的学习在计算成像领域也越来越受到重视。最近的例子包括使用U-KAN和正交剪切学习的单梯度定量相位成像[25]，物理驱动的自监督光场显微镜[26]，以及用于单次成像的非相干全息三维成像的无监督深度学习[27]。这些研究激励了将物理传播和测量约束嵌入学习循环中，而不是将全息图预测视为无约束的图像到图像的映射。

为了解决现有方法中的常见瓶颈——即在多深度场景中的严重层间串扰、不稳定的相位分布和有限的泛化能力——本文提出了一种针对真实3D场景的物理驱动的层析彩色CGH框架。本研究的主要贡献如下：首先，引入了一个单目深度估计模型来获取自然场景的先验，并制定了基于K-means的深度自适应聚类（KDC）策略[28]，有效缓解了传统固定阈值切割引起的边界碎片化问题。其次，构建了一个物理引导的双分支多尺度网络架构，有意识地分离了目标复数光场预测和相位全息编码的任务。最后，我们提出了一种结合幅度约束和相位监督的联合训练策略。在保证幅度重建保真度的同时，该策略引入了一种防缠绕的相位监督机制和渐进式特征约束。基于时分复用（TDM）的全面仿真和彩色光学重建实验证明，所提出的方法在抑制散斑伪影、提高图像质量、保持3D相位物理一致性和生成效率方面取得了良好的平衡。

章节片段

MpD-Holo的流程

首先，使用单目深度估计模型Depth Anything V2从输入的2D RGB图像中推断深度图[29]，从而将传统的2D图像高效转换为具有最小采集开销的RGB-D数据表示。然后，从输入图像中提取单通道幅度信息，并与其相应的深度图逐通道连接。这个合成的联合特征张量随后被输入到目标复数幅度网络中

实验

计算环境使用Python 3.7和PyTorch 1.12.1深度学习框架配置，并由NVIDIA GeForce RTX 3090 GPU加速。对于模拟的空间光调制器（SLM），像素间距定义为$8\mathrm{\mu }\mathrm{m}$，从而获得1920 × 1072像素的目标重建分辨率。照明源包括红色（670 nm）、绿色（532 nm）和蓝色（473 nm）波长。此外，峰值信噪比（PSNR）和结构相似性指数

结论

本研究提出了MpD-Holo，这是一种针对真实3D场景的物理驱动彩色CGH框架。通过将衍射物理模型嵌入神经网络架构并结合幅度和相位域约束，该框架旨在解决基于学习的多深度全息技术中的关键挑战，包括层间串扰、高频细节丢失和相位不稳定问题。我们的发现表明，MpD-Holo表现出良好的

CRediT作者贡献声明

Huadong Zheng：撰写 – 审稿与编辑，概念化。Yansong Gao：撰写 – 原始草案，方法论。Tengfei Zhang：验证。Qiwei Fang：软件。Xinxing Xia：监督。Yingjie Yu：资源。

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

致谢

我们感谢国家自然科学基金（62575167）、上海市科学技术委员会（24511106502）的财政支持。本研究还得到了教育部上海大学高级显示与系统应用重点实验室开放基金（OF202405）的支持。

Huadong Zheng|Yansong Gao|Tengfei Zhang|Qiwei Fang|Xinxing Xia|Yingjie Yu