《Optics & Laser Technology》：Accelerated holographic video generation based on rotational motion compensation of segmented wavefield in 360-degree holographic display
编辑推荐：
提出基于分波场的旋转运动补偿方法SW-RMC，通过分段波场旋转变换理论扩展单次运动补偿范围，并采用周期参考帧错误补偿方案保持高重建质量。实验表明，相比传统MCRC方法速度提升4.4倍，相比帧间计算方法速度提升14.9倍，同时保持连续视差运动效果。
Jiahao Wei|Chao Li|Haifeng Li|Dapu Pi|Yongtian Wang|Juan Liu
北京工业大学光学与光子学院光电成像技术与系统莫埃重点实验室，混合现实与先进显示工程技术研究中心，中国北京100081
摘要
本文提出了一种基于分段波场的旋转运动补偿（SW-RMC）方法，用于加速生成360度三维（3D）全息视频。通过利用基于分段波场的旋转变换理论，可以有效地补偿全息图平面上的垂直轴方向上的3D旋转运动。此外，我们开发了一种基于周期性参考帧的误差补偿方案，以确保全息视频始终保持高质量的重构效果。实验结果表明，与一般的运动补偿MCRC方法（SW-RMC未分段的特殊情况）相比，单次运动补偿的范围显著扩大，全息视频的生成速度提高了4.4倍。同时，与传统逐帧计算方法相比，我们提出的方法在生成大量帧的全息视频时具有显著优势，能够在提高生成速度14.9倍的同时实现类似的连续运动视差效果。
引言
全息显示被视为终极的3D显示技术，因为它能够提供人类视觉系统所需的所有深度线索[1]。计算机生成的全息技术消除了复杂的光学记录过程的需求，并实现了虚拟对象的显示，已成为全息显示的主导技术。然而，由于商用空间光调制器的空间带宽产品有限，重建的图像存在视野狭窄和运动视差不足的问题[2]。为了解决这些问题，开发了360度全息显示技术，该技术采用时空复用方法将多个观看窗口（VWs）无缝拼接成圆形观看区域[3]，[4]。这种方法需要计算数百个水平观看角度的计算机生成全息图（CGHs），以确保观察者视角变化时运动视差平滑[5]，[6]。这些CGHs作为全息视频的基本帧，在数字微镜装置（DMDs）上以高刷新率依次显示。然而，这一过程沉重的计算负担限制了360度全息显示的实时观看。
迄今为止，已经提出了各种快速算法来加速CGH的计算，例如基于点[7]、[8]、基于线[9]、[10]、基于多边形[11]、[12]、基于层[13]、[14]、基于图形处理单元（GPU）[15]和基于深度学习[16]、[17]的方法。然而，上述大多数方法仅专注于加速单个全息图的计算，这意味着生成大量帧的全息视频仍然需要逐帧计算。因此，随着帧数的增加，计算时间显著延长，成为实时应用的一个重大瓶颈。
为了克服这一缺点，利用连续帧之间的相关性并通过基于块的运动补偿（MC）减少冗余计算是一种有效的解决方案，这种方法已在传统视频中得到广泛应用[18]。不幸的是，由于衍射的性质，任何物体运动都会引起整个全息图的变化，这种方法在全息帧上无效[19]。到目前为止，只有少数尝试来解决这个问题。一些基于新型查找表（NLUT）的方法被提出，利用LUT的位移不变性来补偿平行于全息平面的平移运动[20]，[21]，[22]。对于3D旋转运动，可以利用球形全息图的旋转特性实现有效补偿[23]，[24]。然而，需要复杂的近似处理将平面全息图转换为球形表示。最近，提出了一种通用的刚体运动补偿方法，用于高效生成全息帧[25]。这种方法通过在参考帧上使用累积运动向量（MCRC）进行运动补偿，将3D旋转运动引起的全息图变化视为中心旋转平面的波场变换。然而，这种近似过程破坏了3D物体的原始深度信息，导致重建图像出现2D平面化效应。因此，补偿后的全息帧的重构质量和运动视差效果都受到了显著下降。
在本文中，为了解决这些问题，我们提出了一种基于分段波场的旋转运动补偿（SW-RMC）方法，该方法显著加速了垂直轴上旋转3D物体的全息视频生成。所提出的方法结合了基于分段波场的旋转变换理论和周期性误差补偿方案，实现了高效的全息视频生成，同时保持了高质量的重构和连续的运动视差效果。这项工作可能为360度动态3D全息显示开辟新的途径。
部分摘录
360度全息显示技术中的全息视频生成
在360度全息显示技术中，为了在任意水平方向上实现连续波前重建，需要从大量水平观看角度计算3D物体的CGHs。这些CGHs随后以高刷新率加载到数字微镜装置（DMDs）上，以实现全息视频的动态光学重建。
图1显示了生成过程中全息帧与旋转运动之间的关系
数值模拟
我们在CPU和GPU框架上进行了数值模拟，以验证所提出方法的可行性。CPU程序是在个人计算机上使用Python 3.10.9编写的（CPU：Intel Core i7-12700F，2.10 GHz，16 GB），GPU程序是在GPU上使用CUDA平台编写的（RTX 3090，24 GB）。数值模拟的参数如表1所示。在此过程中，还使用了基于逐帧计算的传统快速方法进行比较
光学实验
为了验证数值模拟与实际显示结果的一致性，我们构建了如图9(a)所示的360度3D全息显示系统，该系统在基于第一代系统[28]的基础上进行了改进，以实现更好的浮动显示效果。系统的结构图如图9(b)所示，由三层组成。第1层是光源模块，如图9(c)所示。一个520纳米的绿色激光被
讨论
请注意，在可视化2中，对于MCRC和SW-RMC方法，当旋转运动补偿的周期发生变化时，重建图像会突然变化，导致帧跳过。这个问题是由于运动补偿方法的固有缺陷造成的。因为即使运动模型是完美的，由于之前不可见的物体点进入帧内或被其他物体点遮挡，仍然存在一些固有缺失的信息
结论
总之，我们提出了一种基于分段波场的旋转运动补偿（SW-RMC）方法，用于加速360度全息显示中全息视频的生成。在所提出的方法中，构建了基于分段波场的旋转变换理论，以补偿3D物体沿y轴旋转运动引起的全息图变化。我们进一步开发了一种基于周期性参考帧的误差补偿方案，以确保重建效果
CRediT作者贡献声明
Jiahao Wei：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，方法论，概念化。Chao Li：撰写 – 审稿与编辑，方法论。Haifeng Li：资源提供。Dapu Pi：撰写 – 审稿与编辑，可视化，方法论。Yongtian Wang：项目管理，资金获取。Juan Liu：撰写 – 审稿与编辑，项目管理，资金获取。
资助
本工作得到了国家自然科学基金（NSFC）的支持，项目编号为62035003、U22A2079、62575016和62405190，以及北京市自然科学基金的支持，项目编号为F251051。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
