CV-HoloSR：通过三维场景体积上采样实现全息图超分辨率重建

《Optics & Laser Technology》：CV-HoloSR: Hologram to hologram super-resolution through volume-upsampling of three-dimensional scenes

　　

- CV-HoloSR实现了全息图体积上采样而不会导致二次深度失真。
- 复值神经网络保留了物理三维波场相互作用。
- 深度感知感知损失相比仅保真度训练将LPIPS提升了24–29%。
- 复值LoRA将模型高效地适应到未见的扩展深度范围。
- LoRA仅使用200张全息图用于新深度设置，将训练时间减少了75%。

引言

全息术是光学领域中一个重要领域，能够通过利用光衍射记录并重建物体，从而表示三维（3D）场景。全息术的独特优势在于，它能够直接通过全息内容显示完整的3D场景，无需头显（HMD）等额外观看设备。然而，使用全息图记录真实场景需要对光学设备进行精确操作，本质上仍具有挑战性，因为介质通常不能重复用于捕获新场景。

计算机生成全息术（CGH）[1]通过计算机仿真生成全息图，从而克服了这些物理限制。它可以从数字图形表示——如点云和网格——中高效地合成全息图，而这些表示易于存储和处理。典型的CGH方法包括基于层的方法[2]、[3]，基于点的方法[4]、[5]、[6]，基于网格的方法[7]、[8]、[9]，以及基于光场的方法[10]、[11]。然而，由于离散采样，CGH面临着巨大的计算挑战，导致重建质量与计算成本之间存在权衡。为了满足满足奈奎斯特采样定理对高频分量的需求，需要大量计算资源。尽管已提出了一些方法来提高效率，例如查找表（LUT）方法[2]、[12]、[13]，但仍存在一个根本性限制：计算复杂度随全息图分辨率呈二次方增长。

为了克服这些计算瓶颈[14]、[15]、[16]、[17]、[18]、[19]，近期研究越来越多地采用数据驱动方法，利用深度学习进行高效、高质量的全息图生成[20]、[21]。例如，张量全息术[22]采用卷积神经网络（CNN）实时生成完整的FHD全息图。相关MIT-CGH-4K数据集显著加速了该领域的研究进展[23]、[24]、[25]、[26]，包括快速发展的全息图超分辨率（HSR）领域[27]、[28]、[29]。

高分辨率全息图是必需的，因为它们的空间分辨率决定了物理显示尺寸和视角（AoV）。然而，与标准2D图像不同，简单的分辨率增强技术（如双三次插值）不能直接应用于复值全息图。简单的空间缩放会改变底层条纹频率，引入严重的物理伪影——最显著的是深度失真，其中重建的3D体积随缩放因子呈二次方而非线性扩展[30]。虽然Park等人[30]通过在光场域进行插值解决了这种失真，但计算量庞大，需要在Hologram表示和光场表示之间进行多次变换。

这些挑战促使直接基于深度学习的HSR技术的发展。HSR通常分为两类：视角（AoV）上采样和体积上采样。视角上采样涉及增加像素数量同时减少像素间距，从而在保持原始重建图像尺寸的同时获得更宽的视角。相反，体积上采样在保持像素间距不变的情况下增加空间分辨率。这种方法类似于2D图像超分辨率，旨在线性扩展重建场景的物理体积或显示尺寸，同时避免上述二次深度失真。

近期的2D图像超分辨率方法通过利用显式场景线索（如距离自适应变分公式[31]和结构因果模型[32]）来处理复杂的真实世界退化。全息图超分辨率面临根本不同的挑战：全息术的主要障碍是建立物理一致的采样关系，严格保持波传播和线性深度缩放。因此，本研究聚焦于受控CGH条件下的体积上采样，为未来扩展到不受控的真实世界全息领域提供基础基线。

HSR在显微术中得到广泛研究，利用光学/数值技术[33]、[34]、[35]、[36]、[37]、[38]以及基于深度学习的方法[39]、[40]、[41]。在此背景下，相干成像系统被广泛使用，主要目标通常是恢复由于传感器芯片限制而缺失的信息（如相位），而非关注通过CGH通常生成的全彩全息图。

近期，一些研究利用深度学习方法引入了用于全彩全息图的HSR方法。MIT-CGH-4K数据集在这些进展中发挥了关键作用，提供两种分辨率的高质量CGH数据：192×192像素、像素间距16 μm的低分辨率（LR）全息图，以及384×384像素、像素间距8 μm的高分辨率（HR）全息图。Lee等人[28]提出了一种基于深度学习的HSR网络，以RGB-D图像作为输入并生成上采样全息图作为输出。Jee等人[27]开发了一种基于双GAN的HSR框架，同时重建幅度和相位分量，产生高质量的超分辨率全息图。此外，还提出了一种全息图到全息图的超分辨率方法（H2HSR）[29]，该方法将图像超分辨率网络适应到HSR任务，同时采用张量全息术[22]中引入的损失函数。H2HSR在PSNR方面达到8.46%，在SSIM方面达到9.30%，在重建质量上显著优于传统的基于插值的方法。虽然先前的HSR研究主要聚焦于视角（AoV）上采样以扩大观看角度，但体积上采样问题——旨在保持重建3D场景的线性深度缩放——仍 largely 未被探索。此外，大多数现有工作受限于MIT-CGH-4K数据集的特性，仅在相对较低的分辨率（如1922到3842）和较浅的深度范围（如-3mm到3mm）上进行。

为弥补这一差距，我们提出了一种专为全息图体积上采样设计的新型深度学习框架。我们的网络基于复值残差密集网络（CV-RDN），直接在复数域处理全息图以保留物理波场相互作用（第3节）。为了克服现有数据集的限制，我们构建并发布了一个包含4000对样本的综合大深度范围全息图数据集，分辨率最高达40962（第2节）。我们进一步引入了基于裁剪的训练策略（附录E），配合深度感知感知损失（第3.4节），以在有限的GPU内存下高效优化网络，实现物理一致的3D重建。最后，为了应对预训练编码器在应用到大规模目标分辨率时的内在深度偏差，我们引入了一种利用复值低秩适应（LoRA）的参数高效微调策略，确保快速泛化到未见过的深度范围（第3.5节）。

广泛的数值仿真和物理光学实验表明，我们的方法成功生成了无深度失真的体积超分辨率全息图（第4节）。与最先进的空间上采样基线相比，我们提出的CV-RDN在感知真实感和结构保真度方面表现更优（第4.2节）。具体而言，我们的框架在HologramSR数据集上达到了0.2001的学习感知图像块相似度（LPIPS）得分（相比先前的SOTA基线提升了32%），在广阔的3D空间中产生了锐利的纹理和自然的散焦模糊。此外，我们定制的基于LoRA的适应策略证明了极高的数据和计算效率；仅利用200个训练样本，将计算训练时间从22.5小时减少至仅5.2小时（减少超过75%），同时保持了最先进的感知质量（第4.3节）。这大幅降低了将预训练主干网络适应到新型光学显示配置和未见深度范围所需的计算负担。

数据集生成

要训练和评估全息图体积上采样，我们需要跨越不同分辨率和深度变化、同时保持物理一致深度缩放的配对全息图。虽然MIT-CGH-4K数据集[22]为深度学习提供了高质量的CGH数据，但它主要针对视角上采样：配对全息图在像素间距上有所不同，分辨率有限（如1922和3842），深度范围较短（如-3mm到3mm）。这些特性不适合

复值全息图超分辨率网络

本节介绍了一种用于体积上采样的复值全息图超分辨率网络。我们的模型直接在复数RGB全息图上操作，采用具有亚像素上采样头的复值残差密集骨干网络。为了在有限GPU内存下实现对高分辨率全息图的训练，我们采用基于块的训练策略，并使用物理感知的损失设计优化网络。

数据集

我们的主要合成数据集（即HologramSR），详见第2节，包含4000张全息图，划分为3800张用于训练，100张用于验证，100张用于测试。模型被训练执行4倍空间上采样，支持多分辨率处理，处理256×256的低分辨率（LR）输入，生成相应的1024×1024高分辨率（HR）输出。

为了评估模型在渲染和真实图像领域上的泛化能力，我们

分量式ReLU（CReLU）的有效性

我们提出的全息图超分辨率网络采用复值模块，其中分量式ReLU（CReLU）激活函数在增强回归性能方面起着关键作用。为了论证我们选择CReLU而非其他复值激活函数（如modReLU [49]和zReLU [50]），我们进行了对比分析。为了公平评估，具有相同架构——仅在激活函数上不同——的模型在

结论

在本研究中，我们提出了一种专为三维场景体积上采样设计的新型复值全息图超分辨率框架。与先前的方法不同，我们的方法成功保持了物理一致的3D全息显示固有的线性深度缩放要求。通过利用具有深度感知感知重建损失的复值残差密集网络（CV-RDN），我们的模型有效克服了过度平滑

CRediT作者贡献声明

Youchan No：撰写初稿、可视化、验证、软件、方法论、调查、形式化分析、数据整理、概念化。Jaehong Lee：可视化、软件、数据整理。Daejune Choi：验证、方法论、数据整理。Dae-Youl Park：验证、调查、概念化。Duksu Kim：撰写—审阅与编辑、验证、指导、项目管理、形式化分析、概念化。

利益冲突声明

作者声明他们没有已知的竞争经济利益或个人关系可能影响本研究中报告的工作。

致谢

本工作得到韩国国家研究基金会（NRF）（由教育部资助）的资助，项目编号2021R1I1A3048263（50%），以及信息和通信技术规划与评估院（IITP）（由韩国政府MSIT资助）的资助，项目编号2019-0-00001（50%）。

Youchan No | Jaehong Lee | Daejune Choi | Dae-Youl Park | Duksu Kim