基于物理信息的多通道融合技术，用于单次拍摄的条纹投影式3D重建

《Optics and Lasers in Engineering》：Physics-informed multi-channel fusion for single-shot fringe projection-based 3D reconstruction

单次拍摄三维重建中，我们提出基于物理的多通道融合框架，将参考条纹、背景图、几何坐标等五类辅助通道与原始条纹图融合，解决单通道方法因视角几何依赖导致的重建误差问题。实验表明该方法相比单通道基准误差降低31%，在复杂物体上达到0.306mm精度，并优化了准确率、表面光滑度和计算效率的平衡。

　　

Khai T. Dinh|Khoa V. Bui|Hieu Nguyen|Zhaoyang Wang

越南胡志明市VNU-HCM国际大学电气工程学院

摘要

基于深度学习的单次拍摄三维（3D）重建技术通过条纹投影轮廓测量法（FPP）实现了实时采集速度，但面临着从单个条纹图像中恢复深度这一本质上不适定的逆问题的挑战。现有的深度学习方法将条纹图案视为独立的输入，忽略了系统校准中可获得的宝贵几何和上下文信息。我们提出了一种基于物理信息的多通道融合框架，该框架通过三个来源增强了原始条纹图案图像：用于分离表面变形的参考条纹图案、用于前景-背景分离的静态背景图像以及编码相机几何信息的标准化坐标图。这种丰富的输入表示使网络能够利用传统单通道方法无法访问的空间位置依赖性和场景上下文。通过系统的消融实验，我们证明了所提出的多通道策略将平均绝对误差降低了31%，在复杂的真实世界物体上达到了0.306毫米的误差。与MSUNet++和MSAUNet的比较评估表明，我们的HiDNet模型在重建精度、表面平滑度和计算效率之间提供了良好的平衡。这些结果证明了基于物理信息的通道融合是提高单次拍摄结构光3D重建精度和效率的有效策略。

引言

三维（3D）重建技术能够从物理世界中精确恢复几何结构，其应用领域包括工业检测、逆向工程和生物医学成像[1]、[2]、[3]、[4]、[5]、[6]。任何3D重建技术的实际效用从根本上取决于采集速度和测量精度之间的权衡。在此背景下，立体视觉、飞行时间（ToF）、激光三角测量和结构光已成为主导技术[7]、[8]、[9]、[10]、[11]、[12]。

高速采集技术，如立体视觉[13]、[14]和ToF[15]，优先考虑快速捕获，但往往牺牲了空间分辨率和精细的表面细节，因此更适合于粗略的3D估计，而不是高保真度测量。点对点方法，如激光三角测量，可以实现高精度，但受到顺序机械扫描延迟的限制[16]、[17]。条纹投影轮廓测量法（FPP）[18]、[19]处于这两种极端之间，它能够在不进行逐点扫描的情况下实现全场采集，并具有微米级的精度。

FPP将深度信息编码到投影到目标表面的正弦图案的相位变化中。在其两种主要的采集策略中，相位移动方法被广泛认为是精度和噪声鲁棒性的基准[20]、[21]，但由于它依赖于多张图像，在动态环境中容易受到运动伪影的影响。相反，傅里叶变换方法可以实现适合移动物体的单次拍摄重建，但它受到光谱泄漏和带宽限制的影响，这会降低高频表面细节的清晰度[22]、[23]、[24]。

深度学习作为一种有前景的方法，旨在弥合FPP中时间分辨率和空间精度之间的差距。在光学计量学领域，神经网络已成功应用于条纹图案增强、单次拍摄相位解调、相位展开和非线性误差补偿[25]、[26]、[27]、[28]。最近，基于学习的方法证明了可以直接将2D条纹图案映射到3D深度，绕过了传统的多步骤处理流程。Feng等人[29]首次展示了使用深度卷积神经网络可以将单个条纹图案转换为深度。Nguyen等人[30]和Zheng等人[31]通过U-Net变体和残差学习进一步提高了重建质量。

为了解决从单个强度图像中恢复深度的固有不确定性，研究人员探索了多输入架构。Yu等人[32]提出了FMENet，它采用双帧输入来合成相位移动图案。Fan等人[33]开发了一个双频框架，利用高频和低频条纹图像来解决相位不确定性。此外，Yao等人[34]引入了Coding-Net，它结合了条纹图案和格雷码图案来同时恢复包裹相位和条纹顺序。

还开发了多张量架构，以最大化从单次拍摄中提取的特征。Machineni等人[35]提出了一个多分辨率框架，该框架同时接受参考条纹图像和变形条纹图像作为输入。Nguyen等人[36]引入了MIMONet来融合来自多个结构光图案的特征。Guan等人[37]将条纹图案与光强度对比图结合用于缺陷分类。另一类方法利用光谱复用，其中RGB通道编码不同的频率或相位移动[38]、[39]、[40]、[41]、[42]、[43]、[44]，从而允许通过单次曝光确定绝对相位。

尽管取得了这些进展，现有的单输入框架仍然受到仅依赖于单个强度图像的空间上下文的限制。从单个条纹图案中恢复深度的逆问题在数学上是不适定的，特别是对于具有复杂表面纹理、强环境光或不连续表面的场景。这些条件会导致重建不确定性，表现为局部伪影或精细表面细节的丢失。虽然多次拍摄方法可以缓解这些问题，但它们会牺牲采集速度。现有方法忽略的另一个限制是，深度重建取决于像素位置，这是由于相机视角几何和镜头畸变造成的；然而，标准卷积网络是平移不变的，难以捕捉这种位置依赖关系。

本文提出了一种基于物理信息的多通道融合框架，用于单次拍摄的条纹到深度重建。我们不是向网络提供单个灰度条纹图像，而是通过结合捕获的条纹图案、参考图像、差异图、背景上下文以及从相机内在参数导出的几何坐标图来构建一个丰富的输入张量。这种形式为网络提供了明确的空间位置信息和场景上下文，使其能够更稳健地将条纹变形映射到物理深度变化。我们进行了系统的消融实验，以量化每个输入通道的贡献，并在多种网络架构上评估了该方法。

我们的主要贡献总结如下：

•

一种基于物理信息的输入表示，它将来自相机内在参数的几何坐标图与条纹图案和背景参考相结合，为单次拍摄的条纹到深度重建提供明确的空间上下文。

•

一项系统的消融研究表明，辅助通道必须联合集成。单独添加纹理或几何信息会降低性能，而它们的组合将平均绝对误差降低了31%。

•

对HiDNet [45]、MSUNet++ [46]和MSAUNet [47]的全面架构比较，揭示了数值精度、视觉表面质量和计算效率之间的权衡。

部分摘录

数据生成和真实值获取

训练所提出的深度学习框架需要高保真的真实值深度图。我们使用传统的八步相位移动算法结合格雷码展开和有理多项式深度模型来生成这些图像。图1展示了用于数据采集和真实值生成的硬件配置和计算流程。

如前所述，FPP将深度信息编码到投影到目标表面的正弦图案的相位变化中。

实验和结果

为了确保本节报告实验的可重复性，本研究的完整源代码和数据集已在参考文献[45]、[59]中公开提供。

讨论

实验结果揭示了关于基于物理信息的输入融合对深度学习FPP的几个重要见解。

消融研究表明，辅助输入通道并不总是有益的。仅添加纹理线索（方法2）、仅添加几何坐标（方法3）或仅添加带有纹理但没有几何信息的背景（方法5）都会降低性能，与单通道基线相比。这一发现具有重要的实际意义：简单地连接这些元素

结论

本文提出了一种基于物理信息的多通道输入融合策略，用于通过条纹投影轮廓测量法进行单次拍摄的3D重建。通过系统的消融实验，我们证明了将纹理线索与几何坐标图结合可以将重建误差降低31%，使用HiDNet时误差降至0.306毫米。消融研究表明，辅助通道必须协同工作；单独使用它们

资助

本研究由VNU-HCM国际大学资助，授予编号为T2025-02-EE的资助。

CRediT作者贡献声明

Khai T. Dinh：撰写——原始草稿、可视化、软件、方法论、调查、形式分析。Khoa V. Bui：撰写——原始草稿、验证、方法论、形式分析。Hieu Nguyen：撰写——审稿与编辑、撰写——原始草稿、可视化、监督、方法论、形式分析、概念化。Zhaoyang Wang：撰写——审稿与编辑、撰写——原始草稿、监督、软件、项目管理、方法论、资金获取、形式分析

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本项工作得到了美国陆军研究办公室的资助，授予编号为W911NF-23-1-0367的资助。