深度学习使得在条纹投影轮廓测量技术中能够对彩色物体进行单次拍摄的3D测量成为可能

《Optics & Laser Technology》：Deep learning enabled single-shot 3D measurement for colorful object in fringe projection profilometry

抗色干扰单次拍摄三维重建方法融合Haar-like复合 fringe投影与双上下文尺度感知网络，通过优化相位解缠和深度估计解决彩色物体测量中的相位跳跃和周期歧义问题，实验验证其三维点云完整性和相位精度优于现有方法。

　　

林俊毅|李玉鹏|窦琦|黄长标|刘华|卢平

中国厦门华桥大学特种能源制造重点实验室，361021

摘要

基于深度学习的复合条纹投影轮廓测量技术已在单次拍摄3D重建中实现了高效率和准确性。然而，对于彩色物体进行高质量3D测量仍然是该领域的一个挑战性任务。造成这一挑战的主要原因是颜色引起的相位跳变和相位周期的不确定性。为了解决这些问题，本文提出了一种抗颜色干扰的单次拍摄3D重建方法（AIS3DRM），该方法结合了类Haar复合条纹投影（HCFP）和双上下文尺度感知网络（DCSA-Net）。HCFP有助于减少相位跳变，并有效避免彩色物体测量中的相位周期不确定性；而DCSA-Net则用于恢复由颜色变化引起的非理想条纹图案。采用深度学习的HCFP轮廓测量方法（DHCFPP）能够高效准确地实现三频率四步相位移动法（TFPM）。DCSA-Net基于U-Net架构，集成了空间频率融合注意力块（SFFABs）和对抗训练框架（ATF）。SFFABs通过并行分支动态调整特征权重，以确保在不同物体颜色条件下的鲁棒性能。实验结果表明，所提出的方法在生成相位的质量和彩色物体测量的点云完整性方面优于现有方法。

引言

光学3D测量技术在文物保护、工业质量检测和智能制造等领域得到了广泛应用[1]、[2]、[3]。其中最具代表性的主动光学3D测量技术之一是结构光[4]和条纹投影轮廓测量（FPP），后者利用正弦波图案作为介质，已成为广泛使用的结构光测量方法之一。它具有高精度、全场采集和快速测量能力[5]。为了提高传统条纹投影轮廓测量（FPP）的测量性能，人们开发了多种先进的FPP方法，每种方法都采用了独特的相位获取方式，从而导致不同的相位包裹形式。因此，这些方法针对条纹图案的投影、捕获和处理采用了定制策略。代表性技术包括傅里叶变换轮廓测量（FTP）[6]、[7]，它从单张条纹图像计算相位包裹；相位移动轮廓测量（PSP）[8]因其更高的精度和强大的相位恢复能力而被更广泛采用；莫尔条纹轮廓测量（MP）[9]通过定量分析干涉图案（莫尔条纹）来重建相位包裹；计算机生成莫尔条纹轮廓测量（CGMP）[10]、[11]实现了对参考光栅的精确数字控制，从而提高了测量精度；调制测量轮廓测量（MMP）[12]、[13]则侧重于分析投影条纹图案中的调制波动，这种现象归因于目标物体的表面地形变化。为了提高测量精度，MMP通常与相位移动技术结合使用。相位差分轮廓测量（PDP）[14]利用数论时间相位解包（TPU）算法[15]计算相位移动后的变形图案，为高速3D表面重建提供了计算效率高且鲁棒的解决方案。此外，还存在基于经验模态分解（EMD）[16]、视频投影[17]等其他轮廓测量技术，但此处不再详细讨论。

典型的双目复合条纹投影轮廓测量系统由一个投影仪和两个相机组成，如图1所示。投影仪将单一复合条纹图案投射到目标物体上，两个相机同时捕获变形后的图案。通过相位包裹恢复、绝对相位恢复和立体匹配过程，实现目标物体的3D重建。已有大量研究将传统FPP转化为双目FPP，其中投影仪被视为“反向相机”[18]、[19]、[20]。

相位包裹恢复和绝对相位恢复是3D形状测量的关键技术[21]。由于反正切运算，傅里叶变换轮廓测量（FTP）和相位移动轮廓测量（PSP）获得的相位被限制在（?π, π]区间内，呈现包裹形式。因此，必须使用相位解包（PU）技术将这种包裹相位转换为连续相位信息。传统的相位解包算法可分为两大类：空间相位解包（SPU）和时间相位解包（TPU）。关于这一主题有许多高质量的综述文章，包括钟的综合性综述[22]。已经提出了许多SPU方法，如二进制编码SPU[23]、帘幕型SPU[24]、菱形SPU[25]、质量引导SPU[26]、分支切割SPU[27]、点对点SPU[28]等。SPU可以在没有额外空间或时间限制的情况下恢复绝对相位，但仅适用于表面平滑或连续变化的物体。相比之下，TPU可以在像素级别独立恢复绝对相位，并有效避免误差传递。同样，也提出了许多与TPU相关的方法，如灰度编码TPU[29]、多频率TPU[30]、多波长TPU[31]、相位移动编码TPU[32]、幅度编码TPU[33]、空间三元相位编码TPU[34]、相位移动编码分频复用TPU[35]、多级灰度编码TPU[36]、相位强度混合编码TPU[37]、空间对称多级编码[38]等。

长期以来，提高FPP的效率和准确性一直是该领域的重点。将条纹投影与深度学习结合用于3D重建被认为是一种潜在的方法，这一研究始于2019年初，当时采用方法将捕获的条纹图案转换为深度图[39]或中间输出[40]、[41]、[42]。随后，许多研究致力于利用各种网络输入[42]、[43]、[44]和不同的网络架构[45]、[46]、[47]、[48]来改进FPP的性能。最近，单次拍摄3D形状测量成为该研究领域的热门话题。秦等人[49]引入了一种基于深度学习的轮廓测量方法，该方法将相位移动理论与条纹恢复网络相结合，旨在实现单次拍摄投影，从而满足动态测量场景中的实时性和鲁棒性要求。钟等人[50]提出了一种多任务学习方法，旨在提高单次拍摄条纹投影轮廓测量得到的深度重建的精度和鲁棒性。这种方法有效避免了繁琐的显式成像系统校准需求。因此，神经网络的输入逐渐从多个条纹图案或其他中间结果转变为彩色复合条纹图案[51]、[52]、[53]、[54]、[55]、[56]、[57]。然而，正如Nguyen等人[52]、[54]所指出的，使用彩色复合条纹的方法通常不适用于具有鲜艳红、绿、蓝颜色的物体，这限制了该方法在工业领域的应用。

幸运的是，一些研究人员将研究重点转向了测量彩色物体的挑战。范等人[58]指出，彩色物体的表面显著影响结构光的颜色成分，这可能导致解码过程中的颜色变化，从而引入较大误差。为了解决这个问题，他们提出了一种用于编码和解码结构光的颜色灰度编码，并引入了一种获取结构光颜色成分的技术。随后，刘等人[59]、[60]、[61]、[62]证实不同颜色具有不同的反射率，会吸收不同波长的投影光，这导致使用单色光投影时捕获的条纹亮度和对比度不均匀，从而引入测量误差。朱等人[63]提出了一种强度校正方法，用于纠正来自彩色物体的非正弦条纹，从而提高3D测量的精度。冉等人[36]提出了一种基于HSI颜色空间的灰度编码解码方法，以增强系统对颜色干扰的抵抗力。最近，姚等人[64]指出，在测量具有复杂纹理的物体时，FPP的精度会显著下降，尤其是在不同颜色交界处。他们提出了一种利用双投影仪结构的高度补偿方法来纠正误差。陈等人[65]还观察到，投影图案的蓝色色调会降低蓝色区域的条纹对比度，并证明基于深度学习的频率复用复合条纹投影轮廓测量技术具有准确测量彩色物体的潜力。

受到频率复用和深度学习有效性的启发，本文提出了一种革命性的抗颜色干扰单次拍摄3D重建方法（AIS3DRM），用于彩色物体。该方法结合了HCFP和DCSA-Net来预测高精度的条纹图像。与[66]中提出的双目复合灰度条纹投影轮廓测量方法相比，本文进一步改进了测量彩色物体的方法。我们提出的DCSA-Net基于U-Net，集成了SFFABs和ATF。SFFABs通过并行分支动态调整特征权重，以确保在不同物体纹理和颜色下的鲁棒性能。ATF通过对抗训练优化输出保真度，消除由不同颜色反射率引起的不均匀灰度分布。

本文的其余部分安排如下：第2节介绍该方法的一些原理，特别是AIS3DRM的详细原理；第3节展示我们的实验结果；第4节总结全文。

章节片段

类Haar复合条纹投影的原理

Haar变换是一种常用的信号和图像处理数学运算。在Haar变换中，正弦波形根据其与零线的交点进行分割。具体来说，波形分为两部分：零线以上的部分记录为1，零线以下的部分记录为?1。这一过程将正弦波形转换为简化的方波，便于编码转换。

实验设置

为了验证所提出方法的性能，我们构建了一个双目立体条纹投影轮廓测量（BFPP）系统，如图16所示。该系统包括两个单色Imaging Source DMK51BU02相机和一个Kadenlan V1i投影仪。相机的分辨率为1600 × 1200，投影仪的分辨率相同。网络训练实验在配备Intel Core i7-9700 CPU和NVIDIA GeForce RTX的台式机上进行。

结论与讨论

在这项工作中，我们提出了一种抗颜色干扰的单次拍摄3D重建方法（AIS3DRM）。该方法使用对物体颜色变化不敏感的类Haar复合条纹图案（HCFP）作为输入，输入到DCSA-Net中。该网络包括一个三阶段的一对三网络，分别用于预测高质量的HCFP图像、TFPM方法所需的三频率图像以及TFPM方法所需的12个相位移动图像。

CRediT作者贡献声明

林俊毅：资源获取、方法论、资金申请、概念构思。李玉鹏：撰写——初稿、软件开发、调查。窦琦：撰写——审阅与编辑、撰写——初稿、验证、软件开发。黄长标：撰写——审阅与编辑、软件开发、方法论。刘华：撰写——审阅与编辑、验证、软件开发。卢平：撰写——审阅与编辑、方法论、形式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

中国厦门自然科学基金（3502Z20227201）；中国福建省工业引领计划（2017H0019）。