在条纹投影轮廓测量技术中，针对高反射表面的频率引导条纹恢复方法

《Optics and Lasers in Engineering》：Frequency-guided fringe restoration for highly reflective surfaces in fringe projection profilometry

　　•FFG-Net能够恢复严重退化的条纹，用于反射表面的3D测量。•FSB利用振幅谱自适应地重新校准深度特征通道。•恢复的条纹可以提高相位恢复的准确性和3D重建的完整性。

引言
三维（3D）光学测量方法是精密制造、智能质量控制和遗产保护的基础[[1]，[2]，[3]]。在 Active Structured Light 技术中，条纹投影轮廓测量（FPP）是一类基于三角测量的方法，它将已知的周期性图案投影到目标上，并从捕获的条纹的相位调制中检索表面几何形状[[4]，[5]，[6]，[7]，[8]]。其历史发展可以追溯到投影莫尔条纹地形测量，其中表面轮廓由投影光栅和参考光栅之间的干涉来编码[[9]]。后续的两个里程碑确立了现代 FPP 中使用的主要相位恢复方法：傅里叶变换轮廓测量（FTP），它通过隔离空间载波谱来实现单帧相位提取[[10]；以及相位测量或相位移动轮廓测量，它通过具有预定相位移动的正弦图案序列来估计相位[[11]]。随着数字投影、图像传感和计算处理的进步，FPP 发展成了一个多样化的技术家族，在采集速度、相位精度、空间带宽和系统复杂性之间做出了不同的权衡[[7,8]]。除了经典的 FTP、相位移动轮廓测量（PSP）和莫尔条纹轮廓测量（MP）之外，代表性的扩展还包括计算机生成莫尔条纹轮廓测量（CGMP）[[12]]、计算机生成频率载波莫尔条纹轮廓测量（CGFCMP）[[13]]、调制测量轮廓测量（MMP）[[14]]、相位差分轮廓测量（PDP）[[15]]和复合光栅相位测量轮廓测量（CGPMP）[[16]]。基于经验模态分解的轮廓测量已被引入，用于非平稳或宽带条纹信号的自适应分析[[17]]，而视频投影策略则提高了实时测量的时间性能[[18]]。最近，基于深度学习的轮廓测量实现了光学退化测量的学习性条纹恢复和概率推断[[19]]，[20]]，[21]]。因此，FPP 和 PSP 描述了测量框架的不同层次：FPP 表示完整的投影、图像采集、相位恢复、相位解包、校准和三角测量流程，而 PSP 是 FPP 中的一种时间相位解调策略。PSP 从至少三个具有已知相位偏移的正弦条纹图像中逐像素恢复包裹的相位，通常比单帧空间载波方法提供更高的相位精度和更好的噪声容忍度，但需要额外的采集[[22]]，[23]]。由于基于反正切的相位解调将恢复的相位限制在主要区间（-π, π）内，因此需要相位解包来确定整数条纹阶数并恢复明确的绝对相位。现有的 FPP 相位解包方法可以大致分为空间相位解包（SPU）和时间相位解包（TPU）[[24]]，[25]]，[26]]。SPU 从单个包裹相位图中相邻像素估计条纹阶数，因此不需要额外的投影图案[[27]]。代表性的方法包括基于质量的 SPU，它从高可靠性区域到低可靠性区域解包像素[[28]]；分支切割 SPU，它检测相位残差并放置切割以防止不一致的积分路径[[29]]；菱形型 SPU，它使用菱形邻域重新组织局部传播[[30]]；帘幕型 SPU，它通过分段的空间区域控制相位传播[[31]]；以及多锚点双向定位和抑制 SPU，它在前后方向上交叉验证条纹阶数估计以抑制残差误差的传播[[32]]。尽管 SPU 在采集效率上很高，但其对空间连续性的依赖可能导致在突然的不连续性、低质量区域和断开组件附近出现误差传播或歧义。相比之下，TPU 从一系列时间编码的图案中确定每个像素的条纹阶数，因此更适合不连续或空间隔离的表面，尽管通常需要额外的采集[[24]]，[25]]，[26]]。Gray-code TPU 用一系列二进制反射码字表示条纹阶数[[33]]。多波长外差 TPU 通过附近条纹频率之间的相位差合成扩展的等效波长，而分层多频率 TPU 递归地使用较低频率的相位来解包逐渐较高的频率[[24]]，[25]]，[26]]。其他代表性的编码策略包括条纹幅度编码，它将条纹阶数提示嵌入到相位移动图案的调制幅度中[[34]]；二进制编码，它通过二进制强度状态表示条纹阶数[[35]]；相位编码，它在相位域中嵌入码字[[36]]；以及相位移动编码，它为不同的条纹周期分配预定的相位移动作为阶数提示[[37]]。这些发展在解包可靠性、图案数量、编码范围、噪声敏感性和测量速度之间提供了不同的权衡。

在绝对相位恢复之后，需要进行相位到高度或相位到坐标的映射，以将相位信息转换为度量三维几何形状。现有的方法可以大致分为基于校准的直接映射和基于几何模型的映射。直接映射方法建立了一个逐像素的查找表或确定绝对相位和已知参考平面高度之间的拟合关系，从而将系统非线性和光学畸变纳入校准映射中[[38]]，[39]]。基于几何模型的方法则将相机和投影仪校准为一个立体视觉系统，使用绝对相位建立相机-投影仪像素对应关系，并通过三角测量恢复三维坐标[[40]]。这些方法在校准复杂性、模型可解释性和对系统非理想性的敏感性之间提供了不同的权衡。无论选择哪种映射策略，准确的三维重建最终都取决于捕获的条纹的质量以及提供给映射阶段的绝对相位的可靠性。尽管 FPP 非常有效，但在测量高反射表面时仍面临重大挑战，因为镜面反射可能会使捕获的条纹饱和并导致相位误差或不完整的 3D 重建[[41]]。现有的解决方案包括多次曝光融合[[42]]，[43]]，[44]]、自适应投影[[45]]，[46]]，[47]]，以及基于偏振的方法[[48]]，[49]]，[50]]。其他代表性的方法包括基于在线测量的重建，它融合了在不同物体位置获取的有效轮廓[[51]]；光度立体辅助 FPP，它用表面法线信息补充基于条纹的深度[[52]]；互补相位差分轮廓测量，它使用互补图案来抑制饱和引起的误差[[53]]；双阈值细胞自动机处理，它在非均匀反射率下纠正条纹阶数误差[[54]]；以及改进的空间分箱，它扩展了有效强度范围并提高了单次曝光测量的信噪比[[55]]。尽管这些方法有效，但它们可能需要多次采集、物体运动、辅助照明或图案、专用硬件，或者在空间分辨率上做出妥协，这促使了数据驱动的单帧条纹恢复。最近，深度学习已被应用于高动态范围相位恢复[[56]]、条纹采集[[57]]和数字孪生驱动的 FPP[[58]]，通常使用 U-Net 风格的编码器-解码器架构[[59]]。对于高反射表面，已经开发了基于学习的方法来恢复退化或缺失的条纹信息[[60]]，[61]]或直接从单条纹图像中推断深度[[62]]。尽管有这些进步，许多现有方法仍然主要将条纹恢复表述为通用的空间域图像到图像的转换或直接相位/深度回归。这样的表述没有明确建模频域中条纹的周期性连续性和方向性，而这对于保持相位完整性尤为重要。谱信息的物理相关性在基于二进制光栅的相位测量轮廓测量中显而易见，其中长期以来一直利用条纹频率特性进行条纹生成和相位恢复[[63]]，[64]]。最近，频域信息也被纳入基于学习的恢复中：FaNIC-Net 将 DFT/IDFT 操作嵌入到频率感知的多尺度卷积中，以从高反射物体中恢复条纹[[65]]，而 FDCGAN 为过度曝光的条纹引入了傅里叶幅度和高频损失[[66]]。为了将这种谱先验转化为高效的恢复策略，我们开发了 FFG-Net，这是一个紧凑的网络，它将频率引导的恢复集中在一个轻量级的瓶颈模块中。FSB 不是选择固定的傅里叶分量，而是将通道级的振幅谱转换为依赖于输入的权重，同时增强具有相干条纹周期性的特征并减弱反射引起的干扰。FFG-Net 经过训练后，可以恢复单个帧，以便直接与标准的三频四步相位恢复和 3D 重建集成。在合成数字孪生和实际工件上的实验表明，在严重镜面退化下，相位误差更低，重建不连续性更少，点云更完整。

片段
条纹投影轮廓测量（FPP）是一种广泛采用的主动光学 3D 测量技术。目标物体的几何地形调制了相机捕获的投影条纹图案。通过从这些变形的图案中检索相位信息，可以建立相机和投影仪之间的像素级对应关系，从而重建 3D 空间坐标。在本研究中，使用了一种三频四步相位移动算法进行相位恢复。

网络结构
为了在严重的高光损坏下重建高保真度的条纹图案，我们提出了一个基于对称编码器-解码器架构的条纹频率引导网络（FFG-Net）。以经典的 U-Net 作为结构基础，该框架通过长跳跃连接聚合空间细节和深度语义特征。与通用的自然纹理不同，结构化光条纹图案表现出明显的条纹周期性和空间方向性。由于镜面反射

虚拟数据集
为了训练 FFG-Net，需要一个包含高反射退化条纹和理想漫反射参考的全面配对数据集，这些数据集在相同的几何视角下获取。鉴于在实际镜面物体上隔离无反射参考标签的物理挑战，同时保持精确的空间对齐，使用计算机图形软件 Blender 构建了 FPP 系统的虚拟数字孪生。如图 4(a) 所示，虚拟设置再现了精确的

二维度量分析
为了评估 FFG-Net 在重建镜面损坏区域的保真度，首先在虚拟测试分区上进行了定性和定量实验。图 6 可视化了不同样本拓扑的比较结果，其中图 6(a1)–6(e1) 显示了退化的输入，图 6(a2)–6(e2) 表示 FFG-Net 的输出，图 6(a3)–6(e3) 描述了相应的真实参考。未校正的输入显示出严重的饱和高光、局部

讨论
实验结果表明，FFG-Net 有效地恢复了反射退化的条纹，并改善了随后的相位恢复和 3D 重建，证实了频域特征引导在保持条纹完整性方面的有效性。然而，该方法的泛化仍然受到训练数据分布的影响。FSB 不针对预定义的条纹频率或固定的频率带。相反，它根据频域振幅响应动态调整通道权重，并强调与相干条纹结构相关的特征。

结论
本文提出了 FFG-Net，用于恢复在高反射表面上因饱和、对比度衰减和局部信息丢失而退化的条纹图案。在瓶颈处引入了一个轻量级的频率选择块，以从频域振幅响应中得出通道权重，并强调与相干条纹结构相关的特征。恢复的条纹可以直接整合到标准的三频四步相位移动、相位解包中。

CRediT 作者贡献声明
邱志峰：撰写——原始草案。
钟建峰：撰写——审阅与编辑，资金获取。
舒胜成：形式分析。
刘东明：调查。
李梦伟：软件。
郭浩阳：数据管理。
钟建华：资金获取。
张青：资金获取。
钟顺聪：资金获取。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能影响本文报告的工作。

致谢
作者衷心感谢中国国家自然科学基金（52275523，52275096）、福建省重大科学技术项目（2022HZ024005）、福建省关键技术创新项目（2022G02030）、龙岩市新罗区机械装备产业簇的科学技术任务特别计划（2024N0077）、福建省自然科学创新青年科学基金项目的支持。