FESS-3D：基于目标前景增强的一次性条纹投影3D重建技术

《Pattern Recognition》：FESS-3D: Target foreground enhancement single-shot fringe projection 3D reconstruction

　　李一鸣|李子楠|梁晓军|陈伟康|刘聪|张超波|王晓浩|桂伟华|高文|李兴辉•我们确定了三个对深度学习驱动的单次拍摄条纹投影轮廓测量3D技术精度有重要影响的场景要素：阴影、背景和前景，并揭示了非目标因素如何干扰网络在3D重建中对目标物体的聚焦。•我们提出了一种新的基于前景增强的一帧3D重建方法（FE-SS3D）。该方法采用无阴影掩码损失函数和梯度引导的Y形网络，分别减少阴影和背景的干扰。•我们构建了一个真实的FPP3D系统，该系统在标准球体、金属工件以及复杂物体的单帧重建精度上优于现有的先进网络，从而能够实现精确的实际应用。•我们设计了多种绝对相位恢复方案，以满足实际应用中对于精度和速度的不同需求，这有助于推动SS-FPP3D的广泛应用。引言高度精确且快速的3D信息获取对于推动工业生产的发展至关重要，比如机器人、无人驾驶车辆、机械臂、模型重建、姿态识别、工业检测等领域[1]、[2]。条纹投影轮廓测量是一种空间结构光3D重建技术（FPP3D），因其速度快、精度高且为非接触式而备受重视[3]、[4]。典型的FPP系统包括投影仪、相机以及计算单元。投影仪向物体投射带有编码相位的条纹图案，相机则捕捉到包含高度信息的变形条纹图像。经过相位解调和解缠处理后，借助系统校准参数即可重建3D数据。单次拍摄FPP3D（SS-FPP3D）因能大幅缩短投影时间并提高生产效率而受到广泛关注。具有空间相位解缠功能的傅里叶变换轮廓测量技术是SS-FPP3D的一种典型代表。该技术将变形的条纹图案转换到频域以过滤噪声，再通过逆傅里叶变换恢复相位，虽然速度快，但精度较低。空间相位解缠技术通过局部或全局优化相邻像素来解缠相位，但在处理不连续性和突变时存在困难。由于依赖有限的输入数据，FTP+SPU无法充分纠正由相机噪声、投影仪失焦以及环境光变化等因素引起的误差，较低的精度进一步限制了其实际应用。近年来，深度学习在SS-FPP3D领域展现出了巨大的潜力和优势，例如条纹去噪、相位解缠、相位恢复以及深度重建等。尤其是MSUnet++ [5]、UNet++ [6]、PDE [7]、PUMNet [8]和UNet [9]这类U形回归网络，在SS-FPP3D中具备了强大的特征提取与融合能力。高效的架构设计以及数据驱动策略推动了SS-FPP3D的快速发展。基于深度学习的SS-FPP3D流程主要分为两种类型：(1)分子/分母预测（F2ND），该方法结合传统方法用于后续处理；(2)端到端的绝对相位/深度预测（E2E），无需额外步骤。F2ND流程往往会导致相位预测误差以及点云截断现象[10]。虽然增加额外的输入光栅或传统计算步骤可以提高精度，但会增加计算时间和复杂性。E2E虽然能以更高的效率预测绝对相位或深度图，但其精度仍低于F2ND。总体而言，这两种流程在3D重建的像素级精度方面都存在不足，尤其是在实际应用中。其中一个主要挑战在于，由于数据集构建成本高昂，主流的FPP数据集仅包含大约1000个样本，这就限制了大型网络的预测能力。在数据集规模较小的情况下，单幅输入图像中与目标物体无关的区域会干扰或削弱网络的表达能力。例如，阴影会导致相位噪声，妨碍网络的特征提取，而这在光学3D测量中是难以避免的。另一个重要的背景因素是前景物体背后的背景区域，如白色背景板，它会分散网络对目标的注意力。此外，仅凭一个输入，网络很难判断暗区是由阴影还是条纹的正弦波动造成的。阴影和背景对网络的干扰会影响目标物体的高精度表达。通过网络设计来抑制阴影和背景区域的负面影响是一项具有挑战性的任务。据我们所知，相关研究还比较少。为了解决这一难题，我们设计了能够逐步增强对单次拍摄输入中前景物体关注度的网络结构。如图1(a)所示，我们通过将输入光栅划分为三个独立的部分——阴影区域、非黑色背景（如白色平面）以及目标前景物体——来定义一种新的场景结构。此外，我们还提出了基于前景增强的FPP3D技术（FESS-3D），该技术结合了无阴影损失函数、Y形网络以及梯度解码器。无阴影损失函数可以防止阴影区域产生的高噪声输出影响网络的梯度下降过程，从而使网络能够专注于非阴影区域。在Y形网络中，编码器用于提取上下文特征，而主编码器则负责预测绝对相位/分子/分母输出。它能够在梯度编码器提供的前景相位梯度注意力图的引导下，增强主解码器对前景的关注度，同时降低其对背景的关注度。逐步抑制阴影和背景影响的能力依赖于准确的区域定位。对于阴影的定位，我们采用了循环相位偏移差分法，根据低调制特性和相位偏移特征来准确识别阴影。而对于背景，我们则通过基于目标前景物体与背景白板之间的3D轮廓差异，应用绝对相位梯度减法来增强前景特征。FESS-3D的最大优势在于其为单次拍摄FPP3D设计了具备场景感知能力的前景增强机制。与那些将所有像素一视同仁处理的通用相位回归网络不同，FESS-3D明确考虑了阴影、背景和前景区域。这样的设计使得网络能够有效抑制无效的阴影影响，更集中地关注目标前景，从而为基于学习的SS-FPP3D提供了面向任务的重建框架。我们的贡献如下：1.首次将深度学习驱动的SS-FPP3D精度较低的问题归因于场景构成，并确定了三个关键的场景要素：阴影、背景和前景。2.通过使用无阴影掩码损失函数来消除阴影的负面影响，以及利用梯度引导的Y形网络来减弱非前景区域的干扰，使得主编码器能够更加精准且重点地关注前景目标物体。3.除了在公共数据集上的验证之外，我们还基于FESS-3D构建了一个真实的3D测量系统。该系统在标准球体、金属工件以及复杂物体的单帧重建精度上均优于现有的先进网络。4.我们设计了多种绝对相位恢复路径（F2ND/E2E），为系统在现实场景中提供更多灵活的精度和速度选择，这将有助于推动SS-FPP3D的广泛应用和发展。章节节选基于深度学习的单次拍摄FPP3D在FPP3D真实值构建中，标准N步相位偏移技术[11]（NS-PS）与时间相位解缠技术（MF-TPU）[10]的结合被广泛使用。绝对相位恢复的物理过程包括三个阶段：从条纹图案到分子/分母（N/D）、相位调制（W）以及相位解缠（PU）。在F2ND中，W和PU阶段仍然采用传统方法。而在E2E模式下，从单次拍摄的光栅到最终结果之间没有其他额外的计算过程。方法图1(b)展示了FESS-3D的系统结构图。在实际测量过程中，整个系统仅接收一个光栅作为输入。主编码器负责提取光栅特征，而主解码器则负责恢复相位信息。梯度引导的前景增强模块通过梯度差异物体增强技术利用梯度注意力图来提升对前景的关注度。对于GDOE模块而言，其输入为绝对相位真实值。实验通过采用F2ND和E2E两种方法，结合公共数据集以及我们自行构建的3D重建系统，对FE-SS3D在现实应用中的精度、消融实验效果以及泛化性能进行了验证。结果与分析在本节中，我们分析了基于FE-SS3D的E2E和F2ND两种方法的优缺点，并评估了它们在工业零件检测中的应用中的精度和实际性能。结论与讨论为了解决由于数据集规模较小以及输入信息不足导致的3D点云重建质量不佳的问题，我们提出了基于前景增强的单次拍摄FPP 3D重建技术及系统（FE-SS3D）。该技术通过最大化条纹场景的有效信息熵，将场景分解为阴影、背景和前景三种元素。我们通过设计无阴影掩码损失函数来减轻阴影噪声对前景预测的负面影响。CRediT作者贡献说明李一鸣：撰写——初稿、验证、方法论、研究分析、概念构思。李子楠：软件开发、数据整理。梁晓军：软件开发、研究分析、资金筹集。陈伟康：数据整理。刘聪：研究分析。张超波：方法论研究。王晓浩：监督指导、资金筹集。桂伟华：监督指导、资金筹集。高文：资金筹集。李兴辉：可视化处理、资源协调、资金筹集。利益冲突声明作者声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢本研究部分得到了广东省科技计划项目（项目编号2024B0101010003）、鹏城实验室重大关键项目PCL2025A13以及中国深圳市稳定支持计划（项目编号WDZC20200820200655001）的支持。李一鸣是中国深圳鹏城实验室的助理研究员，她拥有清华大学博士学位，研究兴趣包括光学传感、智能精密3D测量以及计算机视觉领域。