《Optics & Laser Technology》：A centerline extraction method for laser stripes with geometric discontinuous profiles based on physics-conditioned generative adversarial networks
编辑推荐：
``摘要为了解决具有几何不连续性的激光条纹中心线提取精度下降的问题，提出了一种改进的中心线提取方法，该方法结合了基于物理条件的生成对抗网络（pc-GAN）的轮廓分割和几何分解技术。首先，分析了在曲率不连续处精度下降的原因，并建立了强度分布模型和混合噪声分布模型来描述激光条纹的特征
``
摘要
为了解决具有几何不连续性的激光条纹中心线提取精度下降的问题，提出了一种改进的中心线提取方法，该方法结合了基于物理条件的生成对抗网络（pc-GAN）的轮廓分割和几何分解技术。首先，分析了在曲率不连续处精度下降的原因，并建立了强度分布模型和混合噪声分布模型来描述激光条纹的特征。其次，利用高斯-泊松混合噪声分布作为pc-GAN的约束，对具有复杂轮廓的激光条纹进行分割，并根据预测的拐点概率图进一步将激光条纹分解为几何基本元素。然后，基于线结构光成像机制开发了一个数据仿真算法，并结合真实数据构建了一个半物理数据集。实验结果表明，与现有网络相比，所提出的网络在IoU上提高了2.42%，在RMSE上降低了0.037%，使复杂轮廓的重建精度提高了3.43倍。在PCB检测应用中，其峰谷标准差为2.67μm。
引言
基于激光三角测量的线结构光3D测量技术已广泛应用于轨道交通、工业制造和航空航天领域[1],[2]，而激光中心线提取的精度是影响传感器测量精度的核心问题[3]。常见的中心线提取方法主要包括灰度质心法[4],[5]和Steger方法。与灰度质心法相比，Steger方法由于对噪声的鲁棒性和提取精度更高，因此在复杂的工业制造场景中得到了更广泛的应用。
在实际应用中，例如，激光条纹在V型凹槽、台阶或焊缝处往往表现出复杂的几何轮廓。针对复杂轮廓的中心线提取研究可以归为两类：一方面，需要区分由高反射表面多次反射以及物体边界附近的干扰造成的伪影与真实的激光条纹[6],[7]。传统方法依赖于基于阈值的分割技术，而最近的研究越来越多地采用神经网络。语义分割[8],[9],[10]结合Steger方法有效抑制了非均匀散射和反射表面的干扰，多类分割[11],[12]进一步解决了复合干扰问题。另一方面，条纹的固有特性（尤其是宽度和曲率）显著影响中心线提取精度。传统的Steger方法通常假设条纹宽度固定且为直线，这使得对复杂轮廓的提取精度下降。对于宽度变化[13],[14],[15]，采用了条纹宽度估计和多区域自适应滤波器来提高非均匀宽度激光条纹的中心线提取精度；对于曲率变化[16],[17],[18]，提出了多尺度各向异性高斯核、曲率偏差校正和定向场估计等方法来提高弯曲条纹中心线的提取精度。
然而，这些方法未能充分解决曲率不连续处的中心线提取问题。根据尺度空间理论，相邻表面在这些不连续处的响应会相互干扰，从而降低中心线提取精度。为了保持精度，一些研究[19],[20]避免了在这些空间相关区域进行中心线提取，但这不可避免地会导致点云缺失，并且需要对这些区域进行精确定位。因此，基于神经网络的空间相关区域预测技术使得复杂轮廓可以被分解为几何基本元素（如直线和弧线），然后分别提取它们的中心线，以减轻曲率不连续性引起的误差。现有的中心线提取网络[21],[22],[23]通常需要数千张标注图像，使得数据集构建耗时且标注质量高度依赖经验。此外，线结构光样本的稀缺性限制了数据多样性及模型的泛化能力[24]。尽管语义分割网络能够学习抑制语义结构干扰，但现有网络并没有明确将非语义随机成像噪声的统计特性纳入训练中。这种不可避免的随机噪声可能会降低它们的分割性能，而噪声样本的有限性使得难以覆盖多样的噪声水平和分布。因此，当实际测量条件下的噪声分布与训练数据不同时，分割性能和后续的中心线提取精度可能会下降[25]。因此，需要将随机成像噪声的统计特性纳入网络训练中。
为了解决上述问题，提出了一种基于物理条件生成对抗网络（pc-GAN）的中心线提取方法。首先，分析了曲率不连续处中心线提取精度的下降原因，并建立了激光条纹的强度和混合噪声分布模型。接着，构建了结合高斯-泊松混合噪声分布的pc-GAN，用于生成激光条纹分割的拐点概率图。最后，构建了一个实验原型，并构建了一个包含不同复杂轮廓表面的半物理数据集，然后讨论了该网络的分割性能和激光条纹的中心线提取精度。
章节片段
原理与建模
激光线测量系统基于激光束直线投影结构设计。深度信息是根据相机针孔成像模型计算得出的，使用激光能量分布和混合泊松-高斯噪声模型来描述成像物理过程。
网络框架概述
我们设计了一个如图4所示的基于物理条件的生成对抗网络。该网络采用了条件GAN结构[27]，通过引入混合噪声条件，增强了网络的鲁棒性和泛化能力。生成器基于一个多任务U形网络，同时执行轮廓分割和复杂几何分解。生成器的预测结果与物理信息一起输入到鉴别器中。
半物理数据集的生成与构建
在传统的数据集构建中，通常需要大量的真实Ground Truth样本。收集和标注大量复杂的激光轮廓非常耗时，因此采用了合成噪声图像和真实噪声图像共同训练pc-GAN。
实验原型的建立
为了评估我们提出的方法的效果，设计并建立了一个激光线轮廓测量原型，如图8所示。激光源为波长为405nm、输出功率为10mW的激光线模块。成像模块由CMOS（MER2-2000-19U3C，Daheng成像）组成，像素大小为2.4μm×2.4μm，分辨率为5496像素×3672像素；镜头（ML-MC3518XR-18C，Moritex）的焦距为35mm。
结论
本文提出了一种基于物理条件生成对抗网络（pc-GAN）的中心线提取方法，该方法结合了轮廓分割和几何分解，以提高对复杂轮廓的适应性，并构建了一个半物理激光条纹数据集以解决线结构光测量中的样本稀缺问题。首先，分析了曲率不连续处中心线提取精度的下降原因，并建立了混合噪声分布模型来描述能量和噪声特性
CRediT作者贡献声明
Zhihao Huang：撰写原始稿件、项目管理、方法论制定、数据整理。Junzhe Zhou：验证、数据整理。Zhuojiang Nan：撰写与编辑、方法论制定、资金筹集、概念构思。Chenbo Gong：软件开发、数据整理。Wei Tao：监督。
利益冲突声明
作者声明没有已知的利益冲突或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国国家自然科学基金的支持，项目编号为52505608。
Zhihao Huang|Junzhe Zhou|Zhuojiang Nan|Chenbo Gong|Wei Tao
```
