《Optics and Lasers in Engineering》:Modeling and Denoising Methods for Real Physical Noise in Structured Light 3D Measurement
编辑推荐:
•基于物理原理的WGAN-GP模型可处理结构光系统中的真实非高斯噪声。•相位一致性损失函数能够保持条纹连续性及微观纹理特征。•与基于高斯分布训练的深度网络相比,该模型可使相位均方根误差降低约55%。•经该模型处理的铣削表面3D重建结果与白光干涉测量结果高度一致。•该模型架起了合成
- •
基于物理原理的WGAN-GP模型可处理结构光系统中的真实非高斯噪声。
- •
相位一致性损失函数能够保持条纹连续性及微观纹理特征。
- •
与基于高斯分布训练的深度网络相比,该模型可使相位均方根误差降低约55%。
- •
经该模型处理的铣削表面3D重建结果与白光干涉测量结果高度一致。
- •
该模型架起了合成模拟与实际光学计量之间的桥梁。
引言
三维表面测量技术,尤其是以条纹投影轮廓法为核心的结构光技术,因其非接触、高精度以及全场测量的优势,在智能制造、精密加工和光学计量领域得到了广泛应用[[1], [2], [3]]。其中,相移轮廓法通过分析物体表面反射条纹的变形来获取相位信息,进而基于这些相位信息重建三维点云数据[4,5]。可直接从这些点云数据计算出表面形貌参数,从而快速评估加工表面的质量。然而,在测量具有复杂微观结构或高反射率金属表面的物体时,系统的测量精度往往会受到多种物理噪声的影响。这些噪声来源包括光子散粒噪声、读出噪声、热噪声、表面散射、镜头失焦以及投影仪的伽马非线性等因素[[6], [7], [8]]。这些物理噪声与成像伪影的叠加会破坏相移算法所依赖的正弦假设,从而导致相位提取错误,进而降低三维形貌重建的精度。虽然传统的滤波方法——包括空间高斯平滑和基于窗函数的傅里叶变换滤波[9,10]——能够在一定程度上减轻噪声影响,但其固有的低通特性往往会导致重要表面细节的丢失。对于精密加工部件而言,表面微观形貌参数(如粗糙度和纹理方向)是影响其耐磨性和疲劳寿命等表面质量特性的关键因素[11,12]。因此,在使用相移轮廓法进行三维重建时,如何在有效抑制噪声的同时保留微米级的高频纹理特征,仍是一个亟待解决的难题[13]。
近年来,深度学习已被广泛应用于结构光三维测量领域,涉及条纹分析、超分辨率重建、相位恢复以及基于物理约束的神经网络构建等方面[[14], [15], [16], [17], [18], [19], [20], [21], [22]],第2节将对此进行详细综述。尽管已取得显著进展,但仍有两个相互关联的根本性局限促使了本研究的开展。首先,现有的方法大多是在简化的加性高斯噪声假设下训练的[26],而这种假设无法准确反映实际结构光系统中存在的空间相关、重尾型的物理噪声分布[24]。这种分布差异会导致模型将真实的物理噪声误认为是可学习的信号,从而大幅降低其在实际测量环境中的泛化能力。其次,现有方法是在像素强度域中进行监督优化,且没有施加相位连续性约束,这使得模型产生的结果在视觉上虽看似合理,但在物理上却存在矛盾——表现为条纹不连续和相位跳变,进而直接降低三维重建的精度。图1展示了这两个核心问题:实际物理噪声与理想高斯假设之间的差异,以及仅依靠像素级损失函数无法有效保持条纹结构的问题。
为解决上述问题,本文提出了一种基于物理原理的深度学习框架,该框架在两个层面融入了物理约束:噪声建模和目标函数设计。通过对比铣削表面三维形貌的重建结果,验证了该方法的有效性。在噪声建模层面,从实际结构光系统中采集物理噪声样本,并利用带有梯度惩罚的Wasserstein生成对抗网络(WGAN-GP)[25]来建模数据分布,从而构建出能够准确再现非高斯统计特征和空间纹理结构的物理噪声模型。这有助于缩小训练数据分布与实际测量过程中遇到的数据分布之间的差异。在优化目标函数设计方面,本文提出了一种以相位一致性为核心的复合损失函数。通过利用余弦距离计算相位差,优化目标从像素强度域下的重建精度转变为相位保持精度。这种方法能够在去噪过程中保留关键的条纹结构和相位特征。
本文的主要贡献如下:
- (1)
提出了一种基于真实物理噪声学习的 数据建模方法。通过WGAN-GP生成空间相关的非高斯噪声结构,从而减少合成数据与实际测量数据之间的分布差异;
- (2)
设计了一种以相位一致性为核心的复合损失函数,将网络优化目标从像素级别提升到物理相位级别,从而在去噪过程中保持条纹相位信息的完整性;
- (3)
与高斯滤波(r≈0.64)和传统深度学习方法(r≈0.59)相比,所提出的方法与白光干涉仪的外部参考标准之间的功率谱密度相关性更高(r≈0.90),这说明该方法能更好地保留FPP系统有效测量范围内的相对纹理和空间频率特征。
本文的结构如下:第2节回顾了有关结构光深度学习去噪、基于GAN的噪声建模以及基于扩散的图像恢复方法的相关研究;第3节详细阐述了所提方法的原理和技术框架;第4节介绍了实验设置和数据采集过程;第5节展示了实验结果并进行了分析;第6节探讨了该研究的意义、局限性以及未来发展方向。
章节要点
结构光三维测量与噪声降低
在结构光系统中,噪声并非源自单一的加性来源,而是由多种物理机制同时作用产生的。光子散粒噪声遵循泊松分布,其方差随信号强度变化,从而导致信号相关的异方差性。传感器读出噪声会带来一个基础性的加性分量,而投影仪的伽马非线性则会在条纹图案中产生系统性的谐波畸变[[6], [7], [8]]。表面散射还会进一步引入空间上的
所提出的方法
本文构建了一种用于铣削表面结构光三维测量的基于物理原理的深度学习框架,该框架由两个相互协作的部分组成。第一部分是基于真实物理环境的噪声建模与数据生成网络;第二部分则是专注于相位一致性的深度去噪网络。整个框架的结构如图2所示。
表面图像采集
不同物体表面的反射特性、微观结构尺度以及光散射行为,直接影响相机成像中的信噪比和条纹畸变模式。这些因素共同决定了噪声分布的真正来源。因此,对不同表面进行图像采集,不仅能够提升噪声建模的物理真实性,还能提高生成网络在未知表面上的泛化能力,避免出现
测量得到的三维形貌的重建
图11展示了在不同去噪方法下的三维重建结果,其中白光干涉仪的测量表面对应于每种去噪方法所重建表面上的目标区域。虽然高斯滤波能有效降低随机噪声,但它会过度平滑工具痕迹和沟槽等关键的高频细节,从而导致表面纹理特征的丢失。而传统深度学习方法由于存在较大差异
讨论
第5节中展示的相位域优势,可以通过频域功率谱密度分析从机理上进行解释。频域功率谱密度分析将空间平滑操作与测量带宽的保持联系起来。由于空间平滑操作对应着频域中功率谱能量分布的变化,因此通过功率谱密度分析可以了解各种算法在不同空间尺度上保持或抑制特征的能力。本文对功率谱密度进行了标准化处理
结论
本文提出了一种基于物理原理的深度学习框架,旨在解决现有结构光去噪方法存在的两个问题:即非物理的高斯噪声假设,以及忽略相位连续性的像素域损失函数。该框架采用加入了统计矩和功率谱密度约束的WGAN-GP模型,以从多种表面条纹序列中提取的真实物理噪声残差作为训练数据,从而构建出一个能够再现非高斯统计特性、空间相关性的噪声生成器
关于写作过程中生成式AI及AI辅助技术的声明
在撰写本文的过程中,作者们使用了AI工具来协助语言润色和内容呈现。在使用这些工具后,作者们对内容进行了必要的审核和修改,并对本文的科学内容、分析、解读及结论承担全部责任。
CRediT作者贡献说明
边梦轩:论文撰写——初稿撰写、验证、软件使用、方法设计、数据整理、概念构思。易淮安:论文撰写——审阅与编辑、指导监督、软件使用、资源协调、项目管理、资金申请、概念构思。孙佳琳:指导监督、软件使用、项目管理、数据调研、形式化分析。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。
致谢
本研究得到了广西壮族自治区自然科学基金的支持[项目编号:2025GXNSFAA069694]。
Mengxuan Bian|Huaian Yi|Jialin Sun