《Optics and Lasers in Engineering》：Single-shot high dynamic range 3D shape measurement based on speckle projection profilometry with a conditional diffusion multi-view stereo model
编辑推荐：
•可通过单次散斑投影轮廓测量技术获取高动态范围表面信息。•为避免局部最小值问题，提出了条件扩散模型以提升高动态范围测量的稳定性。•设计的强大特征提取模块可通过自适应感受野提升表面特征的表达能力。•研发了新型硬件，并构建了大规模多视角高动态范围表面数据集。•所提方法性能优于现有最先
- •
可通过单次散斑投影轮廓测量技术获取高动态范围表面信息。
- •
为避免局部最小值问题，提出了条件扩散模型以提升高动态范围测量的稳定性。
- •
设计的强大特征提取模块可通过自适应感受野提升表面特征的表达能力。
- •
研发了新型硬件，并构建了大规模多视角高动态范围表面数据集。
- •
所提方法性能优于现有最先进技术，可满足工业应用需求。
引言
光学3D测量技术凭借其高速、非接触且精度高的优点[1]、[2]、[3]，已被广泛应用于工业领域，包括生物医学应用[4]、物理计量[5]以及精密工程[6]等领域。
在工业光学测量任务中，由于散斑投影轮廓测量技术（SPP）和条纹投影轮廓测量技术（FPP）具有高密度和高精度的特点，因此被广泛用作基于主动光的光学表面测量方法[7]、[8]。与FPP相比，SPP的抗噪声能力更强，且能够通过单次拍摄即可测量复杂表面。然而，来自高动态范围（HDR）表面的图像[9]、[10]会因为被测物体的材质和形状差异[11]、[12]、光照条件变化[13]以及数字图像传感器的固有限制[14]而出现过曝和欠曝区域，如图1所示。这会导致图像数据完整性下降，进而降低测量的准确性和稳定性[10]、[11]。为解决这一问题，人们开发了多种先进的光学测量技术，这些技术主要可分为四类：多曝光融合技术[15]、[16]、[17]，自适应强度调整技术[9]、[18]、[19]，硬件辅助测量技术[20]、[21]，以及多视角测量技术[22]、[23]、[24]。多曝光融合技术虽能覆盖更宽的动态范围，但可能会引入运动伪影，同时增加测量时间和计算量。自适应强度调整技术可通过调节投影光强度来改善测量效果，但其实现难度较高。硬件辅助测量技术虽然能通过额外设备提升测量稳定性，却可能降低暗区域的信噪比。多视角测量技术则通过调整相机视角来避免捕捉到镜面反射，但缺乏高效的视角选择机制，且视角数量越多成本越高。
研究人员充分利用SPP和多视角技术的优势，将二者结合用于对高动态范围表面进行单次拍摄、高精度且信息完整的测量[22]、[24]、[25]。为提升多视角测量的效率，人们开发了大量端到端的匹配网络[26]、[27]、[28]、[29]、[30]。但这些方法未能解决高动态范围表面上感受野受限以及深度初始化错误等问题。受到可变形卷积技术在扩展自适应感受野方面的最新进展[31]、[32]，以及条件扩散模型在摆脱局部最小值约束方面的能力的启发[33]、[34]，我们提出了一种基于SPP并结合条件扩散多视角立体模型的新测量方法，该方法能够实现高动态范围表面的单次拍摄、快速、高精度且信息完整的测量。本文的主要贡献如下：
- 1)
我们提出了一种基于学习的、利用散斑投影轮廓测量技术实现高动态范围表面单次拍摄测量的方法。我们将基于立体结构的形状测量中的深度细化过程转化为条件扩散过程，并将其与多视角立体匹配相结合，以此提升高动态范围表面测量的准确性和稳定性。
- 2)
为实现高效精准的多视角测量，我们设计了条件扩散模型。该模型将匹配信息、图像上下文以及深度线索作为引导，从而在避免局部最小值问题的同时实现精确的深度生成。此外，我们还采用了经过卷积门控循环单元改进的2D U-Net结构，以提高去噪效率。
- 3)
我们设计了一个强大的多尺度特征提取模块，通过自适应感受野提升高动态范围表面的特征表达能力。该模块结合了可变形卷积技术与多尺度特征融合技术，能够在纹理线索受损或缺失的情况下实现更精准的局部密集匹配。
- 4)
我们构建了一个用于训练、验证和测试的高动态范围金属部件数据集，其中包含在不同曝光条件下采集的750个样本。该数据集涵盖了复杂的金属表面以及随机组成的零件组合。实验结果表明，所提方法的性能优于现有最先进技术，且能够满足工业领域的精度要求，各项消融实验也证明了其各组成部分的有效性。
本文的结构如下：第2节回顾相关研究，第3节详细介绍所提出的方法，第4节阐述实验结果及讨论内容，第5节则给出结论与未来研究方向。
章节要点
方法论
在本节中，我们将对所提出的方法进行详细说明。图2展示了该方法的整体工作流程。首先，我们使用一块标定板对多相机系统进行高精度的联合标定，以此确定系统的内部参数和外部参数。随后，在每个测量周期中，散斑投影仪会向所有四台相机发送同步的单一闪光灯脉冲。在固定且预先配置好的曝光条件下，每台相机仅捕获一帧图像。
硬件配置
如图6所示，该测量系统由四台采用中心对称布局排列的工业相机组成，每台相机都配备了8毫米镜头，分辨率可达1280×1024，同时还配备有光刻式散斑投影模块。这种布局降低了同一局部区域在所有视角下同时出现严重过曝或欠曝的可能性。在实际应用中，大多数区域至少在1–2个视角下仍能保留可用的散斑纹理，这有助于提升多视角测量的有效性。
结论
在本文中，我们提出了一种基于学习的、利用散斑投影轮廓测量技术实现高动态范围表面单次拍摄测量的方法。我们设计了一个结合了可变形卷积技术的强大多尺度特征提取模块，该模块能够在高动态范围区域的复杂环境下生成自适应感受野，进而提升特征表达能力。为实现精确的深度估计，我们首先在最粗略的尺度上生成粗略的深度图，随后的深度细化过程则被转化为条件扩散过程。
CRediT作者贡献说明
吴海涛：论文撰写——初稿编写、验证工作、软件开发、资源收集、方法设计、概念构思。 黄思明：方法设计、数据整理工作。 陈晓波：论文撰写——审阅与编辑、资金筹集工作。 习俊通：论文撰写——审阅与编辑、项目管理工作、资金筹集工作。
利益冲突声明
作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：习俊通表示曾获得中国国家自然科学基金的资金支持，同时也表示曾获得“先进船舶技术研究项目”的资金支持。其他作者则声明自己不存在任何可能影响本研究结果的已知财务利益或个人关系。
致谢
本研究得到了中国国家自然科学基金（编号：52175478）以及“先进船舶技术研究项目——管道、配套装置及其他关键数字化设备研发”（编号：CBG01N23-04-04）的支持。
Haitao Wu|Siming Huang|Xiaobo Chen|Juntong Xi
