利用轻量级的多视图立体模型，对具有复杂反射表面的物体进行高精度单次3D测量

《Measurement》：High-precision single-shot 3D measurement for complex reflective surfaces using a lightweight multi-view stereo model

　　

• •
  实现了对复杂反射表面的单次测量、高精度和快速测量。
• •
  提出了一种用于多视图散斑投影测量的高效网络架构。
• •
  极线注意力和跨尺度成本聚合模块解决了匹配歧义问题。
• •
  开发了新型硬件，并构建了一个大规模的多视图HDR表面数据集。
• •
  快速推理和低资源消耗显示出在工业边缘设备上进行精确测量的潜力。

引言

光学3D测量已广泛应用于工业领域，如逆向工程[1]、工件质量控制[2]和生物医学科学[3]。在光学测量任务中，结构光（SL）技术因其具有高精度和分辨率的全场检测能力而被广泛采用[4]、[5]、[6]。通过匹配和三角测量多个视图中的相应点来重建精确的点云。然而，在实际测量中，重建同时具有镜面反射和漫反射的复杂反射表面仍然是一个具有挑战性的问题，如图1所示。由于摄像机的动态范围有限，低反射率表面在主动照明下的信噪比（SNR）较低，而高反射率表面则遭受强度饱和。这些问题严重影响了3D重建的准确性和完整性[7]。

许多研究人员开发了各种技术来测量复杂反射表面。这些方法可以分为自适应强度调整[8]、[9]、[10]、[11]、多曝光融合[12]、[13]、[14]、[15]、硬件辅助[16]、[17]和多视图技术[19]、[20]、[21]。自适应强度调整技术实现复杂，且依赖于目标表面光滑的假设。多曝光融合技术需要反复调整曝光时间或光强度，使得过程既盲目又耗时。硬件辅助方法在暗区域可能导致SNR降低。当前的多视图技术仍然缺乏有效的视图选择策略，并且随着视图数量的增加而产生显著的计算成本。大多数现有技术需要捕获大量图像才能进行单次测量。这限制了它们对移动物体的测量以及高频检测任务的适用性。在这项工作中，我们提出了一种轻量级的单次多视图测量方法，用于在低资源消耗下对复杂反射表面进行高精度测量。主要贡献如下。

• (1)
  我们提出了一种针对复杂反射表面的结构化单次3D测量流程，集成了主动散斑投影、校准的多摄像头成像系统、从粗到细的多视图深度估计以及基于几何一致性的深度融合，用于最终的点云重建。
• (2)
  我们开发了一种轻量级的从粗到细的多视图测量网络（SSL-MVS），包括多阶段轻量级特征提取器、亚像素极线注意力视图加权模块和跨尺度成本聚合模块，以提高在HDR反射、遮挡和低SNR区域下的匹配可靠性。
• (3)
  我们构建了一个多因素动态成本体积，以联合编码匹配、上下文和深度线索，从而建立健壮的3D关联，并引入了基于查找的重用策略的轻量级多尺度GRU迭代细化，以减少重复计算和计算开销。
• 我们捕获并编译了一个包含750个样本的多视图HDR数据集，用于训练、验证和测试，覆盖了200多个金属部件及其在350–600毫米工作距离下的随机组合，并使用标准工件进行了计量验证和不确定性评估，实现了0.05–0.07毫米的测量精度，综合标准不确定性为0.043毫米。

第2节回顾了相关工作。第3节提供了完整的测量工作流程概述。第4节详细介绍了所提出的SSL-MVS模型。第5节展示了全面的实验和讨论。第6节总结了本文并讨论了潜在的未来工作。代码和数据集将可供研究人员用于高动态范围表面测量。

章节片段

相关工作

与所提出方法相关的工作可以大致分为以下四组。

初步研究

如图2所示，整个测量流程包括四个部分：相机校准和图像采集、特征提取和多视图匹配成本计算、带有迭代更新的动力学成本体积构建以及深度图融合。首先，使用圆形点校准板逐步进行单目、双目和多视图联合校准，从而获得每个相机的准确内在和外在参数。随后，每个相机

方法论

在本节中，我们全面介绍了所提出的SSL-MVS单次测量方法。受[34]、[37]、[38]的启发，我们采用了如图3所示的级联流程。最终的全分辨率深度图是通过在每个尺度上迭代更新和自适应上采样深度估计生成的。该流程主要包括轻量级特征提取、多因素动态成本体积构建和基于GRU的优化。如第4.1节所述，

实验设置

为了构建数据集并实现准确测量，我们构建了一个带有光刻散斑投影模块的多视图图像采集系统，如图7所示。在最终确定散斑投影图案之前，我们对候选图案进行了理论和实验分析，并选择了最适合当前场景和工作距离的图案[54]。四个摄像头以中心对称的方式排列，以捕获散斑投影区域。

结论

在本文中，我们提出了一种针对复杂反射表面的结构化单次3D测量方法，通过将主动散斑投影、校准的多摄像头成像系统和轻量级的从粗到细的多视图重建集成到一个统一的框架中。在这个框架内，所提出的测量网络结合了亚像素极线加权、跨尺度成本聚合和多因素动态成本体积迭代正则化，以抑制匹配不确定性

CRediT作者贡献声明

吴海涛：撰写——原始草案、软件、方法论、概念化。李旭西：撰写——审阅与编辑、验证。陈晓波：撰写——审阅与编辑。Xi俊彤：监督、项目管理。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Xi俊彤报告表示得到了国家自然科学基金会的财政支持。Xi俊彤报告表示得到了先进船舶技术研究项目的财政支持。如果有其他作者，他们声明没有已知的利益冲突或个人关系可能会影响

致谢

本研究工作得到了国家自然科学基金会（-->52175478-->）和先进船舶技术研究项目（CBG01N23-04-04）的资助。

吴海涛|李旭西|陈晓波|Xi俊彤