基于LCVR的可见光波段宽带时分极化成像技术
《Optics and Lasers in Engineering》:LCVR-based broadband time-division polarimetric imaging technology in visible spectral range
【字体:
大
中
小
】
时间:2026年02月02日
来源:Optics and Lasers in Engineering 4.2
编辑推荐:
斯特凡·哈格|乔治·希特|恩斯特·森奇奇斯
奥地利维也纳,维也纳工业大学机械电子与电力电子研究所
**摘要**
本文提出了一种基于多次结构光轮廓测量的新方法,可用于精确重建均匀移动的刚性样品表面。传统的基于三角测量的多次结构光轮廓测量技术无法处理移动物体,因为在数据
斯特凡·哈格|乔治·希特|恩斯特·森奇奇斯
奥地利维也纳,维也纳工业大学机械电子与电力电子研究所
**摘要**
本文提出了一种基于多次结构光轮廓测量的新方法,可用于精确重建均匀移动的刚性样品表面。传统的基于三角测量的多次结构光轮廓测量技术无法处理移动物体,因为在数据采集过程中物体的运动会导致相机与投影仪之间像素对应关系的错误分配。所提出的方法采用基于优化的迭代策略,通过考虑连续拍摄之间样品的移动情况来重建表面几何形状。优化过程旨在最小化一个目标函数,该函数用于评估相机图像和投影仪图像中重投影表面点之间的像素值相似度。通过运用图像滤波方法和基于梯度的求解器,对该目标函数中的最小值进行迭代优化,从而实现表面重建。该方法能够以17微米的极高精度重建不同运动方向和幅度下移动样品的表面,其精度可与传统高精度结构光轮廓测量方法的静态测量结果相媲美;在样品位移较大的情况下,其精度更是传统方法的20倍以上,因此使得多次结构光轮廓测量技术可应用于工业在线测量领域。
**1. 引言**
三维表面测量在众多科学和工业应用中已变得不可或缺,它能够实现对物理对象的精确几何分析及数字建模。从工业质量控制与机器人视觉,到牙齿扫描及文化遗产保护,各种三维扫描技术已被开发出来,用以实现对物体表面的精准检测与复制[1]–[5]。在工业环境中,三维表面测量可确保产品符合严格的尺寸公差要求,从而提升质量控制水平并减少制造误差[6]。
现代制造业的一个发展趋势是将在线计量技术集成到生产线上,以实现对工艺过程及产品的持续监控[7]。在需要高精度与高效能的自动化制造流程中,这一能力愈发重要。能够进行三维在线测量尤为重要,因为它可实现复杂几何结构的实时检测与验证,确保产品按照精确规格制造,同时减少因缺陷或误差导致的材料浪费与停机时间。然而,一个特殊挑战在于:在充满重型机械及执行器(如机械臂、输送带)的恶劣制造环境中,这些设备会引发严重振动以及样品的运动,给精密测量技术的应用带来困难[8]。
在各类三维测量技术中,结构光轮廓测量因其高精度、高速度及灵活性而备受关注[9]–[10]。该技术通过将已知图案投射到物体表面,再利用一个或多个相机捕捉这些图案的透视变形,进而分析由物体表面地形引起的变形以重建三维形状。根据投射图案的数量,结构光轮廓测量技术可分为单次投射型和多次投射型两类[11]–[12]。单次投射型结构光轮廓测量利用空间编码图案,如伪随机图案、德布鲁因序列或颜色编码条纹,旨在通过单次拍摄即可重建表面拓扑结构,甚至可实现超过30帧/秒的高帧率动态场景重建[13]–[16]。但由于单次拍摄获取的信息有限,其空间分辨率仅相当于几个投影仪像素的大小,精度约为0.4毫米[17]–[18]。为了满足工业应用中对更高精度的需求,多次投射型结构光轮廓测量则采用一系列投射图案,如相移正弦波图案或二进制反射灰度编码图案,这类图案属于时间编码类型[19]–[21]。多次投射型方法假设在数据采集过程中物体处于静止状态,这样才能正确解码时间编码的图案序列,而这恰恰会导致移动样品的测量出现误差。对于那些物体持续运动的场景,如生产线上的高产量生产环境,静态条件的限制便成了一个难题,因为停止物体运动会降低生产效率[22]–[23]。虽然由输送带或机械臂引起的规律性均匀运动有助于激光线三角测量等扫描系统的工作[24],但它会显著降低多次投射型结构光轮廓测量结果的精度。
为解决这一难题,人们提出了多种方法[25]。一种直观的思路是提高系统的数据采集速率[26]或减少投射图像的数量[27],这样虽能在一定程度上实现移动样品的表面重建,但精度会下降三倍以上[28]。此外,还可以通过对重建表面上的波纹进行局部分析,来检测并校正由样品微小位移引起的运动效应[29]–[31]。在某些研究中[32],利用样品位移信息对从三个投射的相移正弦波图像中获得的相位进行近似校正,从而减少了运动引起的误差。另有研究[33]对用于跟踪相机图像中投影仪像素位移的交错图案进行了定性分析,虽然这种方法增加了投射次数,但由于需要插值处理位移场,最终得到的结果仅为半精确水平。在另一项研究中[34],提出了一种基于运动跟踪的方法,该方法能够重建均匀移动样品的几何形状,且样品的运动仅限于投影条纹的方向。不过,该方法要求样品具有便于运动跟踪的明显特征,因此不适用于无纹理的样品。
本文的贡献在于提出了一种基于结构光轮廓测量的新型表面重建方法,该方法无需解码时间编码序列、无需投射额外图案、无需依赖具有纹理的样品表面,也不局限于亚像素范围内的样品运动,即可实现对移动样品的精确测量。该表面重建方法通过基于优化的迭代过程实现,它在直接处理相机图像与投射图案的同时,还会考虑样品的运动情况,从而同步估算表面点的灰度强度,进而确定表面纹理。该算法设计便于集成到主动立体视觉系统中,同时也兼容常见的投射序列。
本文的结构如下:第2节简要阐述多次结构光轮廓测量过程中样品运动所带来的挑战;第3节介绍所提出的新型表面重建算法,并说明在迭代过程中需要最小化的目标函数;第4节介绍实验装置及实施所用的参数;最后,第5节评估该方法在静态与动态场景下的性能表现。
**2. 问题描述**
传统的多次结构光轮廓测量技术依赖于基于三角测量的方法来重建样品表面的几何形状[35]。三角测量是一种几何原理,通过确定投影仪发出的光线与相机捕获的光线之间的交点来重建表面。为了建立相机与投影仪之间的像素对应关系,需通过一系列投射图像对投影仪的像素列进行编码。
两种常用的编码技术为灰度编码图案和相移正弦波图案[36]。在灰度编码方法中,投影仪的每一列像素都被赋予一个由明暗值交替组成的唯一二进制序列,这使得在不同照明条件下仍能准确识别投影仪的像素列。而相移正弦波图案则通过投射正弦波的相位来编码像素位置。但由于正弦波的相位具有周期性,这就导致了像素列位置的不确定性。对于足够平坦且连续的表面,可通过相位解缠技术消除这种不确定性;而对于不连续的表面,则通常需要将相位偏移技术与辅助的灰度编码序列结合使用,以实现精确且无歧义的编码[37]。
在静态场景中,解码过程相当简单。由于在数据采集过程中样品与传感器均保持静止,因此选定的投影仪像素列在相机图像中始终位于同一位置。相机捕获一系列投射图像,通过逐像素解码这些图案,即可将每个相机像素与对应的投影仪像素列关联起来[35]。由于不存在干扰,这一过程能够实现精确的表面重建。
然而,当样品在多次投射之间发生移动时,解码过程就会面临巨大挑战。如图1所示,由于样品的运动导致场景发生变化,选定投影仪像素列在相机图像中的位置也会发生偏移。这种偏移现象是由样品的运动状态及其形状共同作用的结果。例如,一个平面状的样品在平面内移动时,不会导致相机图像中投影仪像素列发生偏移;但如果在平面上安装了一个半球体,如图1所示,那么选定的像素列在相机图像中就会发生偏移。由于在测量时无法预先知道样品的形状,即使样品的运动状态已被准确描述,相机图像中像素列的偏移仍然难以预测。因此,同一个相机像素在不同图像中会观测到不同的投影仪像素列,这会破坏解码过程,从而导致错误的像素对应关系。
**图1**:从不同视角观察选定的投影仪像素列。样品的位移(由黑色箭头指示)会导致相机图像中投影仪像素列的位置发生偏移。
**3. 系统与算法描述**
为克服结构光轮廓测量中像素对应关系分配的难题,本文所提出的方法采用了一种全新的表面重建策略,无需依赖图案解码,即可有效处理以已知均匀方式移动的样品。为此,该方法构建了一个目标函数,用于描述图像中重投影点之间的像素值相关性,并进一步开发了用于迭代最小化该目标函数的优化算法。
该方法虽以一个投影仪与两个灰度相机组成的系统为典型应用场景,但并不限于此配置,如图2a所示,该系统可投射一系列图像,如图2b所示。投影仪可被视为一个逆向相机,这使得相同的模型可以应用于所有组件。
**图2**:结构光轮廓测量系统(a)由一个投影仪(红色)组成,该投影仪负责投射一系列图案;另外还有两个灰度相机(蓝色),它们从不同角度同时捕获这些投射图案。典型的投射序列(b)包括一次全黑投射、一次全亮投射,随后是灰度编码的二进制序列以及多个相移正弦波图案。
**3.1 相机与投影仪模型**
所有相机与投影仪均采用针孔相机模型进行建模。每个组件都经过校准,使其内部参数、外部参数以及畸变参数均为已知,从而能够将世界坐标系中的三维点映射到图像平面上[38]。世界坐标系中的坐标表示为[x, y, z]T,而图像平面上的二维像素坐标则表示为[u, v]T。
**相机内部参数**
内部参数描述了相机的固有特性,这些特性会影响相机形成图像的方式。这些参数决定了三维点在图像平面上的重投影方式,其中会考虑焦距、倾斜度以及相机的主点位置。内部矩阵K的表达式为:
(1) K = [fusu, cu0, fvcv0, 0, 1]
其中,fu和fv分别表示u方向和v方向的焦距(单位为像素),cu和cv表示图像平面上主点(即光学中心)的坐标(单位为像素),s则表示图像平面轴之间的倾斜程度。
**相机外部参数**
外部参数用于描述相机在世界坐标系中的位置与姿态,这使得可以将世界坐标系中的三维点转换为相机坐标系中的坐标[38]。相机的外部参数由一个3×3的旋转矩阵R和一个3×1的平移向量t组成。世界坐标系中的点xw = [xw, yw, zw]T可以通过以下公式转换为相机坐标系中的坐标xc = [xc, yc, zc]T:
(2) xc = Rxw + t
**畸变参数**
畸变参数用于描述由相机镜头引起的畸变现象,而这些现象并未被相机内部参数所涵盖。这类畸变通常通过径向畸变和切向畸变来描述。径向畸变表现为一种对称的畸变效果,即标准化后的图像点[u?, v?]T会沿径向向主点靠近或远离。而切向畸变则是由光学系统与图像传感器之间的不对齐所引起的非对称畸变效果。经过公式(3)可计算出失真的归一化图像坐标[u?d,v?d]T:u?d=u?+u?∑i=14ki(u?2+v?2)i︸径向畸变+(p1(3u?2+v?2)+2p2u?v?)︸切向畸变(4)v?d=v?+v?∑i=14ki(u?2+v?2)i︸径向畸变+(2p1u?v?+p2(u?2+3v?2))︸切向畸变,其中k1、k2、k3、k4为径向畸变系数,p1、p2为切向畸变系数[39]。3.2. 3D点向2D图像平面的重投影将3D世界坐标系中的3D点xw=[xw,yw,zw]T重投影到2D图像平面,需遵循以下步骤:3.2.1. 从世界坐标转换为相机坐标利用相机外部参数,可通过公式(2)得到转换后的点坐标。3.2.2. 透视投影将转换后的点通过中心投影重新投影到虚拟的归一化图像平面,从而得到归一化图像点,其表达式为(5)[u?v?]=[xczcyczc]。3.2.3. 校正径向与切向畸变按照公式(3)和(4)应用畸变参数。3.2.4. 最终重投影到2D图像平面最后,利用相机的内部矩阵将失真的点重新投影到2D图像平面,公式为(6)[uv1]=K[u?dv?d1],其中u和v为重投影后3D点在图像平面上的像素坐标[40]。3.3. 像素值的相关性如前所述,任意3D点[x,y,z]T都可被重投影为图像三元组(CA,CB,P),即相机A和相机B拍摄的图像以及某一时刻的投影图像。在每幅图像中,可根据公式(6)得到的像素坐标检索出该重投影点的像素值(pA,pB,pP)。对于离散像素位置之间的像素值,可通过双线性插值来估算。如果所考虑的3D点位于不透明物体的表面,那么它就是该样本的表面点。此时,检索到的像素值(pA,pB,pP)应当较为相似:当表面点处于被照明区域时,像素值会相对较高;而在未照明区域则较低。可通过类似公式(7)的关联度量方法对像素值进行成对比较,以此量化这种相似性:c=(pA?pB)2+(pA?pP)2+(pB?pP)2,数值越接近零说明像素值的相似度越高。相机图像的像素强度不仅取决于投影图案的亮度,还与背景照明强度以及样本表面的反射率有关(比如表面光洁度、颜色和材质等)。在相位偏移SLP(PSP)应用中常用的模型[12]认为,从相机视角来看,表面点的强度IC是由投影图案产生的照明IP以及由漫射背景照明和投影仪暗场强度产生的照明IBG共同决定的,其表达式为(8)IC=a(IP+IBG),其中a为反映表面反射率和颜色的反射系数。由此可通过公式(9)计算出投影仪照明强度IP:IP=1aIC?IBG。由于投影仪照明强度IP与投影仪的像素值pP成正比,而相机感知的照明强度IC与相机像素值pA和pB成正比,因此公式(9)可用来通过(10)p?A=αApA?β和p?B=αBpB?β修正相机像素值,其中的αA和αB与表面点的反射率相关,β则与背景照明相关。例如,暗色表面会导致相机图像颜色较暗,适当提高αA和αB的值即可修正这一影响。强烈的背景照明即便在投影仪关闭时也会使相机图像过亮,提高β值即可解决这一问题。由于需要考虑镜面反射现象——即光线以不同强度反射到相机中,因此需要对两台相机分别设置反射参数。将修正后的相机像素值代入公式(7)后,可得到关联度量值(11)c=(αApA?αBpB)2+(αApA?β?pP)2+(αBpB?β?pP)2。3.4. 数据采集过程中样本运动的考量在样本做线性运动时,其在任意位置处的表面点集合可用点云P表示,该点云包含M个用笛卡尔坐标描述的点,其表达式为(12)P={x1,x2,?,xM},其中(13)xm=[xmymzm],m=1,2,?,M。测量系统会以固定时间间隔同时投影并捕获N个图案,从而得到N组图像三元组(CnA,CnB,Pn),其中n=1,2,?,N。由于样本做匀速直线运动,因此在两次连续捕获之间,样本会发生[d=[dx,dy,dz]T]的位移。这样一来,刚性样本的所有表面点都会被平移向量d同等程度地移动。代表图像三元组(CnA,CnB,Pn)对应采集时刻样本表面点集合的移动后点云Pn可表示为(14)Pn={x1,n,x2,n,?,xM,n},其中每个移动后的点xm,n可通过点云P按公式(15)xm,n=xm+(n?n0)d计算得出。参数n0可任意选取,用于确定采集过程中点云P沿样本运动轨迹的位置。例如,若将n0设为1,则点云P与P1完全一致。将n0设为N/2则可将点云P置于样本运动轨迹的中心位置,在这种情况下,点云Pn与P之间的所有绝对位移平均值都会最小。对于每个点云Pn以及其中的每个点xm,n,均可从对应的图像三元组(CnA,CnB,Pn)中获取像素值(pm,nA,pm,nB,pm,nP)。最后,针对每组像素值计算公式(11)中的关联度量值,从而得到目标函数(16)c(zm,αmA,αmB,β)=∑n=1N∑m=1M(αmApm,nA?αmBpm,nB)2+∑n=1N∑m=1M(αmApm,nA?β?pm,nP)2+∑n=1N∑m=1M(αmBpm,nB?β?pm,nP)2,其中每个表面点都被赋予了各自的反射率参数αmA和αmB。若在所有N张捕获的图像中对每台相机都使用相同的恒定反射率参数,则可在样本移动过程中,当表面法线、投影角度和观察角度之间存在微小变化时,仍保持朗伯反射特性。由于假设背景照明会对每个表面点提供均匀的照明,因此此处使用全局背景照明参数β。当然,也可为每个点单独设定β值。在这种建模方式下,每个3D点都与四个优化变量相关联,公式(16)中的目标函数可分解为多个独立的优化问题,总共涉及4M个变量。若引入一个全局参数β,虽然能将优化变量的数量减少到3M+1,但会导致各点之间产生耦合效应,这在计算过程中会增加内存需求,尤其是对于海森矩阵而言。另外,若要在不使用辅助图案来实现明确相位分配的情况下,通过基于优化的方法获得更准确的相位结果,还可在成本函数中加入如下项(17)ca(zm)=wa∑(i,j)∈I(zi?zj?z?i,j)2,该项用于衡量相邻点z坐标的差异,以此对重建表面中的高梯度现象进行惩罚。在该式中,wa为权重,I={(i1,j1),(i2,j2),?}为定义相邻点的索引对集合,z?i,j则为点xi和点xj之间的预期高度差。对于表面平滑的样本,该高度差可设为零;也可根据zm的初始值来计算该高度差。该目标函数被用于优化框架中,通过寻找全局最小值来重建运动样本的几何结构。3.5. 基于优化的表面重建所提出的方法采用公式(16)中定义的目标函数来进行表面重建。要计算该函数,需要以下信息:•相机A、相机B和投影仪的标定参数•像素值介于0到1之间的图像三元组•图像间样本运动的向量d•表面点集P•反射率参数αmA和αmB•背景照明参数β标定参数包括外部参数、内部参数以及畸变参数,这些参数可通过相机标定[41]来确定。数据采集完成后即可获得图像三元组。此处假设样本的运动是匀速的,且样本表面点分布在由x坐标和y坐标定义的固定网格上。因此,深度信息(即表面点的z坐标zm)、反射率参数αmA和αmB以及背景照明强度β都是未知的。这组未知参数{zm,αmA,αmB,β|m=1,2,?,M}是通过寻找公式(16)中目标函数的全局最小值来估算的。以一个具有预定x坐标和y坐标的3D点为例,若为其选择合适的反射率和背景照明参数,那么该目标函数中与z坐标相关的成本项可绘制出来,如图3中的绿线所示。随着z坐标的变化,该3D点会沿着垂直于x?y平面的直线移动。该3D点在图像三元组中的重投影也会沿着一条直线移动,从而导致像素值三元组不断发生变化。投影图像中的高强度梯度会导致成本项出现剧烈变化,从而使目标函数出现大量局部最小值,进而降低基于梯度方法寻找最小值的成功率。在图像三元组上应用低通滤波器,可以实现对目标函数及其全局最小值的平滑近似。滤波可采用高斯图像滤波器,高斯滤波器核的标准差σG决定了滤波的带宽,也就决定了平滑程度。图4展示了应用不同标准差的高斯低通滤波器处理后的图像三元组片段。为确保捕获图像和投影图像的滤波程度相当,需根据捕获图像与投影图像的分辨率比例,调整应用于捕获图像的滤波器核的标准差。下载:下载高分辨率图像(324KB)下载:下载全尺寸图像图3. 对于经过低通滤波的图像,单个3D点到样本表面在z方向上的距离对应的目标函数曲线更为平滑。此处采用标准差已给定的高斯滤波器进行滤波。下载:下载高分辨率图像(147KB)下载:下载全尺寸图像图4. 不同滤波程度下投影图像与捕获图像的片段,滤波程度由高斯低通滤波器的标准差σG决定。图3展示了在不同滤波程度下,单个3D点到实际表面的垂直距离对应的成本项变化情况。随着高斯滤波器标准差的减小,近似得到的目标函数逐渐变得不那么平滑,最终趋于未经过滤波的目标函数形态。尽管平滑度有所下降,但全局最小值依然可以被清晰地视为一个独立的凹陷区域。这一现象支持采用迭代优化策略,即先从较高的滤波程度开始,然后在后续迭代中逐步降低滤波器的标准差。每次迭代得到的最小值可作为下一次迭代的初始值,从而确保能够可靠地逼近未经过滤波的目标函数的全局最小值。该流程如图5所示。当标准差σG降至阈值tH以下时,迭代重建过程即终止。此后,会根据以下标准判定哪些点是无效的:下载:下载高分辨率图像(359KB)下载:下载全尺寸图像图5. 重建过程的流程图。在优化过程的多次迭代中,滤波程度会逐渐降低,而近似得到的目标函数以及确定的全球最小值则会逐步趋近于原始目标函数及其全局最小值。3.5.1. 超出图像边界的重投影若某个点被重投影到图像三元组中任何一张图像的边界之外,则该点被视为无效点,因为缺失的信息会降低结果的准确性。3.5.2. 过高的成本值那些对目标函数贡献值异常高的点,表明这些像素值三元组之间缺乏相似性。这可能是由于z坐标的估算有误,或是由于相机和投影仪的不同观测角度导致了遮挡和阴影效应。3.5.3. 与周围表面点距离过远那些与周围表面点距离过远的点属于噪声点或异常点,也应视为无效点。3.5.4. 不合理的灰度强度估计对于完全被照亮的投影图像,相机所感知到的表面点的灰度强度ImA和ImB可以通过反射率参数和背景照明参数来估算。对于完全被照亮的表面点,投影图像中的像素值为1,而对应的捕获图像中的修正后像素值则为αmAImA?β和αmBImB?β(参见公式(11))。因此,相机感知到的灰度强度可通过公式(18)计算得出:ImA=1+βαmA,ImB=1+βαmB。如果某个点的灰度强度大于1,说明相机感知到的强度超过了投影强度。这种情况可能出现在存在强烈镜面反射成分的表面积上,比如在投影正弦波形等灰度图像时,或是由于z坐标的估算有误所致。这类点同样也被视为无效点。所提出的方法将数据采集之后的重建工作作为后续步骤。因此,它可以直接集成到任何SLP系统中,无需对硬件或采集流程进行修改。它仍能与传统的多帧投影序列兼容,如GC和PSS模式,从而成为一种多功能方法,有望提升SLP系统在静态和动态样本表面重建方面的性能。4. 实现方案实验装置包括一个工业用SLP传感器(Micro Epsilon surfaceControl3500-120)、一个线性执行器(PI VT80-50DC)以及一个3D打印的样本,如图6所示。该传感器内装有投影仪和两个灰度相机。如图2a所示,相机的视野范围与投影仪的投影尺寸相匹配。相机拍摄的灰度图像像素值介于0到1之间,投影仪输出的灰度图像像素值同样也在0到1范围内。图案序列与图2b所示类似,由暗图像(无照明)和亮图像(完全照明)组成,接着是8幅GC图像和16幅PSS图像,这些图像的周期为24像素。线性执行器负责在相邻图案之间移动样本。下载:下载高分辨率图像(270KB)下载:下载全尺寸图像图6. 实验装置由两个相机、一个投影仪组成,它们都安装在工业传感器(Micro Epsilon surfaceControl3500-120)中,还有一个用于移动样本的线性执行器。样本是奥地利阿尔卑斯山一段的3D打印模型,其中包括奥地利最高的山峰——格罗斯格洛克纳峰。所提出的方法是在Matlab中实现的,采用了优化工具箱中的信赖域优化算法[42]。为了更快收敛,目标函数的梯度与海森矩阵通过解析方法计算。为使目标函数足够平滑,首次迭代时应用于投影仪图像的高斯低通滤波器的标准差σG被设定为36像素,这一数值超过了投影序列中高频图案的周期,因此能在初始迭代阶段有效抑制这些高频成分。第a次迭代时的标准差为40·0.9a。对于相机图像的高斯滤波器,这一标准差会乘以1.13这一系数,以此确保在不同图像分辨率下实现相似的滤波效果。为消除轻微的校准误差和相机噪声,当σG降至tH=1以下时(即经过35次迭代后),优化过程就会停止。方形高斯滤波核的大小定义为2·?3σG?+5,其中?·?为取整函数。如图5所示,优化的初始值均为零,对应于传感器的测量范围中心,此时相机和投影仪的焦平面都位于该位置。参数αA和αB的初始值为1,而β的初始值为0,这对应于没有背景照明且样本表面具有均匀漫反射特性的情况。5. 实验结果评估了基于优化的重建方法在各种方向上均匀运动时的性能,并将其结果与传统的基于解码的重建方法[43]的结果进行了比较。传统重建方法处理的图像与基于优化的方法相同,同时也能利用两个相机在预定义的网格上进行重建。z坐标是通过将3D点重新投影到两个相机的未包裹相位图中得到的,而这些相位图则是通过图案解码获得的[44]。如表1所示,共设计了四个测试案例,在数据采集阶段,样本会在相邻图像之间向不同方向移动。测试案例1作为参考,即无运动的静态场景。测试案例2研究的是沿垂直于投影条纹方向的y轴运动。在测试案例3中,主要运动发生在x轴方向,即与投影条纹平行。测试案例4则考虑了所有方向都有平移运动的一般情况。相对于世界坐标系的运动方向是事先通过两次静态测量确定的,这些测量是在样本沿执行器轨迹相距20毫米的位置进行的。随后通过迭代最近点(ICP)配准方法估计两个所得点云之间的刚体变换,从而直接得到平移方向[45]。表1. 不同测试案例中相邻投影图案之间样本的位移情况。空单元格xyz测试案例1?0.0μm?0.0μm0.2?μm测试案例2?1.4μm299.9?μm1.3?μm测试案例3?300.0μm?2.6μm1.3?μm测试案例4?130.8μm150.5?μm20.9?μm在数据采集过程中,SLP传感器每秒都会投影并捕捉图像,同时线性执行器会逐步移动样本,并利用内部编码器监测样本位置。这种间歇式的采集方式可最大程度减少同步误差或位置偏差。所获取的图像三元组既会用新的基于优化的重建方法处理,也会用传统的基于解码的重建方法处理。真实值则是通过工业传感器的专用软件对静态样本进行测量得到的。两种方法的重建结果都会通过ICP配准与真实值进行对比。通过对比对齐后的点云中的点与参考表面之间的欧几里得距离的均方根值,来量化评估测量的准确性[46]。表面点是在x轴和y轴上等间距的网格上重建的,网格周期为500微米,x轴的范围为-40毫米至40毫米,y轴的范围为-30毫米至30毫米,z坐标和纹理则需在优化过程中确定。对于基于优化的方法,无效点的判定方法如3.5节所述。阈值是根据目标函数的典型值及几何因素经验性设定的。如果一个点在每个图像三元组中的平均相关性值(参见公式(11))超过0.06,且其对总成本的贡献超过约1.5的阈值,那么该点就被视为无效点,这一数值反映了正确重建的点通常具有的变化幅度。邻点距离阈值则取决于重建表面的空间采样密度(500微米)以及传感器的三角测量结构。在这种采样密度下,若一个点与其相邻点的距离超过2毫米,那么它很可能是被遮挡或正在遮挡其他点,这样的点在物理上是不合理的。因此,那些到最近八个相邻点的欧几里得距离的中位数超过2毫米的点也被视为无效点。与3.5.4节不同,估计的灰度强度最高可达到1.05,这样可以容忍一定的数值偏差。对于传统方法,如果重投影点到两个相机未包裹相位图像中的相位值相差超过10个投影像素,或者到最近八个相邻点的欧几里得距离中位数低于2毫米,那么该点也被视为无效点。5.1. 纹理和灰度强度的估算优化过程可以估算出反射率参数αmA和αmB以及背景照明参数β。利用这些参数,就可以通过公式(18)重建出相机感知到的样本表面点的灰度强度,进而得到表面的纹理信息。图7展示了通过估算参数αmA、αmB和β得到的表面纹理,并将其与实际纹理进行了比较。实际纹理是从投影仪均匀照明下的样本相机图像中获取的。为了得到这些点的实际纹理,会将估算得到的表面点重新投影到该相机图像中。直方图显示了强度差异相对于图像范围1的分布情况,两个相机的分布相似,平均值约为3.7%,标准差约为0.8%。正的平均值表明实际纹理图像比估算的纹理图像更亮,这可以通过多次反射以及投影仪的对比度特性来解释。当周围像素被点亮时,单个像素会显得更亮,这就使得条纹图案的亮度低于完全照明下的投影亮度。此外,用于构建目标函数的模型假设背景照明在空间和时间上是均匀的。这一假设得到了测量条件的支持:在数据采集过程中,装置被遮盖以防止外部光线进入。因此,背景照明主要是由样本表面对投影光的漫反射产生的杂散光,以及这些光在周围硬件上的二次反射所构成的。对于所有干涉条纹图案而言,每个投影图案下的平均图像强度都大致相同(约为0.5),这说明环境光强度相对稳定。而在完全照明的图案中,平均图像强度更高,从而导致背景照明更强,这也解释了实际纹理图像的平均强度为何更高。再加上干涉条纹图案中投影照明的不均匀分布,以及样本和周围硬件反射率的空间差异,都会导致背景照明出现细微的变化,而这些变化并未被目标函数考虑进去。下载:下载高分辨率图像(541KB)下载:下载全尺寸图像图7. 根据估算参数αmA、αmB和β得到的纹理估算结果。将其与从完全照明投影中获取的实际表面纹理进行比较,两者之间的平均差异约为3.7%。无效点用红色框标出。表2总结了各测试案例中强度差异的平均值和标准差。小于2%的标准差表明实际纹理的估算效果良好。与测试案例1的静态场景相比,存在样本运动的测试案例的标准差更高。这是因为在数据采集过程中,αmA和αmB这两个参数被设定为恒定值。然而,当样本移动时,由于镜面反射,相机感知到的灰度强度可能会发生变化。对于那些表面反射率极高的样本,这种变化对重建结果的影响可能会更大。由于这类表面会限制SLP方法的总体性能,因此本研究不再进一步探讨它们。表2. 参考纹理图像与估算纹理图像之间的相对强度差异。空单元格相机A的强度差异相机B的强度差异空单元格平均值标准差平均值标准差测试案例13.8?%0.9?%3.7?%0.8?%测试案例23.7?%1.2?%3.8?%1.4?%测试案例33.7?%1.2?%3.9?%1.5?%测试案例44.2?%0.8?%4.2?%1.5?%5.2. 表面重建图8展示了静态样本和移动样本的表面重建结果。缺失的点即为被判定为无效的点。将传统重建方法应用于静态场景时(图8a),可以得到不错的结果。而将该方法应用于移动样本时(图8b),则会导致重建结果不准确,且无效重建点的数量较多。相比之下,将基于优化的重建方法应用于移动样本时(图8c),能够得到与静态场景相似的重建结果。下载:下载高分辨率图像(516KB)下载:下载全尺寸图像图8. (a)静态测量结果,(b)使用传统基于解码的重建方法进行的移动测量结果,以及(c)使用新型基于优化的重建方法进行的移动测量结果。由于梯度过大或两个相机图像之间存在较大差异,缺失的表面点被视为无效点。表3以定量方式展示了不同方法的表面重建结果,比较了无效点的比例以及ICP配准后的点云与真实表面之间的残差距离的均方根值。结果显示,传统测量方法在静态场景下表现良好,其残差距离的均方根误差为11.0微米。基于优化的方法表现也相当不错,其残差距离的均方根误差为17.2微米。作为参考,使用工业传感器的专用软件对同一样本进行两次真实值测量时,其残差距离的均方根误差为12.2微米。对于移动样本而言,基于优化的算法优势十分明显,传统方法的残差误差增加了20倍以上,而基于优化的方法则几乎没有变化。此外,传统方法中无效点的数量会随着样本位移的增大而增加,而基于优化的方法中无效点数量几乎保持不变。表3. 不同方法的表面重建结果。空单元格传统方法基于优化的方法空单元格无效点比例残差距离的均方根误差无效点比例残差距离的均方根误差测试案例10.0?%11.0?μm0.03?%17.2?μm测试案例212.9?%492.9?μm0.06?%17.7?μm测试案例315.3?%539.4?μm0.03?%16.6?μm测试案例47.8?%268.8?μm0.03?%17.4?μm5.3. 运动误差的影响表面重建需要样本的运动具有良好的规律性。在实际应用中,几何运动误差、校准误差、同步不确定性或振动等因素都是不可避免的。为评估这些误差对重建结果的影响,通过扭曲样本运动的线性轨迹来模拟第n组图像采集时刻每个样本位置的定位误差en=[en,x,en,y,en,z]T,该误差被纳入方程(15)所定义的目标函数中,具体表达式为(19)xm,n=xm+(n?n0)d?en。在所有测试案例中,通过假设正态分布的位置不确定性,且标准差在20?μm到500?μm之间变化,来评估不同的定位误差。图9展示了重建结果的精度情况。每增加100?μm的位置不确定性,精度仅下降22?μm,这表明所提出的方法能够在存在位置不确定性的情况下仍获得良好的重建结果。与图3中的绿线类似,图10显示了在不同位置不确定性下,选定点对目标函数的贡献程度,这一贡献与z坐标相关。定位误差存在时,恢复的像素值差异越大,全局最小值的位置就越偏离原始位置,且不那么明显。重要的是,全局最小值仍能与局部最小值清晰区分,从而确保算法能够稳定收敛。下载:下载高分辨率图像(171KB)下载:下载全尺寸图像图9. 由校准误差或几何运动误差引起的位置不确定性会降低重建结果的精度。下载:下载高分辨率图像(260KB)下载:下载全尺寸图像图10. 在存在位置不确定性的情况下,目标函数的全局最小值会随着选定3D点到样本表面在z方向上的距离而发生偏移,且不再那么显著。5.4 初始值的影响为检验全局最小值的可靠性以及转换过程的稳定性,使用不同的初始值多次启动迭代优化过程。所有点的z坐标都被赋予介于-15毫米到15毫米之间的随机值,这一范围与工业传感器的指定测量范围相符;而参数αmA和αmB则被赋予1到4之间的随机值,这一范围被视为这些参数的典型取值范围。参数β则初始化为0到0.2之间的随机值。表4汇总了每个测试案例中30次不同初始值优化运行的统计结果。重建表面的标准差反映了所有估计z坐标的平均标准差,可理解为在使用不同初始值但相同图像集时重建过程的重复性。该数值小于0.15?μm,约为所确定精度的百分之一,充分体现了迭代优化的稳定性。优化过程会收敛到相同的最小值,其最终代价的绝对值相差不到0.002%。此外,无效点的比例也保持稳定,与第4节描述的初始化策略相当。表4. 50次不同初始值优化运行后的重建结果统计信息空白单元格测试案例1测试案例2测试案例3测试案例4重建表面的标准差0.08?μm0.07?μm0.07?μm0.13?μm最终代价的相对偏差0.001%0.000%0.000%0.002%无效点的最大百分比0.06%0.06%0.04%0.23%5.5 与现有最先进方法的比较在本节中,所提出的方法通过与三步相移SLP(3-PSP)方法进行对比来评估其性能,后者通过三个投影的PSS图案来重建样本表面。这样就可以与那些利用更少投影PSS图案、且不依赖辅助二进制图案来进行明确相位分配的最先进运动校正方法直接相比。为克服由此产生的限制并实现相位解缠[19],本实验中将图案周期增加到96像素。由于缺乏辅助图案以及重复相位带来的歧义,方程(17)中的项被以wa=10σG2的权重纳入目标函数中,以此助力算法向正确最小值收敛。所获取的图像集每个包含三个投影图案,这些图像集通过三种不同的方法进行表面重建:1.传统方法:使用原始捕获的图像来计算包裹相位图,再通过空间相位解缠算法[47]计算出解缠后的相位图,最后用传统的基于解码的方法[43]重建表面。2.运动校正方法:先使用运动校正算法[32]校正相位图,然后再用校正后的相位图以及传统的基于解码的方法[43]重建表面。3.基于优化的方法:使用所提出的方法重建表面。在本实验中,样本在x方向上做线性位移,这将引入最大的相位误差[34]。相邻投影图案之间样本的运动距离在0?毫米到4?毫米之间变化。所有方法都处理相同的图像集,并利用两台相机的信息。运动校正方法[32]和所提出的方法都需要假设样本运动是已知的。此外,运动校正方法还需要一个由传统未校正方法提供的粗略初始重建结果。图11从定性角度比较了不同重建方法的结果。对于较大的样本位移,传统的未校正重建方法会出现严重的运动引起的波纹现象。而经过运动校正的传统重建方法和基于优化的重建方法都能得到良好的结果,其精度可与静态的传统3-PSP方法相媲美。表5则从定量角度比较了相邻投影图案之间不同样本位移时的重建结果。同样,基于优化的方法的重建精度在所有实验中都保持稳定,而传统方法的精度则随着样本位移的增加而下降。与之前的实验相比,基于优化的方法精度有所下降,这是因为投影图案的数量减少了,且条纹周期变长了。不过,更长的条纹周期提高了传统方法对样本运动的容忍度,因此在样本位移较小时,其精度反而高于之前的实验。运动校正的传统重建方法也能得到不错的结果,尽管精度略低于所提出的基于优化的方法,这可能是由于该方法采用了线性化的像素误差模型,且需要较为粗糙的参考值。随着样本位移的增加,精度下降的原因是随着样本与投影条纹一同移动,可感知的相位跳变逐渐减小,从而导致相位信息逐渐丧失。在持续处于低照明强度的区域,信噪比会进一步下降,当样本位移达到2?毫米时,物理运动与焦平面内PSS图案的相位跳变恰好匹配,此时相位信息将完全丧失。下载:下载高分辨率图像(889KB)下载:下载全尺寸图像图11. 使用三步相移SLP(3-PSP)方法的不同方法的重建结果表5. 使用3-PSP方法的重建精度样本在图像间的位移未校正的传统方法[43]运动校正的传统方法[32]基于优化的方法0?μm30.8?μm30.8?μm37.5?μm10?μm34.3?μm31.1?μm26.4?μm20?μm41.8?μm32.0?μm27.2?μm50?μm66.6?μm32.5?μm27.7?μm100?μm100.8?μm32.6?μm27.9?μm300?μm183.7?μm35.4?μm30.8?μm500?μm221.7?μm40.2?μm34.9?μm1000?μm297.0?μm65.4?μm50.3?μm2000?μm438.9?μm1277.7?μm1811.8?μm4000?μm729.6?μm71.4?μm61.2?μm5.6 运动中的复杂样本最后,在一个动态实验中,对一种具有工业应用价值的复杂样本——印刷电路板(PCB)进行了测量,在该实验中,PCB在相邻投影之间会在x方向上位移300?μm。如图12a所示,PCB具有丰富的纹理、多个高反射区域以及复杂的结构特征,这些都导致了阴影和遮挡效应。此前使用过的两种投影序列,即GC+PSS序列和3-PSP序列,都得到了测试。图12b至f展示了未去除潜在无效点时的重建结果。在静态情况下,传统的3-PSP方法能够生成平滑且精确的重建结果(见图12b)。然而,当在采集过程中移动样本时,结果会出现许多明显的伪影和错误点(见图12c)。与之前使用的奥地利阿尔卑斯山模型相比,由于PCB图像的纹理变化更为剧烈,像素级亮度波动更大,相位解码误差也更严重,因此运动引起的误差更为明显。下载:下载高分辨率图像(1MB)下载:下载全尺寸图像图12. 具有丰富纹理、高反射区域以及复杂几何特征的复杂样本的表面重建结果。无论是经过校正的还是基于优化的3-PSP重建方法,都能大幅减少这些误差(见图12d和e)。不过,仍然可以看到一些伪影,尤其是在高反射部件和暗区附近(例如图中绿色区域代表的较大芯片处)。为了量化重建质量,会根据已注册的真实值来计算点到平面的中位数距离。采用中位数可以避免偶尔出现的异常值以及位于边缘区域、点云密度较低或受到阴影/遮挡影响的点的那些意义不大的距离值的影响。经比较,校正方法的重建精度为58.5?μm,基于优化方法的精度为86.8?μm,而未校正方法的重建精度高达400.1?μm,这一数据充分体现了这两种方法的有效性。不过,高反射表面区域以及由于投影图案数量减少而导致的有限信息量,都会对基于优化的重建过程造成阻碍,限制其性能。值得注意的是,基于优化的方法具有很高的灵活性,能够适配任意长度的投影序列。当应用于包含8个GC图案和16个PSS图案的混合序列时,基于优化的重建方法的精度可大幅提升至21.2?μm,同时生成的重建结果在视觉上也更为平滑,尤其是图12f中绿色区域代表的较大芯片表面。偶尔出现的异常值主要出现在高反射表面区域。总之,实验表明,所提出的算法能够稳健地重建各种静态和运动样本的表面及纹理,且精度始终稳定,同时还适用于不同的投影序列。6. 结论所介绍的SLP方法通过寻找目标函数的全局最小值来实现表面重建,该目标函数考虑了一组图像中像素值之间的相似性。为此,开发了一种迭代优化流程,该流程利用图像低通滤波方法来近似目标函数,进而借助基于梯度的求解器实现向全局最小值的稳定收敛。这种基于优化的方法能够以约17?μm的精度重建在任何方向上均匀运动的样本表面的精度,这一精度在动态测试案例中比传统重建方法的精度高出20倍以上,而在静态场景下则能获得与之相当的精度。表面点的灰度强度可以通过反射率参数αmA和αmB以及背景照明参数β来重建,其结果与实际表面纹理的偏差小于2%。该方法的性能已在采用工业SLP传感器的常见投影序列上得到验证,这表明它能够轻松集成到现有的SLP系统中。不过,该算法也可应用于各种投影序列,正如使用3-PSP序列所展示的那样。实验表明,该算法对样本位置不确定性的适应性较强。然而,由于采用了仅包含αmA、αmB和β这三个参数的简化反射模型,在测量具有高反射表面或复杂背景照明的运动样本时,该模型的局限性就会显现出来,此时就需要更复杂的模型。此外,由于迭代优化计算量较大,要实现实时处理就需要强大的计算设备或采取进一步的优化措施。该方法的性能已在各种工业场景中常见的、由传送带和机器人操作臂引起的刚性样本的规律运动情况下得到验证。这一概念可很容易地扩展到处理任何形式的直线运动,甚至是六自由度下的任意样本轨迹。虽然该算法也可用于测量形变表面,以实现精确的逐点表面形变分析,但目前尚未对此进行评估。对于刚性物体,可通过同时进行运动估计来进一步优化该算法,这将是未来工作的方向。CRediT作者贡献说明Stefan Hager:撰写——初稿撰写、可视化、验证、软件开发、方法设计、研究实施、概念构思。Georg Schitter:撰写——审稿与编辑、指导监督、资金筹集。Ernst Csencsics:撰写——审稿与编辑、指导监督、资源提供、资金筹集。