基于小波辅助的自适应EKF相位偏移估计方法在运动引起的误差补偿中的应用 赖欣， 于秋硕， 陈振毅

《Sensors》：Wavelet-Assisted Adaptive EKF Phase Shift Estimation Approach for Motion-Induced Error Compensation Xin Lai, Qiushuo Yu and Zhenyi Chen

　　摘要：相移轮廓测量（PSP）在动态场景中会受到运动引起的相位步长变化的影响。由于固定相位偏移假设的不成立，PSP系统会出现诸如纹波、失真和精度下降等问题。为了减少运动引起的相位误差，我们提出了一种基于小波的自适应扩展卡尔曼滤波器（WAEKF）来估计变化的逐像素相位偏移。本文提出了一种基于小波的策略，用于从条纹图案中提取每行的初始空间载波频率，以进行EKF估计。本文建立了一个状态空间模型，该模型使用了正交相位分量和载波频率。未知的相位偏移可以通过前向-后向滤波器来评估。实验表明，所提出的方法能够获得准确的初始载波频率和相位偏移图，有效降低了3D重建误差，并且可以扩展到N步PSP系统。

1. 引言
相移轮廓测量（PSP）是一种广泛使用的结构光技术，用于高精度的非接触式三维（3D）形状测量。在PSP系统中，投影并解调正弦条纹图案以获取物体的3D形状。这项技术在工业检测、机器人感知和生物医学测量中得到了广泛应用[1,2,3,4,5]。在动态场景中，由于物体的运动，投影条纹图案中的相位偏移会发生变化。这些偏差通常在物体上表现出非均匀的、逐像素的空间变化[6]。PSP方法的预设参数会发生变化，包括载波频率和相位偏移。这些变化会导致解包相位和重建的3D形状中的连续相位出现误差。在实际测量中，相位偏移的不确定性主要来自两个来源：投影设备（如数字光投影仪（DLP）的非线性或时序误差[7,8]，以及物体在动态测量过程中的移动（包括平移、旋转或非刚性变形），这会引起额外的相位偏移和相位误差[9,10,11,12]。这些相位误差会降低传统PSP算法在动态场景中的可靠性，并且经常在重建中产生严重的运动伪影。研究人员通过增加投影和图像系统的采集速率来减少运动引起的误差[13,14]，这有效地减少了投影仪引入的相位偏移误差。基于条纹的3D成像框架也已被探索用于减少所需的投影图像数量[15,16]。已经提出了多种补偿方法来解决这个问题，包括物体跟踪方法[17,18]、傅里叶辅助PSP方法[19,20]、迭代最小二乘算法[21,22]、基于希尔伯特变换的方法[23,24,25]、统计属性补偿策略[26]、基于深度学习的方法[27,28,29]以及运动预测方法[30]。这些研究大致可以分为逐像素和区域估计方法。

逐像素补偿方法已经被引入来纠正运动引起的误差。郭等人[31]提出了一种用于四步相移轮廓测量的实时平均补偿方案。他们开发了一种逆分裂双三帧策略，在同一框架内生成两个相位图，并使用平均相位来补偿运动误差。这种方法受到傅里叶条纹分析方法的固有限制。郭等人[32]进一步提出了一种适用于N步相移轮廓测量的广义相位偏移估计方法，根据图像重用策略重新分组N步条纹图像，并从相邻相位图之间的差异中获得相位偏移。余等人[33]提出了一种针对四步相移轮廓测量的准逐像素补偿方案。通过利用条纹图案的周期性来估计相位步长，这种方法显著抑制了运动引起的纹波，并且对于发生非刚性变形的物体仍然有效。张等人[34]提出了一种二项式自补偿（BSC）策略，用于在多个帧中逐像素迭代补偿运动误差。李等人[28]开发了一种基于深度学习的逐像素运动补偿方法，用于快速重建动态场景的3D形状。在他们的框架中，结合了NAS设计的紧凑网络和双频条纹投影，从而实现快速准确的3D形状恢复。然而，这种数据驱动的方法需要大量的训练数据集，并且当测量条件与训练数据中的条件不同时，其泛化能力有限。赵等人[35]报告了一种旨在减少电机驱动数字条纹投影系统中运动引起的误差的逐像素方法。他们的技术采用了一种对运动敏感的相移方案，结合了电机编码器数据和相机-投影仪针孔建模，仅通过三次条纹投影就校正了像素差异和相位偏移。然而，这种解决方案高度定制于特定的电机配置，无法轻松适应更广泛的运动条件或替代硬件设计。逐像素估计方法提供了细粒度的高精度相位偏移补偿，并有效抑制了运动引起的伪影，但某些方法可能会增加计算复杂性。

区域补偿方法利用局部信息来减少运动引起的相位误差，然后将校正结果传播到整个场域。刘等人[36]开发了一种用于相移轮廓测量的补偿方案，其中通过两个连续3D帧之间的差异推断物体运动，并利用投影仪针孔模型来估计相位偏移误差。冯等人[9]提出了一种用于在动态三维测量框架内估计相位偏移的迭代方案。在这种方法中，相位误差是根据条纹的统计特性得出的，然后利用可靠的相邻像素来精细化相位误差校正。孔等人[19]提出了一种傅里叶辅助的相移轮廓测量方法，通过使用频谱信息的单帧傅里叶变换轮廓测量来补偿相位偏移，这提高了刚性运动的动态3D测量的精度，但不适用于非刚性变形。赖等人[37]提出了一种扩展卡尔曼滤波器方法用于相位偏移估计。在这种方法中，使用局部二次相位模型来获得实际相位步长并补偿不确定的相位偏移。随后，赖等人[38]开发了一种显式结合背景信息的扩展卡尔曼滤波器方案用于相位偏移估计。在他们的方法中，一个基于2D-VMD-BEMD的过程分离了背景强度并指导窗口选择，使得在动态场景下能够可靠地估计实际相位步长，从而实现更精确的3D重建。通过采用从局部到整体的策略，3D重建过程得到加速，准确性和计算效率都得到了提高。然而，它无法完全捕捉场域中所有像素的变化相位偏移。在动态场景中，由于物体运动，特别是在旋转过程中，投影期间的载波频率可能会略微偏离预设值。因此，有必要从捕获的条纹图案中获取实际的载波频率。受这些研究的启发，我们探索了一种全场自适应EKF估计方法来估计相位偏移。

为了应对动态场景中物体运动引起的全场相位偏移变化，本文提出了一种基于小波的自适应扩展卡尔曼滤波器（WAEKF）来估计额外的相位偏移偏差。采用基于小波的方案来获得载波频率，为自适应EKF估计提供初始值。从载波频率和正交分量构建的状态空间模型执行贝叶斯递归估计。当条纹图案受到物体运动干扰时，可以可靠地获得载波频率和包裹相位。实验表明，所提出的方法能够有效估计载波频率和相位偏移，从而显著提高动态场景中3D重建的精度。所提出的方法重点关注移动物体的动态测量，其中获取的条纹图案是在离线而不是实时处理的。本文的其余部分组织如下：第2节描述了所提出的WAEKF的原理和框架。第3节介绍了在平移和旋转运动下的实验验证。最后，第4节提供了结论。在EKF框架中，过程噪声协方差????表征了由于反射率波动、环境影响以及形状测量过程中未建模的扰动所引起的状态不确定性。在去除背景后，测量模型可以表示为?????(??,??)=??(????)+????（13），其中????是具有方差的测量噪声。相应的雅可比矩阵为???????=?????(????)???????=[0 1 0]（14）。EKF迭代是逐像素进行的；时间预测表示为^?????+1=???(^??+??）（15），以及?????+1=????????????????+????（16），其中????是???( ?)的雅可比矩阵：????=????(^????)?^????=?? ??100?(?????sin?????+?????cos?????)cos??????sin?????(?????cos?????+?????sin?????)sin?????cos??????? ??（17）。测量噪声矩阵使用测量值和预测值进行自适应调整，其定义为????+1?(??,??)=??′??+1?^?????+1（18），以及????+1=???????+(1???)?(????+1???????+1+????+1??????+1?????+1??）（19），其中????是创新项。????+1通过遗忘因子?? ∈(0,1]进行更新。这个参数调节了历史噪声信息和当前测量创新之间的平衡。所提出方法的测量更新表示为????+1=?????+1???????+1?(????+1??????+1???????+1+????+1)?1（20），^??+??+1=^?????+1+????+1?(??′??+1???(^?????+1))（21），以及??+??+1=?????+1?????+1?????+1??????+1（22）。在向后处理过程中应用Rauch–Tung–Striebel（RTS）平滑器来细化EKF结果。通过传递来自未来测量的信息，RTS迭代减少了每个时间步的后验误差协方差，从而产生了更加时间一致的状态估计。RTS方法本质上是非因果的，因此需要离线批量处理。包裹相位可以表示为^Φ??=arctan?^?????(3)^?????(2）（23）。

2.3 小波辅助自适应EKF的相位偏移估计
一旦得到了条纹模式的包裹相位，就可以计算连续条纹模式之间的相位偏移差异。估计的实际相位偏移可以表示为?{ { {?{ { {?^??1=0^??2=^Φ2?^Φ1^??3=^Φ3?^Φ1（24）。
根据方程（25）和（26），可以计算未知的背景强度和带有调制的正交相位分量[40]：
?? ? ? ??^???(??,??)^???(??,??)^???(??,??)?? ? ? ??=?? ? ? ????∑cos?^????∑sin?^????∑cos?^????∑cos2?^????∑cos?^????∑cos?^?????sin?^????∑sin?^????∑cos?^????∑sin2?^?????? ? ? ???1??? ? ? ??∑????∑?????cos?^????∑??k?sin?^?????? ? ? ??（25）
其中^???(??,??)、^???(??,??)和^???(??,??)分别代表背景强度、分子和分母。测量对象的高频包裹相位表示为^????(??,??)=arctan?^???(??,??)^???(??,??）（26）。
一旦获得了包裹相位，就使用双频条纹模式来解包它并恢复连续相位。最终，可以准确重建测量对象的3D形状。

2.4 所提出的WAEKF方法的框架
提出了一个WAEKF算法，用于在动态场景中逐像素估计实际相位偏移。所提出方法的框架如图2所示。WAEKF算法的框架描述如下：
步骤1：捕获测量对象的高频和低频条纹模式。基于获得的高频条纹模式，通过小波方法获取适当的初始载波频率。提取的载波频率初始化可以帮助EKF获得更准确的相位偏移。
步骤2：WAEKF方法基于相位状态空间模型构建。使用载波频率、余弦和正弦分量作为状态向量。随后，利用WAEKF获得前向状态估计。RTS平滑器在向后过程中细化前向状态估计。然后，从这些平滑后的分量中提取高精度的包裹相位。
步骤3：使用步骤2中估计的包裹相位来计算实际相位偏移图。实际相位偏移图可以利用方程（25）计算准确的包裹相位，并通过最小二乘相位偏移方法消除运动误差。
步骤4：使用双频三步PSP和改进后的2 + 1 PSP方法[6,41,42]从准确的包裹相位中恢复连续相位，从而实现高精度的3D形状重建。

3. 实验与讨论
3.1 实验设置
构建了一个结构光投影系统，包括一个相机（BaumaVCXU-31M，1280 × 800像素）和一个DLP投影仪（Light Crafter 4500），用于评估WAEKF方法对运动对象的效果。考虑平移和旋转运动来验证该方法的有效性和鲁棒性。初始参数对估计结果有重要影响，不正确的初始化设置通常会导致失败。初始调制和协方差矩阵通过分析条纹模式的灰度强度自适应确定。遗忘因子??设置为0.5，以平衡当前测量观测和先验估计。图3显示了在不同遗忘因子下的测量噪声变化。初始实验参数列在表1中。??0的值是通过小波方法获得的。图3. 不同遗忘因子下的测量噪声。表1. WAEKF算法的参数设置。

3.2 平移运动实验
使用改进的双频外差法对测量对象的平移运动进行了WAEKF方法实验。高频为64，低频为56，它们之间的拍频为8。在平移运动实验中，使用所提出的方法估计实际相位偏移，运动对象的相位偏移图如图4a,b所示。在掩膜区域内逐行和逐像素估计相位偏移步长。第400行的实际相位偏移步长如图5所示。相邻条纹模式之间的估计相位偏移大约在2.2–2.3 rad和4.3–4.5 rad的范围内变化，并且与三步PSP的预设值2???/3 rad和4???/3 rad有明显偏差。可以观察到，由于对象的运动，固定相位偏移值在实际测量中发生了变化。图4. 平移运动下的估计实际相位偏移。（a,b）所提出方法估计的三步相位偏移图。图5. 第400行的估计相位偏移。（a,b）所提出方法估计的第400行的相位偏移。图6和表2展示了传统三步PSP方法的比较。图6a–f展示了使用所提出方法和传统方法在平移运动下的3D重建结果和误差分布。从图6c可以看出，传统方法在重建的形状中显示出明显的运动诱导误差，而所提出的方法大幅减轻了这些误差。图6f中沿第400行的切线表明，使用WAEKF方法重建的相位与真实情况非常接近，而传统方法则显示出明显的偏差。图7展示了调制图，以分析低信噪比（SNR）的影响。为了消除低SNR的影响，应用了调制阈值掩膜。通过从EKF处理中排除低SNR区域，防止方程（19）中的分母接近零，从而有效避免了数值发散。评估指标显示在表2中。WAEKF方法在均方根误差（RMSE）和标准差（STD）方面相对于传统方法有显著改进。这表明所提出的方法消除了运动引起的相位误差，并实现了准确的重建。图6. 所提出方法和传统方法的平移运动实验结果。（a,c）所提出方法和传统方法的重建结果。（b,d）相应的误差分布。（e）3D重建的真实值。（f）第400行的切线。表2. 不同方法在平移运动下的3D重建结果比较。图7. 平移运动对象的调制图。

3.3 旋转运动实验
为了进一步验证WAEKF方法的有效性，进行了旋转运动实验，并使用了傅里叶辅助方法（FAPS）[19]进行比较。使用WAEKF方法估计的相位偏移如图8所示。结果表明，所提出的算法准确估计了捕获条纹的实际相位步长。第280行的实际相位偏移如图9所示。图8. 旋转运动下的估计实际相位偏移。（a,b）所提出方法估计的第280行的相位偏移。（a,b）所提出方法估计的第280行的相位偏移。图10展示了3D重建结果。使用不同方法恢复的测量对象的3D形状，如图10a–c,g–i,m所示。所提出的方法有效抑制了由旋转运动引起的运动伪影，与传统方法相比，重建的形状更加平滑。这表明所提出的算法可靠且对旋转运动具有鲁棒性。误差分布图和比较结果如图10d,e,j–l所示；可以看出，使用所提出方法恢复的相位与真实情况非常接近。为了分析低SNR的影响，图10o展示了相应的调制图。与平移情况一致，应用阈值掩膜将这些低SNR区域从EKF处理中排除，有效防止了数值发散。图10n表明，所提出方法的切线更接近真实情况。实验结果表明，即使在变形严重的区域，所提出的方法也保持了可靠的估计性能，并提高了整体重建精度。图10. 旋转实验结果，包括不同方法的3D重建和误差分布。（a,d）所提出方法。（b,e）WAEKF不使用小波。（c,f）WAEKF不使用RTS。（g,j）WAEKF使用固定R。（h,k）FAPS方法。（i,l）传统方法。（m）3D重建的真实值。（n）第280行的切线。表3. 不同方法在平移运动下的3D重建结果比较。图7. 旋转运动对象的调制图。

3.3. 旋转运动实验
为了进一步验证WAEKF方法的有效性，进行了旋转运动实验，并使用了傅里叶辅助方法（FAPS）[19]进行比较。使用WAEKF方法估计的相位偏移如图8所示。结果表明，所提出的算法准确估计了捕获条纹的实际相位步长。第280行的实际相位偏移如图9所示。图8. 旋转运动下的估计实际相位偏移。（a,b）所提出方法估计的第280行的相位偏移。（a,b）所提出方法估计的第280行的相位偏移。图10展示了3D重建结果。使用不同方法恢复的测量对象的3D形状，如图10a–c,g–i,m所示。所提出的方法有效地抑制了由旋转运动引起的运动伪影，与传统方法相比，重建的形状更加平滑。这表明所提出的算法可靠且对旋转运动具有鲁棒性。误差分布图和比较结果如图10d,e,j–l所示；可以看出，使用所提出方法恢复的相位与真实情况非常接近。为了分析低SNR的影响，图10o展示了相应的调制图。与平移情况一致，应用阈值掩膜将这些低SNR区域从EKF处理中排除，有效防止了数值发散。图10n表明，所提出方法的切线更接近真实情况。实验结果表明，即使在变形严重的区域，所提出的方法也保持了可靠的估计性能，并提高了整体重建精度。图10. 旋转实验结果，包括3D重建和不同方法的误差分布。（a,d）所提出方法。（b,e）WAEKF不使用小波。（c,f）WAEKF不使用RTS。（g,j）WAEKF使用固定R。（h,k）FAPS方法。（i,l）传统方法。（m）3D重建的真实值。（n）第280行的切线。表3总结了WAEKF方法相对于传统方法在均方根误差（RMSE）和标准差（STD）方面的显著改进。它表明所提出的方法消除了运动引起的相位误差，并实现了准确的重建。图10. 旋转运动实验结果。（a,c）所提出方法和传统方法的重建结果。（b,d）相应的误差分布。（e）3D重建的真实值。（f）第400行的切线。表3. 不同方法在旋转运动下的3D重建结果比较。图7. 旋转运动对象的调制图。

3.4. 讨论
所提出的框架为解决动态测量中的运动诱导误差提供了一个可行且有效的解决方案，尽管仍有几个方面需要进一步研究。需要注意的是，当前框架在3D重建过程中采用离线方式执行运动误差补偿，这限制了其实时应用的可行性。此外，该方法在高速运动条件下的鲁棒性仍有待进一步研究。而且，高度复杂的物体几何形状或突然的深度不连续性仍可能影响条纹分析的稳定性并降低重建精度。未来的工作将重点通过集成先进的高速投影仪和摄像机、增强实时能力以及优化背景，来进一步提高系统性能，从而进一步减少由于物体移动而产生的运动伪影。

4. 结论

本文提出了一种基于小波辅助自适应EKF（Extended Kalman Filter）的逐像素相位偏移估计算法，用于解决3D重建测量中由运动引起的相位误差问题。在本研究中，使用正交分量和载波频率构建了状态空间模型。小波辅助方法可以从条纹图案中提取初始载波频率，作为先验信息来约束自适应EKF的逐像素估计过程。所提出的估计算法从WAEKF（Wavelet-Assisted EKF）估计的正交分量中得出相位值，并通过计算连续图案之间的相位偏移差异来实现精确的3D形状重建。实验表明，所提出的WAEKF方法有效减少了由物体运动造成的相位误差，提高了动态测量下的重建精度。该方法为工业环境和生物医学成像中的3D感知提供了实用的参考方案，因为在这些场景中运动是不可避免的。例如，在牙科正畸生物医学成像中，通过补偿扫描过程中设备和头部运动引起的相位误差，系统可以在不需要患者完全静止的情况下获得更准确的3D牙齿形态。最终，所提出的WAEKF框架为涉及运动的场景提供了高精度3D重建的可靠解决方案。