一种结合辅助面阵相机的线阵相机高精度动态标定与无畸变图像生成新方法

《Optics and Lasers in Engineering》：A novel high-precision dynamic calibration and distortion-free image generation method for line-scan cameras with an auxiliary frame camera

　　

• 提出了一种线阵相机的动态高精度标定方法。
• 建立了带有几何约束的新型动态扫描成像模型。
• 采用辅助帧相机实现精确的内参和外参估计。
• 引入姿态-扫描校正方法，实现无畸变图像生成。
• 提高了高速视觉系统的精度和可用性。

引言

随着精密部件自动化生产线的快速发展，对大规模、高速、高精度的视觉测量技术的需求日益增长，以支持大面积微结构产品的特征尺寸和缺陷的在线测量与检测[[1]，[2]，[3]，[4]，[5]，[6]]。线阵相机（LSCs）凭借其高分辨率和高采集帧率的独特优势，已广泛应用于大型工件的在线测量中。相机的内参和外参标定是在线视觉测量的关键步骤，它将图像数据转换为精确的世界坐标，从而实现对所捕获图像中物体尺寸的准确测量。因此，相机标定算法在测量精度中起着决定性作用，是实现高精度测量的基础[[7]，[8]，[9]，[10]，[11]]。然而，线阵相机采用逐行扫描模式工作，每次成像仅获取单行图像数据，这导致其成像模型具有显著的动力学特征，使得线阵相机的标定过程远比帧相机更为复杂。此外，现有的帧相机标定方法难以直接迁移到线阵相机上，高速线阵相机的标定精度仍有待提高。

现有的线阵相机标定方法可分为两大类：静态标定和动态扫描标定。静态标定通过建立一维成像信息与目标之间的映射关系来估计相机参数。该方法通常依赖于包含若干实体特征线的标定板。Horaud等人[12]首次提出了一种静态标定方法，利用交比不变性计算特征线与成像平面交点的三维坐标。然而，该方法要求标定目标沿Y轴和Z轴进行高精度平移，操作较为复杂。Luna等人[13]设计了一种由不同高度的平行平面组成的三维标定物体，避免了对二维平面目标进行平移的需要。然而，这对三维标定物体的制造精度要求较高，且物体上的特征点数量有限。Li等人[14]在Horaud和Luna标定方法的基础上，提出了一种两步标定方法，避免了对二维平面目标进行高精度平移的要求。然而，它仍然需要定制化的三维标定物体，并且存在标定物体上特征点数量少以及未考虑镜头畸变引起的非线性效应等问题。在其后续研究中，Li等人[15]借鉴Zhang的帧相机标定方法[16]，设计了一种二维平面标定板。该方法可以克服之前研究中标定物体特征点数量少的问题，考虑并优化镜头畸变的影响，提高标定精度。然而，该方法需要定制化的标定物体。Sun等人[17]引入了激光跟踪仪辅助标定，灵活地采集多空间位置的非共线特征点。虽然该方法提高了标定的灵活性，但激光跟踪仪的测量精度水平也会影响标定精度。Song等人[18]设计了一种带有编码信息的八卦纹标定物体，扩大了标定范围，能够从多个方向获取更多的有效编码信息。然而，标定物体必须定制化，导致复杂度高、制造难度大且难以保证精度。Liao等人[19]针对线阵相机的偏心率误差，设计了一种空心条纹三维标定物体以提高标定精度并降低成本。然而，这种三维标定物体同样存在制造复杂和特征点数量少等问题。由此可见，静态标定存在依赖定制标定物体、特征点数量有限、特征坐标提取算法复杂以及适用范围窄等问题，并且对动态场景的适应性不足。

与静态标定不同，动态扫描标定通过线阵相机与目标之间的相对运动，持续获取一维图像形成二维图像，然后进行标定。Drareni等人[20]首次使用扫描的棋盘格图像进行线阵相机标定。Donne等人[21]进一步通过正则化单应矩阵H来优化该方法，解决了目标接近平行于成像平面时的退化问题。然而，该方法未考虑镜头畸变，并要求相机在Y轴方向上以恒定速度移动。Hui等人[22]将相机坐标系的三个运动方向参数（TX、TY和TZ）引入线阵相机成像模型。在此基础上，Hui等人[23]通过直接线性变换和标定参数的线性解析解进一步优化了线阵相机标定方法。然而，尽管该方法解除了线阵相机沿Y轴移动的限制，但仍然假设扫描过程为恒定速度，并且需要定制的三维标定目标。后来，Hui等人[24]使用液晶显示器获得平面标定物体的均匀运动，替代了线阵相机的移动，消除了对笨重机械线性运动平台的需要。尽管Hui等人提出的模型参数化了运动方向，但它并未标定和利用这些参数来校正扫描方向的固有偏差或扫描图像的几何畸变。由此可见，虽然现有的动态标定方法逐渐摆脱了对复杂定制标定目标的依赖，但这些方法的成像模型假设线阵相机沿固定轴以恒定速度移动。然而，在实际工业测量场景中，由于安装误差和运动平台振动，线阵相机无法满足这一假设，导致成像模型畸变并降低标定精度。最关键的是，现有的成像模型均未考虑线阵相机实际安装中不可避免的扫描方向偏差，缺乏偏差标定和校正手段。这导致扫描图像中出现无法有效校正的几何畸变，从而降低了扫描图像质量并影响检测精度，尤其是在半导体晶圆和电子微部件的检测中。

关于扫描方向固有偏差，具体而言，在实际测量中，线阵相机可能受到安装空间限制、机械振动和装配精度的影响，导致安装误差。这些误差会导致线阵相机的行扫描方向轴（Y轴）、横向轴（X轴）和光轴（Z轴）出现角度偏差，分别对应横滚角、俯仰角和偏航角，从而在运动扫描过程中引起图像畸变。在本研究中，在对被测物体进行平面校正时，我们将世界坐标系设置在物体平面上，其中z坐标保持不变。俯仰角的大小不影响扫描图像，因此我们主要考虑横滚角和偏航角的影响。横滚角导致相机的扫描方向倾斜，使成像平面沿扫描方向倾斜和偏移，导致扫描图像整体倾斜畸变，并伴有拉伸或压缩。相比之下，偏航角导致相机扫描方向产生水平偏移，引起扫描图像的位置偏移畸变。上述场景在图1(a)、(b)和(c)中进行了说明。除了需要校正线阵相机图像的畸变外，在实际测量中，被测平面物体的放置姿态通常存在偏差（例如绕垂直于物体平面的轴旋转或与行扫描传感器平面不平行），如图1(d)、(e)和(f)所示。这些偏差会导致扫描图像整体倾斜、特征点相对位置偏移等问题，降低扫描图像质量。因此，线阵相机的标定需要标定扫描方向以校正扫描方向偏差，以及转换平面物体的实际姿态以校正其放置姿态，从而实现畸变图像的校正。

综上所述，现有的标定方法依赖于定制化标定物体，存在特征点数量有限、特征坐标提取算法复杂和适用范围窄等问题。相反，动态标定方法受限于其扫描运动方向和恒定扫描速度，未能考虑和标定因安装误差导致的实际扫描方向偏差。因此，有必要提出一种新的线阵相机标定方法，在考虑运动方向偏差的基础上，对扫描畸变图像进行校正，并对平面物体进行姿态变换。

针对上述挑战，本文提出了一种使用辅助帧相机的线阵相机动态扫描标定方法。该方法考虑了扫描运动信息，为线阵相机构建了新的动态成像模型。利用辅助帧相机和常规平面标定板，精确获取线阵相机的内参和外参、畸变系数和扫描向量。通过使用平台上配备的微米级光栅尺或编码器等位置传感器，该方法消除了相机必须沿固定方向移动的限制和恒定速度运动约束，从而显著提高了标定的适应性和精度。在此基础上，提出了一种基于行扫描速度矩阵的实时姿态-扫描图像校正与变换方法。该方法根据标定参数和扫描方向向量引入行扫描速度矩阵，推导了平面物体实际姿态与变换后姿态下扫描图像之间的关系，实现了图像的逐像素校正和变换。因此，它放松了对线阵相机和被测物体安装与放置姿态的限制，有效消除了因线阵相机实际扫描方向偏差引起的扫描几何图像畸变，通过扫描校正和姿态变换实现了平面物体的优质图像生成。与当前同样采用辅助帧相机的研究相比，我们的方法支持扫描向量标定，消除了恒定速度约束，并实现了畸变图像的校正。

本研究的主要贡献包括：1）构建了包含扫描运动信息的新颖动态成像模型；2）提出了帧相机辅助的线阵相机标定方法，使用通用的二维标定板，无需特殊设计的标定板；3）与传统方法不同，所提出的方法可以显著提高标定适应性，不再受运动方向和恒定速度限制；4）通过校正扫描相机的安装姿态误差和被测平面物体的放置偏差，所提出的方法可以有效消除扫描几何畸变，获得高质量扫描图像。

本文其余部分组织如下。第2节介绍了一种使用辅助帧相机的动态扫描标定方法以及线阵相机扫描图像校正与变换方法。第3节介绍了为评估各种因素对所提出标定方法精度影响的仿真实验。第4节搭建了线阵相机视觉检测实验平台，并对所提出的标定方法进行了实验验证。通过将所提出标定方法的实验结果与各种现有标定方法的实验结果进行比较，验证了其有效性和先进性。第5节讨论实验结果，第6节总结全文。

方法

线阵相机因其高速和高分辨率而被广泛应用于工业视觉测量中。然而，对于在线检测，它们依赖于复杂结构的特殊标定物体，受扫描方向和恒定扫描速度的限制，并且缺乏对扫描方向的标定。

这些问题通常会导致扫描畸变，使得校正或变换扫描图像变得困难，从而降低图像质量。我们有效解决了上述问题。仿真分析：通过设计四组仿真实验，系统评估了各种因素对所提出标定方法精度的影响；因此，针对以下四个因素进行了系统分析：特征点定位误差、辅助相机位姿估计误差、特征点数量和特征点深度分布。所有实验均采用控制变量法，在设定条件下进行100次独立重复试验。标定实验验证：为实验验证所提出标定方法的实际性能，我们开发了一套LSC视觉检测系统。实验中使用的主要设备包括LSC、辅助帧相机、光栅尺和运动平台（图6），其具体型号和参数列于表3中。一个分辨率为0.1 μm的光栅尺安装在直线运动平台上，用于实时位置反馈。在LSC之间建立了硬件触发联动。讨论：从图7和图8可以看出，所提出方法在总体误差水平上显著优于Donne方法和Hui方法。此外，重投影误差表现出高度一致性和稳定性。重投影误差的均方根值列于表6中。与Donne方法相比，Hui方法将重投影误差降低了16.0%。与文献[23]中的现有方法相比，所提出方法实现了70.3%的重投影误差降低。结论：传统LSC标定依赖于结构复杂的特殊标定物体，受限于扫描方向和恒定扫描速度，且缺乏扫描矢量标定，导致扫描畸变以及无法校正或变换扫描图像。我们通过提出一种利用辅助帧相机和无畸变图像生成的高精度LSC动态标定方法来解决这些问题。该方法建立了一种新颖的动态成像。作者贡献声明：郑卓军：撰写—初稿，软件，方法论，概念设计。卓晓瑞：撰写—审阅与编辑，撰写—初稿，调查研究，形式分析，数据整理。郑金辉：验证，软件，资源，调查研究。高建：撰写—审阅与编辑，资源，资金获取。张 lanyu：监督，项目管理。利益冲突声明：作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。致谢：本工作部分受到中国国家自然科学基金项目（资助号U20A6004）、广东省研发项目（资助号20220166003240）以及精密电子制造技术与装备国家重点实验室项目（资助号JMDZ202316）的支持。郑卓军 | 卓晓瑞 | 郑金辉 | 高建 | 张 lanyu