用于线材拉拔过程中现场测量和控制的机器视觉技术 布雷登·麦克莱恩（Braden McLain）、 雷米·马塞尼亚（Remy Mathenia）、 托德·斯帕克斯（Todd Sparks） 以及 弗兰克·刘（Frank Liou）

《Machines》：Machine Vision for In Situ Measurement and Control of Wire Stickout in LWDED Process Braden McLain, Remy Mathenia, Todd Sparks and Frank Liou

　　摘要：本研究提出了一种基于机器视觉的测量与控制框架，用于激光丝材定向能量沉积（LWDED）工艺。该框架采用可见光相机系统捕捉熔池图像，并通过一种新颖的视觉算法提取丝材与熔池的交汇位置。由于相机牢固地安装在沉积头上，该算法能够确定喷嘴尖端与工件之间的距离（即丝材伸出长度）。通过利用这一测量结果，系统实施了比例-微分（PD）控制策略来调节沉积速率。实验结果表明，该控制系统能够有效弥补层厚不均匀的问题，从而确保薄壁结构的建造始终符合目标几何形状。

1. 引言
增材制造是一种通过逐层添加材料来构建零件或接近零件形状的工艺，这与传统的减材制造技术形成对比（后者从块状材料开始，不断去除多余部分直至达到所需形状）。由于其在物流和几何灵活性以及资源利用效率方面的优势，增材制造在过去30年里受到了广泛研究，并在汽车、航空航天、生物医学和能源等行业中得到了的应用[1]。定向能量沉积（DED）是一种常见的增材制造技术，其中输入材料被送入集中能量源以形成所需的几何形状。DED技术的优势在于其高沉积速率以及能够制造大型零件的能力[2]。DED工艺主要使用两种输入材料：丝材和粉末。与粉末DED相比，丝材DED具有更高的沉积速率、更低的材料成本、接近100%的材料利用率以及更清洁的工作环境[3]。丝材DED通常通过激光器或焊接装置来施加能量。

丝材沉积过程的一个独特特征是材料转移状态，也称为“稳定状态”，它描述了进入材料与熔池及工件之间的相互作用。材料转移状态可分为“稳定”“滴落”和“断裂”三种类型。稳定沉积状态下，丝材尖端持续向熔池输送熔融金属[4]，这需要熔池内具有适当的能量浓度。这是最理想的转移状态，因为这样可以确保沉积层的一致性和降低缺陷发生率。当丝材进入熔池后未能完全熔化时，会发生断裂沉积，导致丝材撞击工件并发生偏移[5]；这种情况可能引发外部缺陷（如未熔化的丝材从工件表面突出）或内部缺陷（如熔合不良）[6]。在滴落沉积状态下，过多的能量会导致丝材在接触工件之前就发生熔化，表面张力会使熔融金属形成液滴并悬浮在工件上方，最终因重力作用滴落[7,8]。这两种不稳定状态都可能影响零件的最终质量。材料转移不稳定的现象还可能对沉积设备造成损害，例如导致丝材卡住或接触头堵塞。这两种状态通常都是由于熔池内的能量不足引起的。

影响沉积过程中熔池能量浓度的关键因素之一是偏移高度。虽然激光能量与丝材的接触位置在沉积过程中保持不变（因为丝材相对于激光的位置受到机械限制），但构建高度的变化会影响丝材与工件之间的能量分配。沉积层中的凸起区域可能导致过多能量集中在工件上，而凹陷区域则可能导致能量过多集中在丝材上[1]。图1展示了这种效应。理想情况下，沉积系统与工件之间的偏移应保持恒定。然而，由于工件在沉积过程中的热积累，恒定的工艺参数可能会导致几何形状不均匀[9]。因此，实时监测沉积位置并实施反馈控制对于弥补这些几何误差至关重要。

2. 材料与方法
2.1. 沉积设备
本研究使用的沉积设备由密苏里科技大学的学生开发，专为Ti-6Al-4V材料设计，属于LWDED类型。该设备的主要组成部分包括运动系统、丝材输送装置、激光器和光束输送装置。运动系统由定制的Delta机器人控制，采用LinuxCNC控制系统。丝材输送采用两级喂料系统：批量喂料由Miller Autocontinuum 500（Miller公司，美国威斯康星州密尔卢基）完成，精确喂料由Dinse DIX FD 200 M（Dinse公司，美国伊利诺伊州伍德戴尔）负责。激光器为4 kW 1070 nm Laserline LDF 4000-30（Laserline公司，美国密歇根州利沃尼亚）。光束输送通过Fraunhofer COAXwire激光处理光学系统实现（Coaxworks公司，德国德累斯顿），该系统将入射光束分成三束，呈120度角环绕丝材。由于Ti-6Al-4V对氧气高度敏感，沉积环境周围始终充满氩气以防止氧化。沉积设备及过程用相机如图2a所示。

2.2. 机器视觉工具的开发
本研究开发的机器视觉工具用于量化沉积头与工件之间的丝材伸出长度。所用相机牢固地安装在沉积头上，可实时计算两者之间的距离。该工具通过计算丝材-熔池界面的质心位置来确定丝材伸出长度。图3展示了丝材与熔池界面的检测结果。

2.2.1. 视觉算法
视觉算法分为四个步骤：首先，通过将8位灰度图像二值化将熔池区域与背景分离；接着，在二值图像中选择最大的轮廓作为熔池边界，得到沿熔池周长的离散点集；然后通过分析边界附近轮廓点的方向来确定熔池上缘；最后，通过寻找边界上方向变化最大的两点来确定丝材-熔池的交点位置。图4详细展示了视觉算法的每一步骤。

2.3. 数据分析与控制
本研究提出了一种基于视觉的测量技术与反馈控制结构，用于LWDED工艺。可见光相机捕捉熔池图像，并将这些图像输入机器视觉算法中以精确定位丝材-熔池界面。由于相机安装在沉积头上，因此可以通过测量丝材伸出长度来调节沉积速率，从而补偿几何变化，实现更均匀的沉积效果。这些边缘点是通过计算定向信号沿顶部边界的离散导数来识别的。（7）两个最大的峰值分别代表了焊丝-熔池界面的左右边缘。然后可以通过将顶部熔池轮廓索引限制在特定范围内来找到这些边缘点。接着，熔池界面的点集就是从原始点集P中筛选出的位于该索引范围内的点。熔池界面的中心点被确定为焊丝的凸出高度。（8）（9）2.2.2. 方向性效应由于摄像机在沉积过程中固定在机器人上，运动方向的变化会对应于观察到沉积角度的变化。为了探索观察角度变化对焊丝凸出度的影响，创建了一个模拟实验。该模拟使用CAD渲染的熔池和焊丝几何形状从熔池上方的一定距离拍摄图像。然后将虚拟摄像机绕CAD几何形状旋转360度，并使用之前描述的焊丝-熔池界面视觉算法进行分析。虚拟摄像机绕熔池旋转360度模拟了沉积过程中的运动方向变化。图5所示的结果表明，测量高度与观察角度之间存在正弦关系。这意味着方向上的离散变化会表现为信号的静态偏移变化。这种关系意味着，只要始终知道运动方向，所提出的视觉算法就应该能够测量任何方向上的沉积高度。由于本工作专注于双向薄壁沉积，因此可以对整个结构使用单一的方向补偿值。这种方法可以通过基于图5所示的正弦关系对输入数据进行标准化来进一步发展，以实现全二维运动控制。图5. 观察角度与感知到的焊丝凸出度之间的关系。（a）来自观察角度模拟的图像。红色表示熔池，绿色轮廓显示了交点位置。（b）显示随着观察角度变化的高度差异的图表。数据经过了正弦拟合处理。2.2.3. 测量的物理解释图6展示了所提出的视觉测量方法的工作原理。该方法通过确定焊丝-熔池界面相对于沉积头的位置来估算焊丝的凸出量。这种视觉工具并不提供实际的焊珠高度或工件位置的测量值，其优势在于它能够提供具有视觉意义的测量结果，从而量化沉积位置。视觉测量包含了关于熔池状态的多个方面的信息，包括工件位置、沉积层高度以及焊丝-熔池界面的状况。如图6a和b所示，测量结果主要受工件位置的影响，工件位置决定了稳定沉积过程中的熔池位置。对于控制参数的微小变化，凸出度测量结果与工件位置大致呈1:1的比例关系，这使得它在大多数实际沉积条件下都能作为有效的反馈信号。图6. 机械视觉工具测量的沉积位置示意图。（a）具有预期凸出度的沉积的视觉测量点。（b）具有恒定高凸出度的沉积的视觉测量点。沉积热状态的大变化会影响焊珠高度和焊丝界面位置。如图6所示，测量位置并不完全随工件位置的变化而变化。这是因为工件位置的变化会导致热状态的变化，使得更多的能量集中在焊丝上而非工件上。这种现象已被研究并被称为工件照明比例（WIP）。照射在焊丝上的能量增加会导致熔池界面位置上升，从而使焊珠高度增加[25]。在更极端的偏离情况下，焊丝上的高能量集中会导致连接状态变弱，此时焊丝-熔池界面会被推得过高，导致沉积过程中出现滴落现象，如图6b所示。这种传感和控制技术的目标是保持整个沉积过程中的凸出度高度一致，防止WIP出现较大变化。2.3. 控制结构所提出的机械视觉工具测量焊丝-熔池界面相对于机器人位置的变化。随着机器人逐层沉积，凸出度测量结果的偏差表明了沉积几何形状高度与机器人Z轴移动高度之间的差异。实时计算焊丝的凸出量可以估算出工件位置，从而进行现场工艺调整以弥补几何上的不准确性。2.3.1. 控制器设计控制系统利用了机器移动速度（也称为进给速率）与系统输入材料总量之间的关系。由于LWDED工艺的材料利用率接近100%，因此系统输入的材料量可以表示为：（10）系统输入的材料量与进给速率成反比。需要更多材料的工件位置可以通过降低移动速度来补偿；相反，需要较少材料的区域可以通过提高移动速度来补偿。较高的凸出度值表示工件位置低于标称值，而较低的凸出度值表示工件位置高于标称值。建立了这些关系后，就可以实施误差函数和控制算法。误差函数使用了一个理想的参考焊丝凸出度测量值。时间函数中的误差是当前测量得到的焊丝凸出度值与期望凸出度位置之间的差异。所使用的控制算法是比例-微分（PD）控制器。选择控制器增益值使得控制器的输出信号为一个进给覆盖值，该值对应于相对于标称进给速率的百分比偏差。（11）（12）2.3.2. 控制系统架构图7显示了焊丝凸出度控制的框图，图8显示了信号的数据流图。PD控制器的输入是误差信号。控制器输出控制信号，该信号传递给硬件-软件接口服务。该服务接收来自PD控制器的进给覆盖值并调整沉积过程的进给速率。随着过程的进行，监控摄像机继续捕获图像，这些图像被传递到机械视觉脚本中进行测量。图7. 焊丝凸出度控制结构的框图。图8. 显示摄像机图像测量结果如何传递到机器控制器的数据流图。OpenCV用于从摄像机捕获图像并将其传递到机械视觉脚本。视觉工具通过共享内存队列将其焊丝凸出度测量结果传递给PD控制器。由于PD控制器和机械视觉脚本是在并行进程中运行的，因此这个队列是必要的。控制器的输出通过基于HTTP的Web服务器传递给硬件-软件接口。接口利用LinuxCNC的硬件抽象层来调整机器的进给速率。系统响应时间已经过测试，并显示在表1中。总响应时间包括帧捕获、机械视觉计算、控制信号生成、通信和动态响应。两个主要的时间影响因素是摄像机帧率和机器的动态响应。动态响应是通过测量机器从100%进给速率增加到140%进给速率所需的时间来确定的。总系统响应时间为64.5毫秒，这是可以接受的，因为此高度控制系统的主要目的是纠正多层沉积过程中累积的低频误差。表1. 测量的系统延迟。2.4. 测量和控制验证该工作的目标是创建一个能够纠正沉积过程中产生的高度变化的工具。这些变化主要是由于工艺参数与最终焊珠几何形状之间的非线性关系造成的，后者受到整个构建过程中热量积累的影响。为了验证该工具能够量化单层内的高度偏差，在基底上铣出了不同深度的槽位，然后在这些槽位上进行沉积并进行了机械视觉测量。为了验证该工具量化层与层之间高度不一致性的能力，使用相同的工艺参数（不包括Z轴移动高度）沉积了两层薄壁。随后记录并比较了视觉测量结果。最后，为了验证控制器的能力，在不同的Z轴移动高度下进行了三次沉积实验，有的情况下进行了控制，有的情况下没有进行控制。故意增加不正确的层高增量可以考验控制器是否需要持续进行校正。3. 结果图9显示了稳定焊珠沉积过程中的凸出度测量结果。沉积开始和结束时的峰值分别对应于接触和回抽过程的位置。随着熔池增长到标称高度，凸出度相应减少。当机器人开始移动时，测量结果保持稳定，直到沉积结束时的回抽动作。图9. 具有材料堆积的稳定沉积的凸出度数据。3.1. 测量结果验证为了验证该工具能够在单层沉积过程中测量高度变化，在基底上铣出了深度分别为0.020英寸和0.040英寸的槽位，然后在这些槽位上进行沉积。使用两种不同深度的槽位是为了验证该工具对工件位置变化的敏感性。测量结果显示工件位置（槽位深度）与测量值之间存在强相关性。为了确保槽底不会出现滴落现象，实验中使用了相对较低的激光功率。因此，在大多数沉积过程中都出现了焊丝末端被卡住的现象。这种卡住现象表现为测量高度数据中的大幅跳跃，即焊丝接触工件时位置迅速变化。一旦沉积达到稳定状态，其在整个焊珠长度内都保持稳定。测量结果清晰地显示了机器人移动经过槽位的过程。图10. 不同槽位深度下沉积过程的凸出度与时间的关系。为了验证该工具是否能够测量层与层之间的凸出度变化，使用了不同的Z轴移动高度沉积了三层焊丝。第一层使用0.060英寸的Z轴移动高度，第二层使用0.070英寸的Z轴移动高度。每次沉积的焊丝凸出度都被测量并绘制在图11中。两层的标称焊珠高度大约为0.065英寸。图11a显示，当编程的Z轴移动高度低于实际沉积的焊珠高度时，测量得到的凸出度减小。图11b显示，当编程的Z轴移动高度高于实际沉积的焊珠高度时，凸出度增加。图11. 不同Z轴移动高度下三层焊丝的凸出度测量结果。（a）0.060英寸Z轴移动高度的凸出度测量与时间的关系。（b）0.070英寸Z轴移动高度的凸出度测量与时间的关系。3.2. 控制结果图12b显示了在上述增益设置下，控制系统在图12a输入条件下的输出结果。控制系统产生了预期的效果，即输出信号与输入呈反比关系。在高凸出度位置，机器人减速；在低凸出度位置，机器人加速。沉积开始和结束时的快速变化部分代表了熔池形成和回抽过程。沉积开始和结束时的速度增加是控制系统对边缘堆积情况的响应。出于安全考虑，控制器的输出被限制在60%和140%的范围内。图12. 标准沉积条件下控制系统的输入和输出信号。（a）沉积过程中的凸出度测量与时间的关系。注意，此测试中将设定点设置为1245像素。（b）根据相对输入，控制器给出的进给覆盖输出信号与时间的关系。为了测试控制系统实时调整沉积高度的能力，沉积了六个薄壁结构。这些结构的Z轴增量为0.060英寸、0.065英寸和0.070英寸，并分别进行了有控制和无控制的情况实验。每个结构所需的沉积高度为14层。根据标称参数，每个沉积的珠状物的高度大约为0.065英寸。所有有控制的沉积都能达到所需的14层高度。只有0.065英寸的壁在没有控制的情况下也能达到14层高度。0.060英寸、0.065英寸和0.070英寸Z轴增量的沉积结果分别显示在图13、图14和图15中。

图13. 0.060英寸Z轴增量沉积的有控制和无控制结果。由于标称珠状物高度为0.065英寸，随着层数的增加，沉积物容易发生凸起现象。(a) 无控制且Z轴增量为0.060英寸的沉积。(b) 无控制时0.060英寸Z轴增量的凸起高度随时间的变化。(c) 有控制且Z轴增量为0.060英寸的沉积。(d) 有控制时0.060英寸Z轴增量的凸起高度随时间的变化。

图14. 0.065英寸Z轴增量沉积的有控制和无控制结果。由于标称珠状物高度为0.065英寸，Z轴增量与沉积的几何形状非常匹配，使得这种无控制情况下的沉积最为稳定。尽管如此，在沉积开始和结束时仍会发生材料堆积导致的凸起现象。(a) 无控制且Z轴增量为0.065英寸的沉积。(b) 无控制时0.065英寸Z轴增量的凸起高度随时间的变化。(c) 有控制且Z轴增量为0.065英寸的沉积。(d) 有控制时0.065英寸Z轴增量的凸起高度随时间的变化。

图15. 0.070英寸Z轴增量沉积的有控制和无控制结果。由于标称珠状物高度为0.065英寸，Z轴增量超过了沉积的几何形状，因此在没有控制的情况下容易发生滴落现象。(a) 无控制且Z轴增量为0.070英寸的沉积。(b) 无控制时0.070英寸Z轴增量的凸起高度随时间的变化。(c) 有控制且Z轴增量为0.070英寸的沉积。(d) 有控制时0.070英寸Z轴增量的凸起高度随时间的变化。

4. 讨论
4.1. 测量结果讨论
图9、图10和图11中的凸起高度测量曲线表明，视觉工具能够成功跟踪整个沉积过程中工件高度的相对变化。图10显示，当沉积头经过工件较低的位置时，会观察到凸起高度的增加。还可以看出，随着凸起高度的增加，其与工件位置的关系变得不那么直接。这是因为熔池-焊丝的能量平衡发生了变化，导致更多的能量作用于焊丝上。这种额外的能量改变了焊丝-熔池界面的位置，如图6所示。图9中的曲线代表了多层沉积的情况，其中在珠状物开始和结束处的材料堆积形成了局部凸起的部分，这导致每次沉积开始和结束时凸起高度降低。这与图11a和b中的第一层形成对比，在那里测量结果在熔池形成后保持相对平稳，因为沉积是在平坦的基板上进行的。这些测量结果的差异突出了测量的物理特性：该工具捕捉的是沉积基板的表面轮廓，而不是沉积珠状物的绝对高度。这一区别很重要，因为测量结果代表了相对于标称参考值的几何偏差，这足以用于反馈控制，但不应被解释为直接的珠状物高度测量。

该工具的一个显著局限性是对沉积过程中不稳定性的敏感性。凸起事件会导致焊丝在熔池内的快速不规则移动，使其几何形状难以跟踪。同样，滴落沉积会改变熔池的预期形状和标称位置，从而降低测量质量。由于这些限制，将此工具与[28]中讨论的稳定性状态分类工具结合使用将是有利的。根据稳定性分类对凸起高度测量值进行过滤可以减少不稳定事件对控制信号的影响。

该工具还表现出对沉积方向变化的鲁棒性。通过应用一个静态方向偏移量，实现了双向测量补偿，从而在相反的移动方向上获得一致的凸起高度测量结果。虽然这种方法对于本研究中考虑的双向几何形状已经足够，但可以通过将图5中识别的正弦方向响应映射到实际移动方向上，来实现完整的二维工具路径补偿。

4.2. 控制结果讨论
如图13、图14和图15所示，机器视觉工具能够提供控制反馈信号以补偿沉积高度的变化。这些结果的总结见表2。在0.060英寸Z轴增量的情况下（见图13），编程的增量高度小于标称珠状物高度，导致工件逐渐靠近沉积头。如果没有控制，测量的凸起高度会随层数增加而减少，直到在第11层时凸起严重到足以停止沉积。控制系统通过增加进给速率来减少单位长度的材料输入，有效限制了高度累积，从而在整个14层中保持稳定的沉积。图14中显示的0.065英寸Z轴增量的沉积都完成了全部的14层。然而，在后续层中，珠状物开始和结束处的材料堆积在无控制壁的外缘引起了局部凸起。控制算法能够减少开始和结束处的材料堆积，避免了局部凸起现象。图15的结果显示，如果没有控制，编程的0.070英寸Z轴增量超过了标称珠状物高度，导致工件越低时凸起高度逐渐增加，从而在第8层时发生滴落沉积。控制系统通过降低进给速率来增加单位长度的材料输入，恢复了标称的凸起高度，并在整个沉积过程中保持稳定沉积。

表2. 控制测试的结果总结
当前控制策略的一个限制是单输入、单输出的框架。虽然进给速率调整对于校正高度偏差有效，但它同时改变了单位长度的材料输入，从而影响珠状物的宽度和热历史。需要增加材料以补偿高度的沉积区域会导致局部珠状物变宽，从而使整个壁的厚度不均匀。此外，进给速率的变化会影响熔池内的能量分布，从而导致整个沉积过程中的热历史不均匀。将进给速率控制器与激光功率控制回路相结合，可以调节几何形状和热输出，从而减少这些次要效应。更广泛地说，多输入、多输出的控制系统可以将沉积过程视为一个多变量优化问题，其中参数调整旨在最大化几何精度，同时最小化不希望出现的次要效应，如宽度变化和热不均匀性。本文介绍的高度测量工具可以作为这种更广泛控制架构中的一个传感元件。

5. 结论
本工作的目标是开发一种能够在LWDED（激光焊接 deposition）过程中进行原位测量和控制的机器视觉工具。原位测量凸起高度可以用来补偿由于热积累引起的沉积高度变化。实验验证表明，该工具可以准确检测单个沉积轨迹内和多层之间的凸起高度变化。然后使用凸起高度测量工具创建了一个控制系统，该系统能够纠正薄壁结构中不正确的层高Z增量。未来的工作将重点进一步提升该工具的功能，包括：集成多方向补偿能力以支持完整的二维运动；将传输状态分类集成到基于过程稳定性的凸起高度测量中；将凸起传感器作为更广泛的多输入、多输出控制框架中的一个输入。