《Expert Systems with Applications》：Multi-object droplet tracking for high-frame-rate video analysis in wire-arc welding processes
编辑推荐：
气金属弧焊中基于YOLOv8和ByteTrack的液滴动态跟踪框架研究，提出DropletTrack框架通过改进的多目标跟踪算法解决高帧率（≥4000FPS）焊接图像中液滴跟踪难题，实现传输模式定量分析及焊接质量评估。
冯石|慧金
中国东南大学土木工程学院工程力学江苏省重点实验室，南京211189
摘要
随着高帧率成像技术的迅速普及，可以清晰地捕捉到液滴、电弧和熔池的瞬态动态，为气体金属弧焊（GMAW）和线弧增材制造（WAAM）中的高级监测提供了新的机会。然而，以数千帧每秒的速率捕捉图像对快速检测和分析提出了重大挑战，使得在非常短的时间尺度上实现连续可靠的跟踪变得困难。为了解决这一难题，通过扩展ByteTrack多目标跟踪（MOT）范式并将其与YOLOv8检测器集成，开发了一个专门的DropletTrack框架。该框架能够在高速成像下实现可靠的液滴识别、自动计数和轨迹重建。此外，通过分析液滴轨迹、着陆位置以及基于像素的液滴面积和沉积体积估计，该框架支持对传输模式、送丝稳定性和电源条件的定量评估。将该框架应用于四种焊接电流，证明了其重建数千条液滴轨迹的能力，提供了关于尺寸分布、空间行为和跟踪范围的统计见解。帧率敏感性分析进一步表明，更高的焊接电流对成像速度提出了更严格的要求，可靠的跟踪至少需要4000 FPS的帧率。这项工作为在弧焊中应用MOT进行液滴监测建立了一种实用的方法，为焊接质量评估提供了途径。
引言
气体金属弧焊（GMAW）是一种高效的焊接技术（Cheng等人，2021年）。在这个过程中，填充金属丝连续且自动地输送到电弧中，在那里被熔化并转移到熔池中。基于类似原理，线弧增材制造（WAAM）被认为是一种经济高效的技术，可用于制造大规模金属部件（Cunningham等人，2018年；Li等人，2023年）。在这些领域，工业机器人长期以来一直被用作熟练工人的替代品，以满足焊接精度和效率的高要求（Guo等人，2024年）。焊接机器人的发展反映了智能焊接技术的发展（Chen和Lv，2014年；Muhammad等人，2017年；Wang等人，2020年）。从第二代开始，焊接机器人配备了传感系统，使它们能够处理环境信息，但灵活性有限（Lund等人，2020年）。第三代焊接机器人通常被称为“智能焊接机器人”（Chen和Lv，2014年），集成了先进的传感和信息处理系统，能够在工件识别、焊接过程规划、任务执行以及与其他设备的互联方面实现自主操作。
为了在弧焊过程中获得广泛的实际知识并发展缺陷检测能力，采用了各种传感信号类型，包括光学、声学（Bevans等人，2023年；Droubi等人，2017年；Rohe等人，2021年）、电流/电压、热学（Yang等人，2017年；Yang和Zou，2025年）以及视觉信息（Alfaro，2012年；Madhvacharyula等人，2022年）。对于机器人焊接监测系统，基于视觉的传感技术因其高可行性、快速检测速度、高精度和非接触式安装等优点而受到越来越多的关注（Guo等人，2024年）。常见的视觉设备包括结构光视觉传感器、数字相机和高速相机。结构光视觉传感器主要用于实时焊接缺陷检测（Kim等人，2024年）、焊缝测量（Cheng等人，2024年）和三维形态重建（Tan等人，2022年）。数字相机被广泛用于实时监测和缺陷检测（Shi等人，2021年；Zhang和Shi，2024年）。例如，结合图像处理的神经网络已被用于跟踪焊丝位置和检测飞溅物，从而实现焊接稳定性的实时评估（Franke等人，2025年）。高速相机用于解析焊接过程中的瞬态波动，提供超短曝光时间和高帧率，能够捕捉到电弧、液滴和熔池的动态细节（Gao等人，2018年）。得益于更小的时间观察尺度，高速成像还用于评估送丝角度和层间温度对制造稳定性的影响，为优化沉积策略和提高构建质量提供了见解（Hauser等人，2020年）。
随着视觉技术的进步，最近的研究越来越多地应用机器学习技术来改进涉及电弧行为、熔融液滴动态和熔池演变的焊接过程的视觉分析。卷积神经网络（CNN）和长短期记忆（LSTM）网络已被用于分析熔池图像（Abranovic等人，2024年；Baek等人，2024年；Wang等人，2020年；Wang等人，2020年）、蒸汽羽流形态（Yan等人，2025年）和关键孔稳定性（Zhou等人，2024年）。与传统的前馈神经网络不同，LSTM网络结合了记忆单元和门控机制，使它们能够捕捉序列数据中的短期波动和长期相关性（Cho和Kim，2022年；Ullah等人，2018年）。通过利用跨帧的时间信息，LSTM相比基于静态图像的方法能够提供更可靠的过程模式识别（Yu等人，2022年）。这种能力使它们在模拟焊接现象的动态特性方面非常有效。为了应对边界不清晰的高动态电弧带来的挑战，Li等人（2024年）提出了一个混合框架，该框架结合了去雾、区域定位和时间分割以及CNN-LSTM架构。通过结合空间和时间信息，这种方法能够在噪声或不完整的数据集中准确提取熔池和电弧边界。这些方法在检测焊接缺陷（如穿透（Yu等人，2023年；Yu等人，2022年）、表面塌陷（Qiu等人，2025年）、烧穿（Zhang等人，2026年）和错位（Chen等人，2021年；Zhang等人，2019年）方面取得了显著的成功。
尽管现有的机器学习方法在焊接缺陷识别方面取得了显著的成功，但在监测动态行为方面存在明显的局限性。液滴传输是焊接分析中的一个代表性问题，包括四种典型模式：短路传输、球形传输、喷射传输和喷雾传输（Fan等人，2021年）。这些模式之间的转换发生得很快且不可预测，给焊接过程带来了很大的不确定性，并对实时监测构成了重大挑战。在这种情况下，基于LSTM的模型可以识别异常状态，但不足以进行连续跟踪。这些局限性突显了多目标跟踪（MOT）算法在捕捉液滴动态的时间演变方面的潜力。该领域的一个代表性MOT技术是DeepSORT（Wojke等人，2017年），它结合了对象运动和视觉外观，以在视频帧之间一致地跟踪同一对象。由于MOT的优越跟踪能力，通过跟踪液滴和熔池，对高速成像数据进行大规模分析成为可能。Cai等人（2024年）应用了蒸汽羽流抑制进行观察，并构建了一个带有自动标记的轻量级检测模型。利用DeepSORT进行跟踪，有效地捕捉到了飞溅物的动态。另一种有前景的MOT技术是ByteTrack（Zhang等人，2022年），它通过利用高置信度和低置信度的检测来生成更完整和可靠的对象轨迹，从而提高了跟踪精度。这很好地满足了跟踪液滴高动态和过渡行为的需求。然而，这些应用在现有文献中尚未系统报道。
为了解决弧焊过程中高帧率图像分析的挑战，本文通过针对液滴动态进行有针对性的调整，扩展了ByteTrack范式，开发了一个专门的DropletTrack框架。该框架与基于YOLOv8的检测器集成，能够在高速成像下实现可靠的液滴识别、自动计数和轨迹跟踪。与专注于缺陷检测或静态状态识别的现有研究相比，这项工作强调了对液滴演变的连续跟踪，从而为评估传输模式提供了更丰富的时间信息。所提出的框架通过（i）建立专门的液滴检测数据集和训练策略，（ii）引入针对分离、合并和韧带形成的ID调整机制，以及（iii）量化不同焊接条件下的液滴行为，促进了GMAW和WAAM中现场监测的进步。
数据集获取和检测框架
所提出的方法将高速成像、基于机器学习的对象检测和MOT整合到一个统一的框架中，如图1所示。具体来说，首先使用焊接实验期间捕获的大规模图像序列构建了YOLOv8的训练数据集，以实现可靠的液滴检测。然后，将训练好的检测器集成到DropletTrack框架中，该框架执行液滴动态的跟踪、测量和统计分析。
DropletTrack框架
DropletTrack框架基于ByteTrack MOT范式开发，并针对线弧过程中液滴沉积的独特动态进行了调整。在ByteTrack中，对象轨迹是通过三个阶段的过程生成的：高置信度检测的级联匹配、低置信度候选者的补救关联以及基于卡尔曼滤波的状态预测（用于缺失的检测）。虽然这种策略对于通用多目标跟踪是有效的，但它遇到了
定量基准测试
为了严格评估所提出的DropletTrack框架的性能，在四种代表性的焊接电流设置下进行了比较研究：180 A、210 A、240 A和270 A。评估遵循MOTChallenge协议，并采用了标准的多目标跟踪指标，包括多目标跟踪准确性（MOTA）（Milan等人，2016年）、ID F1分数（IDF1）（Ristani等人，2016年）和身份切换次数（IDSW）。如表2所示，DropletTrack
结论
本研究提出了DropletTrack，这是一个专为在超高速成像条件下进行线弧焊接过程中稳健液滴跟踪而设计的MOT框架。通过将YOLOv8检测与物理信息筛选、关联和身份调整策略相结合，该框架克服了通用MOT算法在应用于高动态液滴传输场景时的关键限制。
(1)一个包含2000张标注图像的专用数据集涵盖了四种焊接电流
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
资助：本工作得到了东南大学博士生创新能力提升计划（编号CXJH_SEU 24107）的支持。这项研究工作得到了东南大学大数据计算中心的支持。
