《Biomimetics》：Process Phase Estimation and Deviation Detection for Manual Soldering Based on Motion Analysis
编辑推荐：
手动焊接需要在姿态、手部运动、工具位置与视觉注意之间按阶段进行协调。研究人员提出一种深度相机框架，利用三维上半身与手部特征、任务相关物体位置，以及由面部朝向和头部姿态导出的注视相关近似特征来估计工作阶段并检测偏差。系统估计三个预定义阶段：准备（Preparat
手动焊接需要在姿态、手部运动、工具位置与视觉注意之间按阶段进行协调。研究人员提出一种深度相机框架，利用三维上半身与手部特征、任务相关物体位置，以及由面部朝向和头部姿态导出的注视相关近似特征来估计工作阶段并检测偏差。系统估计三个预定义阶段：准备（Preparation）、主动焊接（Active Soldering）和清理（Cleanup）。置信度不足的窗口被归为不确定阶段（Uncertain Phase）并路由至人工审查，而非作为偏差标签处理。在评估中，正常试验显示出稳定的工序序列，而包含脚本化模拟类不安全动作的试验则在偏差分数局部升高及与阶段估计可靠性降低相关的需审查区间上有所体现。这些发现表明，该框架可在受控实验室条件下支持坐姿手动焊接的回顾性安全相关评估与工序不一致操作识别。其仿生贡献在于将阶段依赖的感知-运动协调功能抽象为上下文依赖的工程参考模式，并引入不确定性感知审查机制。
研究背景方面，手动焊接在微小焊点处频繁经历接近、加热、送料与撤回等快速转换，姿态控制、手部运动、工具定位与指向工件的注意高度交织。现有标准如JAXA JERG-0039D(E)、ECSS-Q-ST-70-61C与IPC J-STD-001J规定了工艺与验收要求，但未覆盖作业姿态、工具空间关系与视线等过程上下文。既往研究虽在二维/三维姿态估计（如Part Affinity Fields、MediaPipe）、物体检测（YOLO、Mask R-CNN）、工效学评分（RULA、REBA、OWAS）及装配动作识别上取得进展，但多将姿态、物体、时序分开处理，缺乏将偏差置于“当前工序阶段”条件下解释的集成框架。坐姿焊接还存在热灼伤与颈肩静态负荷等风险，同一靠近电路板动作在准备或清理阶段即属不当。因此研究人员开展本研究，构建阶段条件化的RGB-D框架，以追溯性安全评估与工序一致性核查为目标。
关键技术方法上，研究人员使用Intel RealSense D455在前向同步采集RGB（BGR8）与深度（Z16）流各30 fps，经对齐后由RGB估计身体/手部/面部 landmarks及PWB、烙铁、焊丝的YOLO11n-seg实例分割，深度图反投影至三维工作空间；特征在帧、30帧窗口（约1 s，步长10帧）、1 s区间三尺度聚合。阶段估计采用随机森林（RF）输出准备/主动焊接/清理三类后验，再用Viterbi离线时序平滑嵌入准备→主动焊接→清理的工作流约束，低置信或高低概率差过小窗口判为不确定阶段并送审。偏差检测以正常试验各阶段1 s中位特征的第5/95百分位构阶段条件参考包络，按特征方向性（下降型/上升型/双向型）计算有向越界值与幅度自适应归一化得分，最终偏差分数为三阶段相概率加权求和，Safe/Caution/Warning阈值在两人开发集选定、三人留评。被试为5名在校生（身高与焊接经验有差异），各做60 s正常与含脚本模拟类不安全动作各一次，阶段与状态标签双标注者一致性检验后共识为真值，评价用留一被试（leave-one-participant-out）分组交叉。
研究结果部分，第三节“Evaluation”下各小节结论如下。3.1实验场景确认正常试验完整走过三阶段，模拟类不安全动作在保持总序列前提下插入各阶段局部，YOLO在三人无关测试集上PWB与烙铁分割性能高、焊丝最低。3.2阶段估计模型比较中，RF+Viterbi准确率为最高，Macro-F1与Weighted-F1均优于无平滑RF、SVM-RBF与SVM-linear；主动焊接F1最高，准备与清理因低动态相似而得益于时序平滑。3.3偏差检测比较中，所提方法在匹配160 s子集上Accuracy、Macro-F1、Binary-F1均高于基线A（全局参考）与基线B（单特征启发式），FNR降至0.200以下，Warning recall达0.750，不确定阶段20 s送审而非自动分级；基线A易漏报为Safe，基线B误报率高。3.4正常试验结果显示全段Safe，阶段连续无不确定段，肘角、面-腕距、注视近似可靠度、物体检测比均落参考内。3.5模拟类不安全试验显示15 s归不确定阶段送审，其余45 s中36 s Safe、6 s Caution、3 s Warning，偏差分数在插入动作附近局部升高；右肘角越上限2 s、左肘角越上限8 s，面-右腕距偏离参考15 s，而注视可靠度未越限，物体检测比未触发得分上升。
讨论部分指出，阶段模糊会通过相概率加权传播至偏差分，清理阶段因放置工具等收尾动作易暂离参考致FPR偏高，故当前性能属受控实验室可行性结果而非可部署工业监测。结论部分翻译如下：研究人员开发了阶段条件化RGB-D框架，将熟练作业中感知-运动-工具处理的阶段依赖协调抽象为工程参考模式与不确定性感知送审机制；正常试验工序稳定，模拟类不安全动作引发局部偏差分升高与阶段可靠性下降区间；该框架在受控实验室坐姿手动焊接下支持追溯性安全评估与工序不一致识别，其贡献位于功能性信息处理组织层面的仿生学，而非形态或神经机制模仿。论文发表于《Biomimetics》。
