《Sensors》:RESC: A Rubric-Guided Error–Score Consistency Framework for Action Quality Assessment in Vocational Fitter Training
编辑推荐:
在钳工职业培训的动作质量评估中,受限于专家标注数据稀缺与预测可解释性不足。为实现有限数据下的准确评分及与量规对齐的可审计解释,研究人员提出RESC,一种量规引导的误差—分数一致性框架。RESC以人体姿态作为主要视觉证据,将教员量规转换为误差语义与评分约束,在预
在钳工职业培训的动作质量评估中,受限于专家标注数据稀缺与预测可解释性不足。为实现有限数据下的准确评分及与量规对齐的可审计解释,研究人员提出RESC,一种量规引导的误差—分数一致性框架。RESC以人体姿态作为主要视觉证据,将教员量规转换为误差语义与评分约束,在预测总分的同时产生量规对齐的误差诊断与模型衍生的逐项扣分贡献。研究人员构建Fitter-AQA数据集,含25名受试者134段锉削视频,采用严格留一被试交叉验证。RESC取得平均绝对误差4.450、Pearson线性相关系数0.902、Spearman秩相关系数0.852,为所比较方法中池化评分误差最低、池化相关性最高者;误差诊断Macro-F1达0.770,宏平均平衡准确率0.824。结果表明该方法在有限数据下具有稳定跨被试评分能力,并将模型预测转化为与量规语义对齐的可审计分数分解,从而为职业技能培训自动化评估提供准确且可解释的途经。
研究背景方面,动作质量评估(Action Quality Assessment,AQA)由动作识别延伸至技能评价,需辨别同类动作中技术合规与执行质量的细微差异并转为质量判断。现有基于深度学习的AQA多将整段视频时空表示直接映射到总分,在职业培训中易利用与教学无关的质量相关模式,且身体形态、速度等个体差异损害对未知学员的泛化;仅给总分无法定位误差或量化扣分。真实职业视频采集受工位、协调与专家标注成本限制,锉削操作具人—工具连续交互、遮挡与光照变化,每类误差有效样本少,小样本是工业训练数据固有特征。为此研究人员开展本研究,发表于《Sensors》。
关键技术方法上,研究人员在真实钳工车间布设吊顶俯拍采集系统(RDK-X5边缘计算板+800万像素USB工业相机),构建Fitter-AQA队列:25名受试者(初学者、获奖选手、资深教员)134段锉削视频,均值时长30.8秒,4名教员按统一量规共标6类误差四等级(0—3)严重度及共识总分(53.2—100,均79.76)。以YOLOv8-Pose提COCO-17关键点,构造200维通用姿态统计+238维量规几何特征(438维),折叠内标准化与PCA(12维)+保留10维窄站位描述子得最终表征;设误差原型诊断模块(余弦相似+softplus门控)、累积连节(cumulative-link)有序严重度、自适应扣分门控、非负扣分链与单调一致性约束,联合训练含Smooth L1、BCE、有序损失、质量等级交叉熵、排序一致与权重正则,严格外环留一被试(LOSO)验证。
研究结果部分,按原文小节归纳如下。数据采系统与数据集构建小节表明,固定俯拍布局在保留工具遮挡等真实扰动下获一致条件,四人共识标注使Fitter-AQA具备小样本职业AQA所需误差类别与严重度。RESC框架概述与量规引导姿态几何小节指出,以周期锉削的姿态分布压缩为视频级统计,融合通用与量规特定几何,可抑制有限数据过拟合。误差原型诊断模块小节显示,学得的每类误差原型提供共享语义坐标,优于独立多标签头。有序严重度与自适应扣分门控小节说明,累积连节模型保留0—3顺序,门控网络按样本—条目调节扣分幅值。非负扣分与条件误差—分数一致性小节给出从100分基准减逐项非负扣分的显式分解,满足“严重度增则扣分不降、总分不增”方向约束。训练目标与推断小节中辅助直评头仅用于训练期多任务监督,推断用扣分链。
实验与结果部分,外环LOSO池化指标上RESC的MAE 4.450、PLCC 0.902、SRCC 0.852、RMSE低于弹性对齐与特征学习基线;与结构化量规法比MAE再降33.7%。同输入受控对比(Ridge、MLP、辅助直评头)证实扣分链聚合额外贡献,万次被试簇Bootstrap的PLCC区间0.837—0.944、SRCC 0.665—0.887。消融研究表明通用姿态统计利绝对校准(单用MAE 6.749),量规几何利排序(单用SRCC 0.721),融合最优;去误差原型MAE升至7.546、SRCC降至0.645。反事实压力测试29309对相邻干预中条目扣分随原型证据增强不降,总分方向一致率99.22%,仅窄站位228次反转且最大0.0016分。误差诊断上六类Macro-F1 0.770,膝姿F1>0.90,窄站位最低0.692但平衡准确率0.814;有序严重度池化804条目标注精确准确率72.76%、一级内85.82%、QWK 0.631,中间级1—2因样本不均易向端点混淆。可解释可视化以被试L13为例,教员62.0对预测60.5,自100分基准残差校准扣7.128、六项错误扣32.28,膝姿/左肘抬/手部姿为主因,证明分数可审计分解。
讨论部分总结:量规作为先验将姿态表示绑至职业技能评价,在25人134段严格跨被试下缩小评估空间、降外观依赖;轨迹式逐项扣分较仅高亮区域更贴量规。框架受COCO-17局限仅捕躯干肢体运动,细粒度手—工具配合、刀具姿态、工件接触与尺寸表面质量需补测;四等级中间级因样本稀而分辨弱;单车间单任务、未留相机工位ID致混杂难排。结论为RESC以量规引导误差—分数一致性在有限数据钳工AQA中获低误差高相关与可审计解释,为职业训练自动评分提供准确可解释途径。未来工作将融合手与工具跟踪、工件直接测量、扩队列与中间严重度采样、用半监督与主动学习降本并迁至其他工种,另设教员研究评教学正确性。