《Sensors》：Training-Free Skeleton-Semantic Keyframe Extraction for Fixed-View Industrial Assembly Video: Method Design and Case Study Evaluation
编辑推荐：
工业装配视频包含大量时间冗余，因此需要一种预处理方法，在任务特定标签、重新训练或不透明的学习选择规则不可取时仍能使用。该项研究针对固定视角单目装配视频预处理，设计了一种确定性、无训练的骨架语义关键帧提取框架。OpenPose的BODY-25关键点经过置信度过滤
工业装配视频包含大量时间冗余，因此需要一种预处理方法，在任务特定标签、重新训练或不透明的学习选择规则不可取时仍能使用。该项研究针对固定视角单目装配视频预处理，设计了一种确定性、无训练的骨架语义关键帧提取框架。OpenPose的BODY-25关键点经过置信度过滤、归一化、插值，并由八个上半身关节表示。颈部相对的双侧腕部活动控制反向阈值，而顺序参考更新和最大间隙规则提供显式输出预算。在每分析文件271帧下，该方法获得语义距离变异系数（CVsd）= 0.3340 ± 0.1117和平均语义距离（MSD）= 0.7781 ± 0.1003，而预训练的多尺度视觉变换器V2-S（MViT-V2-S）特征聚类为1.0681 ± 0.0754和0.2961 ± 0.0305。因此，在共享的归一化骨架评估下，相对于MViT，该方法将语义距离变异减少了68.7%，并将相邻姿态状态分离增加了162.8%。匹配的消融研究识别出骨架表示为此组织的主要来源；自适应阈值提供较小的、预算依赖的密度调整。第二次独立的人工标注和裁决建立了一个34个转换的事件参考。事件结果揭示了一个互补的权衡：该方法在±0.5秒内保留了79.41%的转换，而几个基于时间和外观的基线保留了97.06–100%，表明姿态状态多样性和过程边界覆盖是不同的采样目标。匹配基线的仅观察关节和置信度加权分析表明，插值有助于数值规律性，但该方法在两种缺失数据处理下均保留了比所有评估基线更低的语义距离变异和更大的相邻姿态状态分离。这些结果确立了该方法在评估的固定视角设置中作为可解释、预算可控的预处理策略，用于面向姿态的审查和数据缩减。在独立录制的生产环境和任务特定下游系统中进行验证是迈向更广泛部署的下一步。
### 论文解读：无训练骨架语义关键帧提取用于固定视角工业装配视频
#### 研究背景与问题
工业装配生产线广泛采用视频监控系统进行过程监督、质量检测与生产追溯，但连续监控产生大量冗余帧，增加传输、存储与计算成本，尤其在边缘计算环境中。现有关键帧提取方法普遍依赖像素变化、局部描述子、光流、学习重要性分数或预训练视频特征，但存在两个实际缺口：第一，由反射、光照、工具或背景活动引起的外观变化不一定对应操作员姿态状态的改变；第二，学习型摘要器可能需要标注任务数据、微调，或输出难以审计与控制。骨架表示可提供人体构型的紧凑描述，而确定性采样器能提供可重复的决策与直接指定的存储预算。然而，以往骨架研究主要集中于识别模型，较少关注利用姿态语义作为透明、无训练关键帧预处理的决策空间。因此，该研究旨在解决一个工程问题：在固定输出预算下，能否设计一种简单、可审计的机制，有意识地保留差异化的操作员姿态状态。
#### 研究内容与结论
研究人员在《Sensors》期刊上发表了该项研究，设计并评估了一种确定性、无训练的骨架语义关键帧提取框架，用于将连续固定视角装配视频转换为紧凑的差异化操作员姿态状态序列。该框架的核心贡献在于：无需任务特定训练、决策规则显式可重复、输出预算直接可控，以及以姿态为中心的表示可减少无关外观变化的影响。通过在三个非重叠的工业电子装配视频段（来自同一固定单目摄像头、同一工作站）上进行匹配预算比较，该方法在语义距离变异系数（CVsd）和平均语义距离（MSD）上显著优于均匀采样、像素空间聚类、姿态空间聚类、固定阈值像素MSE、ORB+光流、运动自适应采样以及预训练MViT-V2-S特征聚类等基线。具体而言，该方法将CVsd降低至0.3340，MSD提升至0.7781，相较于MViT分别改善68.7%和162.8%。消融实验表明，骨架表示是产生这一语义间距效果的主要因素，而自适应阈值仅提供预算依赖的较小密度调整。事件评估显示，该方法在±0.5秒内保留79.41%的标注过程转换，而部分基线保留97.06–100%，表明姿态多样性（pose-state diversity）与过程边界覆盖（process-boundary coverage）是互补的采样目标，而非可互换的质量定义。鲁棒性分析表明，该方法对关键点缺失、坐标抖动和模拟全局相机运动具有一定稳定性，但光照过曝会导致较大退化。计算成本方面，决策阶段处理速度约699–821帧/秒，峰值内存低于9 MB，但OpenPose推理阶段在RTX 4090D上仅达16.19 FPS，低于24 FPS视频率，适用于离线处理。
#### 关键技术方法
研究人员采用了以下主要关键技术方法：使用OpenPose提取BODY-25骨架关键点（25个身体关键点），对每个关键点进行置信度过滤（阈值0.2），对完整坐标序列进行全局最小最大归一化，并通过时序线性插值替换低置信度坐标。选择八个上半身关节（颈部、右肩、右肘、右腕、左肩、左肘、左腕、髋中）构建16维特征向量。以颈部关节为默认锚点，计算双侧腕关节相对于锚点的位移，经滑动窗口平滑（窗口大小15）后映射为运动活动系数。通过反向映射（高活动对应低阈值）生成自适应阈值，并利用二元搜索在[0.01, 3.0]范围迭代30次以匹配指定预算（271帧/段）。关键帧选择结合顺序参考更新与最大间隙规则（最大间隙50帧）。样本队列来源于同一工作站三个非重叠的工业电子装配视频段（Group-1、Group-2、Group-3），分别包含2881、2938、3207帧，操作内容不同，视角固定。
#### 研究结果
**3.1 实验设置与数据集**
三个视频段来自同一长录制，但操作内容与姿态轨迹不同，作为文件级测试用例。共享固定单目摄像头、工作站与操作员环境，结果不构成跨记录、跨操作员或跨站点证据。
**3.2 评估指标**
采用压缩比（CR）、轨迹重建误差（Etr）、轨迹覆盖率（TC）、语义距离变异系数（CVsd）、关键帧冗余度（KR）和平均语义距离（MSD）进行轨迹与语义评估；引入事件召回率（Event Recall）和平均时间误差（MTE）用于手动标注装配事件评估。
**3.3 三个工业装配视频段的结果**
在默认颈部锚点配置下，三个段分别选择271、270、271帧，压缩比超过90%。Group-2获得最低Etr（0.0604）和最高TC（93.93%），Group-1最大MSD（0.8877），CVsd范围为0.2289–0.4467，KR接近0.60。
**3.4 比较实验**
匹配预算271帧比较中，该方法获得CVsd=0.3340±0.1117、MSD=0.7781±0.1003，优于所有基线。MViT获得更低Etr（0.0645）和更高TC（93.48%），但CVsd为1.0681±0.0754、MSD为0.2961±0.0305。事件评估显示，该方法保留79.41%的转换，而均匀采样、像素聚类、运动自适应采样和MViT保留97.06–100%，表明方法在姿态多样性上占优，但事件覆盖上不及部分基线。
**3.5 消融研究**
2×2消融（骨架/像素表示×自适应/静态阈值）表明，骨架表示是主要贡献因素，自适应阈值提供预算依赖的次要密度调整。在271帧时，骨架自适应变体CVsd=0.3301，MSD=0.7781，显著优于像素变体（CVsd≈1.09、MSD≈0.15）。
**3.6 锚点配置结果**
颈部锚点与髋中心锚点比较，两者输出帧数接近（270–272帧），Etr、TC、CVsd、MSD差异很小，事件召回率分别为79.41%和77.31%。
**3.7 手动装配事件评估**
两名独立标注员使用一致事件定义，经裁决后形成34个转换共识参考。标注者间在±0.5秒内边界匹配F1=84.51%，±1.0秒内F1=90.14%。该方法在±0.5秒内事件召回率79.41%，平均时间误差0.259秒。
**3.8 锚点选择分析**
颈部与髋中心锚点的归一化活动序列皮尔逊相关系数0.660–0.748，活动MAE 0.0461–0.0756，关键帧在±3帧内重叠率92.99–97.79%，表明锚点选择对最终关键帧影响较小。
**3.9 受控骨架退化鲁棒性分析**
额外腕部丢失（40%丢失）事件召回率仍为77.18%，连续上半身遮挡（30%帧）召回率降至71.39%，坐标抖动影响较小，模拟全局相机振动事件召回率保持77.31%，基线重叠>97%。
**3.10 受控光照退化分析**
低对比度影响最小，过曝效果最强（检测率降至91.36%，特征关节缺失率63.09%），关键帧重叠率42.80%。光照退化通过OpenPose传播至关键帧决策。
**3.11 计算成本与关键点缺失分析**
决策阶段处理速度699–821帧/秒，峰值内存<9 MB。端到端GPU基准（RTX 4090D）中OpenPose推理16.36 FPS，总流水线16.19 FPS，峰值GPU内存增加10,489 MB。特征关节缺失率33.75–50.00%，腕部关节缺失率36.22%。
**3.12 关键点缺失间隙与匹配基线敏感度分析**
缺失间隙中位数为2帧，但存在长尾（最大366帧）。在仅观察关节和置信度加权分析中，该方法CVsd和MSD仍优于所有基线（CVsd降低约68.7%，MSD增加约288.7–299.3%），Etr仍低于最佳重建基线，表明插值不主导比较性间距模式。
#### 讨论与结论
讨论部分指出，姿态状态组织是固定视角装配视频中一个有意义的可衡量关键帧目标。该方法在语义间距上优于基线，但事件覆盖上不如部分基线，说明关键帧质量取决于目标。消融实验确认骨架表示是主要贡献因素，自适应阈值仅提供预算依赖的密度调整。鲁棒性分析定义了可操作的操作指导：颈部与髋锚点输出高度重叠，中度合成退化保留了大部分选定位置，决策阶段轻量。但证据局限于同一录制中的三个段，不能推广至跨操作员、跨摄像头、跨任务或跨站点场景。未来需要下游验证、独立生产线评估、更强缺失数据处理、真实相机运动测试以及轻量姿态估计器替换。
研究结论翻译如下：
该项研究设计并评估了一种确定性、无训练框架，用于将连续固定视角装配视频转换为紧凑的差异化操作员姿态状态序列。其价值在于组合了工业预处理中通常重要但学习型摘要器不同时提供的特性：无需任务特定训练、显式可重复的决策规则、直接输出预算控制，以及减少无关外观变化影响的以姿态为中心的表示。在匹配预算下，该方法产生比评估基线更规则的骨架语义增量和更大的相邻姿态分离。消融实验识别骨架表示为关键组件，而事件评估表明姿态多样性与过程边界覆盖是互补目标而非可互换的质量定义。双标注员审计、确定性容量规则、退化测试和匹配基线的仅观察关节敏感度分析使展示的行为可重复，并表明比较性姿态间距模式并非仅归因于插值。当前证据支持在评估的固定视角设置中作为可解释的面向姿态预处理策略使用。未来工作将测试组合姿态多样性与事件线索是否能改善下游装配理解，并将评估跨独立录制操作员、摄像头、任务和站点的迁移。
