《Alexandria Engineering Journal》:One-shot active learning via layer-wise prototypical contrast for skeleton-based action recognition in class-imbalanced scenarios
编辑推荐:
尽管基于骨架的动作识别已迅速发展,但其性能仍依赖于成本高昂的标注数据集。传统主动学习(Active Learning, AL)假设专家可持续响应迭代式查询,这在部署场景中并不现实。单次主动学习(One-Shot Active Learning, OSAL)提供
尽管基于骨架的动作识别已迅速发展,但其性能仍依赖于成本高昂的标注数据集。传统主动学习(Active Learning, AL)假设专家可持续响应迭代式查询,这在部署场景中并不现实。单次主动学习(One-Shot Active Learning, OSAL)提供了一种单轮标注的替代方案,然而现有方法依赖浅层最终层的不确定性、缺乏语义上下文,并且假设类别平衡,而真实数据往往呈现长尾分布。为此,研究人员提出了一种新颖的两阶段OSAL框架。在分层特征利用与语义引导方面,层间原型对比学习(Layer-wise Prototypical Contrastive Learning, LPCL)将中间视觉特征与大语言模型(LLM)生成的文本原型对齐,使每一层都成为具有语义基础假设的分类器。在分布鲁棒性方面,基于LPCL的主动学习(LPCL-based Active Learning, LPCL-AL)结合了多假设评分(捕捉跨层预测分歧)与轨迹偏离评分(标记特征演化偏离类参考模式的样本),从而在单轮内选出信息量高且具有代表性的样本。在NTU RGB+D 60、NTU RGB+D 120和PKU-MMD数据集上,针对多种不平衡比率和标注预算,该框架均持续优于现有最优方法,在中等不平衡条件下,相对于次优方法的平均相对增益在准确率上达4.99%,在宏F1上达5.00%;在严重不平衡条件下,上述增益分别提升至7.30%和9.70%。跨语言模型和骨干网络的实验证实,这些增益源自尾部类别识别性能的提升,且无需承担过高的计算开销。
论文解读:面向类不平衡骨架动作识别的单次主动学习框架
一、研究背景与问题
基于骨架的动作识别在深度学习推动下取得了显著进展,但在实际部署中仍面临关键瓶颈:高质量标注数据的获取成本极高。与图像分类不同,标注复杂的3D关节序列需要专业领域知识以解读时间动态和细粒度运动模式,这严重限制了模型在专门领域的可扩展性。主动学习(Active Learning, AL)通过查询最具信息量的样本,旨在以最小数据预算最大化性能。然而,传统AL框架通常假设专家可持续响应每一轮查询,这在实践中难以满足;且反复的小批量请求带来大量后勤开销和运营成本。单次主动学习(One-Shot Active Learning, OSAL)在单轮查询中完成全部标注预算的选择,消除了对专家持续可用性的依赖,更具实际部署价值。然而,现有OSAL策略存在三项关键局限:第一,多数方法将不确定性估计局限于最终输出层,即便少数基于强化学习的方法读取中间状态,也将其视为孤立的视觉快照而非演化中的特征轨迹,无法捕捉模型内部表征的演化,常选出离群点而非真正信息量大的样本;第二,现有方法仅依赖视觉表征而缺乏语义锚定,在骨架动作识别中尤为不利,因为关节序列本质稀疏且抽象,模型难以利用高层概念线索指导选择;第三,先前研究普遍忽略真实数据固有的长尾分布,传统选择指标偏向多数类,导致数据稀缺的尾类性能严重退化。尽管先前的AL和OSAL研究分别在这些方面有所进展,但尚未有框架在单一选择机制中同时解决全部问题。
二、研究开展与主要结论
为弥合上述差距,研究人员提出了一种两阶段OSAL框架。第一阶段,训练层间原型对比学习(Layer-wise Prototypical Contrastive Learning, LPCL)方案,利用少量初始标注样本,使每个中间层都与语义文本原型对齐并形成独立的类假设;第二阶段,基于LPCL的主动学习(LPCL-AL)策略通过双评分机制在单轮中从无标注池中选出最优查询集。该框架在NTU RGB+D 60、NTU RGB+D 120和PKU-MMD三个大规模基准数据集上进行了系统评估,覆盖多种不平衡比率(IR=10、50、100)和多种标注预算。结果显示,在中等不平衡(IR=10)下,该方法相对次优方法ALRL在准确率和宏F1上分别获得平均4.99%和5.00%的相对增益;在严重不平衡(IR=100)下,相对次优方法Entropy的增益分别达到7.30%和9.70%。值得注意的是,F1-score增益显著高于准确率增益,且该差距随不平衡程度加剧而扩大,直接证明改进源于尾类恢复而非头类预测的强化。统计显著性检验(配对t检验和Wilcoxon符号秩检验)在所有设置下p值均低于0.05,证实增益具有统计意义。该研究的重要意义在于:首次在骨架动作识别中实现将分层语义对齐与双评分获取策略结合的OSAL框架,在单轮、类不平衡的严苛条件下显著提升信息样本选择质量,为实际部署提供了可行方案。
三、关键技术方法
研究人员采用的主要技术方法包括:第一,使用Spatial-Temporal Graph Convolutional Network (ST-GCN)作为骨干网络提取层级特征;第二,利用GPT-4o等大语言模型生成动作描述,经Sentence-BERT编码并归一化后构建语义文本原型;第三,设计多层投影模块,通过1×1卷积、批归一化、GELU激活和MLP头将各层视觉特征映射到共享嵌入空间;第四,采用对称KL散度对比损失实现骨架嵌入与文本原型的分层对齐;第五,提出双评分策略,包括多假设评分(捕捉跨层预测分歧)和轨迹偏离评分(衡量样本特征演化与类参考轨迹的偏离)。数据集方面,使用NTU RGB+D 60、NTU RGB+D 120和PKU-MMD三个公开基准,遵循Cross-Subject协议,训练集按指数衰减函数构建不同IR的长尾分布,测试集保持平衡。
四、研究结果
1. NTU RGB+D 60上的性能:在IR=10时,方法在所有预算水平上超越全部对比方法,相对ALRL平均增益准确率4.99%、F1-score 5.00%,低预算阶段优势最大(首个查询步相对ALRL准确率提升12.21%)。在IR=50时,相对CA平均增益准确率3.98%、F1-score 5.28%,初始查询步(650样本)已超出最近竞争者6.23%/10.20%。在IR=100时,相对Entropy平均增益准确率7.30%、F1-score 9.70%,F1增幅远超准确率增幅,表明尾类恢复是主要驱动。
2. NTU RGB+D 120上的性能:在IR=10下,方法在所有预算水平保持领先,相对Core-set平均增益准确率3.18%、F1-score 3.63%;在最大预算14,000样本时仍保持2.75%/2.50%的相对增益,证明框架可扩展至大规模标签空间。
3. PKU-MMD上的性能:方法在所有预算水平上达到最优,相对Entropy平均增益准确率2.15%、F1-score 2.46%。该数据集间隙较小,因其类别数少且整体规模小,基线本身已较强,但方法仍保持竞争优势。
4. 统计显著性分析:所有设置下,LPCL-AL种子间标准差低于1.35%(准确率)和0.026(F1-score),配对t检验与Wilcoxon检验p值均小于0.05,其中NTU RGB+D 120上证据最强。
5. 特征层选择影响:起始层索引l=7(使用层7、8、9)取得最佳平均准确率和F1-score,宽泛包含浅层(l=5、6)或仅用单层(l=9)均导致性能下降,前者引入冗余低层特征增加评分方差,后者使多假设评分降级为单一假设且轨迹偏离评分退化。
6. 评分组件消融:轨迹偏离评分(TD)在初始低预算阶段优于多假设评分(MH),因极稀疏数据下逐层预测不稳定,MH的分歧易被噪声淹没;预算增至中等范围(2000-6000)时MH反超,因层间预测趋于稳定,MH捕捉到真实不确定性;最高预算(7000)时TD再次占优,因高分歧样本已多数被标注,MH饱和,而TD能发现最终预测表面正确但中间特征演化异常的残余难样本。组合评分在所有阶段均优于单一组件,呈现阶段互补模式。
7. 语义文本原型有效性:去除KL对齐损失性能最低,证明分层语义对齐是框架有效性的关键;替换为随机向量、仅类名嵌入或通用提示词嵌入均不及研究人员提出的动作感知提示词(GPT-4o生成),表明细粒度运动语义而非单纯文本嵌入的存在是驱动增益的核心。更换生成原型的大语言模型(Gemini、Llama)后性能稳定,增益源于动作感知语义引导本身而非特定LLM。
8. 骨干网络泛化性:在ST-GCN、2s-AGCN和CTR-GCN三种GCN骨干上,LPCL-AL均取得最高准确率和F1-score,即便在最强CTR-GCN上优势依然保持,说明分层语义对齐与双评分获取与架构改进互补而非冗余。
9. 计算复杂度分析:LPCL-AL在ST-GCN基础上仅增加1.780M参数和0.321G FLOPs(来自多层投影模块),选择时间为0.810ms/样本,快于Core-set、CLUE和CA;训练时间1.212s/epoch,与简单基线相当,远低于CA,表明性能提升未伴随不可接受的额外开销。
五、讨论与结论
讨论部分总结指出,三个设计需求(分层特征利用、语义引导、分布鲁棒性)各自对应不同的实证特征。层间起点索引l=7的最优性证实增益来自将紧凑的中间至深层特征带与语义原型对齐,而非单纯增加容量;原型消融证实增益是真正的语义效应而非通用正则化。各机制共同指向一个核心效果:恢复信息量大的尾类样本。宏F1相对准确率更大的增益随不平衡加剧而扩大,与尾类识别改进一致。框架在细粒度、严重不平衡、低预算场景中收益最大,在相对容易的基准上仍保持竞争力。研究结论部分翻译为:本文针对长尾分布下的骨架动作识别提出了一种鲁棒的单次主动学习(OSAL)框架。为应对该挑战,研究人员提出了层间原型对比学习(LPCL)方案与基于LPCL的主动学习(LPCL-AL)策略,共同满足分层特征利用、语义引导和分布鲁棒性三个关键需求。在三个大规模基准上的广泛评估验证了框架的分布鲁棒性,其性能在所有数据集和不平衡比率上均最优,且在严重不平衡下优势更为显著。极端不平衡下F1-score增益超出准确率增益,表明框架提升了尾类识别而非仅通过头类提升整体准确率。消融研究分离了增益来源,证明多层设计对有效的文本-视觉对齐至关重要,且LLM生成的动作感知原型提供稳定的类判别信号,对不同语言模型具有鲁棒性。进一步分析确认这些增益可泛化至能力递增的GCN骨干,且未引入过高的计算开销。本文的贡献并非单独使用对比对齐、语义原型或不确定性选择,而是将它们非平凡地重构为逐层、单轮获取策略。跨中间层的原型对齐扩展以及多假设评分与轨迹偏离评分共同构成了一种选择机制,其阶段互补性在消融实验中得到确证,单独任一组件均无法实现。未来研究方向包括自适应权重调整评分组件、扩展至非骨架模态及非GCN架构(如基于Transformer的识别器)。