
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于自监督学习的无样本类增量动作识别框架:伪特征生成机制与平衡稳定性-可塑性的新范式
【字体: 大 中 小 】 时间:2025年05月27日 来源:Image and Vision Computing 4.2
编辑推荐:
针对类增量动作识别(CILAR)中存储依赖导致的过拟合和隐私问题,研究人员提出基于自监督学习的无样本框架(EFCIAR)。通过伪特征生成器(PFG)利用类别均值方差生成历史特征,冻结特征提取器并联合训练新类数据,在UCF101等四大数据集验证中实现稳定性与可塑性的平衡,为实际应用提供高效解决方案。
在计算机视觉领域,动作识别技术因其在安防监控、自动驾驶等场景的应用价值备受关注。然而,现有基于卷积神经网络(CNN)的方法面临"全数据训练"的瓶颈——当新增动作类别时,传统模型需重新训练全部数据以避免灾难性遗忘(CF)。更棘手的是,依赖存储历史样本的类增量动作识别(CILAR)方法不仅带来存储负担,还存在隐私泄露风险,且样本质量直接影响模型性能。如何在不存储原始数据的前提下实现持续学习,成为制约技术落地的关键难题。
针对这一挑战,研究人员创新性地提出EFCIAR框架。该框架通过自监督预训练构建强泛化能力的特征提取器,并设计伪特征生成器(PFG)动态合成历史类别的特征分布。具体采用三大核心技术:1) 基于自监督学习和知识蒸馏的特征提取器预训练;2) 利用均值-方差统计量生成历史类伪特征;3) 冻结特征提取器下的分类器增量训练。在UCF101、HMDB51等数据集上的实验表明,仅需存储类别统计量即可维持历史识别精度,显著降低存储开销。
Method部分揭示其核心机制:将数据集D分为T个非重叠子集后,PFG根据存储的类别均值μc和方差σc生成符合高斯分布的伪特征。特征提取器通过自监督对比学习初始化后冻结,确保特征空间稳定性;新分类器则联合训练真实新类特征与生成旧类特征,解决数据不平衡问题。
Experiments部分验证:在50-50新旧类测试协议下,EFCIAR在Kinetics数据集上平均准确率提升12.7%,存储需求仅为回放方法的0.3%。消融实验证实,自监督预训练使特征可分离性提高23.5%,而知识蒸馏损失函数有效抑制特征空间扭曲。
Conclusion部分强调,该研究首次实现完全无样本的持续动作识别,通过PFG机制和特征空间固化策略,在隐私保护前提下达成稳定性-可塑性平衡。发表于《Image and Vision Computing》的这项成果,为医疗监控等敏感场景的持续学习系统提供了可落地的技术路径,其均值-方差特征重构思路对跨模态增量学习亦有启发价值。
生物通微信公众号
知名企业招聘