多模态辅助单模态:基于频率感知的跨领域小样本以自我为中心的动作识别蒸馏方法

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Multimodal Helps Unimodal: Frequency-Aware Distillation for Cross-Domain Few-Shot Egocentric Action Recognition

【字体: 大 中 小 】 时间:2026年07月22日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  •我们将多模态知识转化为单模态模型,用于跨领域识别。•我们通过频率变换和不确定性引导来提升知识迁移效果。•我们引入了一种轻量级分类器,用于优化少样本分类的特征表达。引言以第一人称视角进行的动作识别已成为计算机视觉领域的关键任务,它被广泛应用于从工业辅助到老年人护理的各种场景中[1

  
  • •
    我们将多模态知识转化为单模态模型,用于跨领域识别。
  • •
    我们通过频率变换和不确定性引导来提升知识迁移效果。
  • •
    我们引入了一种轻量级分类器,用于优化少样本分类的特征表达。

引言

以第一人称视角进行的动作识别已成为计算机视觉领域的关键任务,它被广泛应用于从工业辅助到老年人护理的各种场景中[1]、[2]。尽管有Ego4D这类大规模基准数据集,但由于收集和标注大规模第一人称数据成本极高,因此在制造[3]和临床环境[4]等专业领域应用此类动作识别模型仍然面临挑战。少样本学习[5]、[6]通过让模型仅利用少量带标签的样本就能快速适应新任务,为解决数据不足问题提供了有效方案。然而,传统少样本学习方法通常假设源数据(训练数据)和目标数据(测试数据)来自同一分布[7]、[8],即属于相互独立但相关的类别。为应对分布偏移问题并缓解数据短缺状况,跨领域少样本学习这一新兴方法应运而生,它能够将数据丰富的源领域知识转移到标签稀缺的目标领域[9]、[10]。不过,以复杂动作、背景杂乱以及模态限制为特征的自我中心动作识别所面临的特殊难题至今仍未得到充分解决。
虽然多模态数据(如深度图、音频信号)能够通过捕捉动作和结构特征显著提升识别性能[11]、[12],但在现实世界的目标场景中获取这类数据往往成本高昂或根本不可行。因此,将多模态教师模型集的知识提炼为单模态学生模型已成为一项重要的研究方向[13]、[14]。然而,在跨领域少样本学习中实现有效的多模态知识提炼仍受到领域偏移问题的制约。现有方法[15]、[16]、[17]通常在空间域中进行特征对齐,但在第一人称视角视频中,空间特征极易受到光照变化和背景杂乱等环境因素的影响。从物理特性来看,自我中心动作具有独特的频率模式:静态背景或移动缓慢的物体主要体现在低频成分中,而对于区分动作至关重要的快速手部与物体交互以及动作边界则由高频细节主导。传统的空间对齐方法往往无法分离这些成分,导致学生模型过度拟合特定领域的低频背景噪声,而无法学习到稳健、通用的动作模式。这一现象促使我们转变思路,从空间域对齐转向频域调制,在该方式下可以明确强化与动作相关的高频特征,并实现跨领域的特征对齐。
为此,我们提出了多模态频率感知式蒸馏方法MFAD,该方法能够在训练过程中将多模态知识从源数据集高效地传递到目标领域的学生模型中。此外,我们还设计了少样本特征分类器FSFC,用于在微调阶段提升少样本学习环境中有限带标签样本的特征表达质量。我们提出的用于跨领域少样本自我中心动作识别的整体框架如图1所示。
MFAD框架包含两个核心组件:小波频率感知模块WFAM和基于边界的蒸馏机制MED。教师模型集使用三种模态数据(RGB图像、光流信息以及手部姿态热图),而学生模型仅接收RGB图像作为输入。与那些直接进行空间特征对齐的传统蒸馏方法[19]、[20]、[21]不同,MFAD方法能够让学生模型借助频率分离的物理原理。具体而言,WFAM通过小波变换调整从教师模型提取的特征频率,从而帮助学生模型更好地模拟多模态特征。另外,在将多模态教师模型的知识传递给单模态RGB学生模型时,直接的特征模仿往往会导致决策边界模糊[16]、[22],尤其是在跨领域场景中处于类别边缘的样本上。为解决这一问题,MED引入了基于分类不确定性的权重机制,帮助学生模型更精准地捕捉细微的类别差异,并适应目标领域的类别分布特征。在EPIC-Kitchens[23]、MECCANO[24]和WEAR[25]数据集上的实验结果表明,所提出的MFAD方法性能优于现有的最先进方法。
本文的主要贡献如下:
  • •
    我们提出了用于跨领域少样本自我中心动作识别的新型MFAD模型,该模型通过多模态知识蒸馏,将源数据集中的多模态知识传递到目标领域的单模态学生模型中。
  • •
    我们设计了WFAM模块,该模块通过小波变换在频域中对特征进行分解和对齐,帮助学生模型捕捉到稳健且与领域无关的动作及结构特征。
  • •
    我们设计了MED机制,这是一种具备不确定性感知能力的蒸馏策略,能够自适应地对样本进行加权处理,从而优化目标领域的决策边界。
  • •
    我们开发了轻量级的FSFC分类器,该分类器通过高效的线性投影优化特征表达,进而提升少样本学习任务的性能。

章节要点

自我中心动作识别

与第三人称视角视频中的动作识别不同,自我中心动作识别侧重于从第一人称视角识别人类活动[26]、[27]。然而,第一人称视角视频往往存在视野受限、动作模糊以及镜头抖动严重等问题[9],这使得单一模态的特征表达难以准确捕捉精细的手部与物体交互信息。为应对这些挑战,越来越多的研究者开始采用多模态方法[28]、[29]、[30]。

整体框架

图2展示了MFAD框架的构成,该框架实现了从多模态教师模型集向单模态学生模型的知识蒸馏过程。教师网络会在包含多模态数据的带标签源数据集DS以及从目标数据集DT中抽取的无标签数据上完成预训练,且在知识蒸馏过程中其参数保持不变。而在针对目标数据集对学生网络进行训练时,只有RGB图像会被输入到学生网络中,而教师网络则需要处理三种类型的多模态输入数据。

数据集

我们在实验中采用了EPIC-Kitchens、MECCANO和WEAR这三个数据集作为目标数据集。在所提出的MFAD框架中,教师模型会接收所有三种模态数据(RGB图像、光流信息、手部姿态数据)作为输入,而学生模型则仅使用RGB图像数据进行训练。
EPIC-Kitchens数据集 [23]:该数据集是一套规模庞大的第一人称视角视频资源,记录了32名参与者在家庭厨房环境中进行的各种烹饪动作,同时还包含了丰富的标注信息。

主要实验结果

我们通过5类样本的1次采样和5类样本的5次采样两种实验设置,评估了所提出方法在少样本动作识别任务中的性能,并将其与现有的各类方法进行了对比。所有被比较的方法都是在源领域数据集Ego4D以及三个目标领域数据集EPIC-Kitchens(EPIC)、MECCANO和WEAR上训练得到的。我们的方法在初始化教师模型和学生模型时,均使用了预训练阶段获得的模型权重,此时模型已经

结论

结论。在本文中,我们提出了一种用于跨领域少样本自我中心动作识别的新型MFAD模型,该模型通过知识蒸馏机制,将源数据集中的知识从教师模型集中传递到单个学生模型中。MFAD方法借助WFAM模块将教师模型的特征转换到频域,再通过可学习的频率滤波器,帮助学生模型精准复制教师模型的特征结构。同时,MED机制则进一步优化了知识传递的过程。

CRediT作者贡献说明

郭杰:论文撰写——审稿与编辑、研究指导、方法设计、资金申请。郭子渊:论文撰写——审稿与编辑、可视化处理。宋斌:研究指导、项目管理工作。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
Jie Guo|Ziyuan Guo|Bin Song
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号