Task-Adapter++:基于顺序感知对齐的面向任务适配式少样本动作识别方法
《Pattern Recognition》:Task-Adapter++: Task-specific Adaptation with Order-aware Alignment for Few-shot Action Recognition
【字体:
大
中
小
】
时间:2026年02月10日
来源:Pattern Recognition 9.1
编辑推荐:
曹聪奇|韩培恒|张悦然|于雅婷|吕琴怡|闵凌通|张彦宁中国西北工业大学计算机科学学院摘要大规模预训练模型在语言和图像任务中取得了显著成就,这促使越来越多的研究探索将CLIP等预训练视觉模型应用于少样本动作识别领域。然而,现有方法存在诸多问题:1)直接微调往往会削弱预训练模型的泛化
曹聪奇|韩培恒|张悦然|于雅婷|吕琴怡|闵凌通|张彦宁中国西北工业大学计算机科学学院摘要大规模预训练模型在语言和图像任务中取得了显著成就,这促使越来越多的研究探索将CLIP等预训练视觉模型应用于少样本动作识别领域。然而,现有方法存在诸多问题:1)直接微调往往会削弱预训练模型的泛化能力;2)在视觉任务中,对任务特定信息的挖掘不足;3)文本建模时通常忽略语义顺序信息;4)现有的跨模态对齐技术未考虑多模态信息的时间关联性。为解决这些问题,我们提出了Task-Adapter++,这是一种针对图像和文本编码器的高参数效率双适配方法。具体而言,为充分利用不同少样本学习任务之间的差异,我们为图像编码器设计了任务特定适配机制,以便在特征提取过程中更好地捕捉最具区分度的信息。此外,我们利用大型语言模型为每个动作类别生成详细的序列化子动作描述,并在文本编码器中引入语义顺序适配器,以有效建模这些子动作之间的序列关系。最后,我们开发了一种创新的细粒度跨模态对齐策略,能够将视觉特征主动映射到与语义描述相同的时间阶段。大量实验充分证明了该方法的有效性和优越性,它在五个基准测试中均取得了最先进的性能表现,代码已开源,地址为https://github.com/Jaulin-Bage/Task-Adapter-pp。引言随着大规模预训练模型的出现[1]、[2],研究人员现在可以利用这些模型在预训练阶段获取的知识并将其应用于下游任务。因此,越来越多的人开始致力于针对特定任务对这些模型进行微调[3]、[4]。在视频理解领域,现有研究通常在标注完善的视频数据集上对预训练模型进行微调[5]、[6],此时训练集和测试集的类别是相同的。但在现实场景中,收集足够且标注完善的视频样本本身就极具挑战性。正因如此,少样本学习越来越受到重视[7]。少样本动作识别通常采用基于度量的元学习策略,通过计算查询视频特征与支撑原型之间的距离来确定分类概率。先前的研究[8]、[9]、[10]是通过在视频数据集上对CLIP等大型图像模型进行微调,并结合独立的时间模块来实现这一目标的,如图1(a)所示。除了以视觉为中心的方法外,近期还有研究通过整合语义信息,探索了用于少样本学习的多模态框架。例如,[11]、[12]这类研究利用CLIP的零样本分类能力通过视频-文本匹配,从而显著提升了少样本分类的准确性。还有一些研究[11]、[13]进一步利用大型语言模型或视觉-语言模型来扩展标签信息,丰富动作或物体的属性描述,如图1(b)所示。尽管以往的研究已取得一定进展,但仍存在若干局限。首先,完全微调会破坏模型原有的先验知识,进而降低其处理未见任务的泛化能力。其次,人们往往忽视在时空特征提取中融入任务特定适配的重要性,这导致忽略了每个任务中最具区分度的信息。第三,经过增强的标签信息通常被视为静态描述,未能体现动作发生的不同阶段。由于缺乏细粒度的时间描述和语义顺序建模,很难充分发挥CLIP在视频理解中的零样本分类能力。第四,现有方法通过全局匹配来对齐跨模态特征,这种方式忽略了视觉特征与语义特征之间的时间关联性。基于这些观察,我们提出了Task-Adapter++,这是一个通过高参数效率双适配机制,专为少样本动作识别设计的框架。我们的方法在视频特征提取过程中全面融入任务特定信息,并在语义建模和跨模态对齐过程中保留语义顺序信息。具体而言,为解决完全微调的第一个弊端,我们采用了近期发展起来的高参数效率微调方法。该方法起源于自然语言处理领域,旨在无需微调模型所有参数即可让大型预训练模型适应下游任务,同时还能保持与完全微调相当的性能。受这些研究的启发,我们认为这类仅微调少量额外适配参数的方法特别适合少样本动作识别,因为它们能够在保留可泛化的预训练知识与整合领域特定线索之间实现平衡,从而提升视频理解的稳健性并提高数据利用效率。至于第二个弊端,现有视频领域的适配方法主要关注时间建模,而忽视了为少样本学习任务增强任务特定特征的需求。在人类认知中,人们普遍认为不同目标任务的最具区分度特征各不相同。例如,在区分“跳高”和“跳远”时,运动员的身体动作更为关键;而在区分“跳高”和“撑杆跳高”时,运动员是否持有长杆则更为重要。在基于度量的少样本图像分类任务中,提取任务特定特征一直是一个重要问题[7],但在少样本动作识别领域却一直被忽视。虽然有一些研究[10]、[16]考虑了任务特定适配,但它们仅在已提取的特征层面应用任务特定方法,这种做法阻碍了为特定少样本学习任务发现最具区分度的信息。为弥补这一缺陷,我们提出了一种全新的基于适配器的方法,将任务特定适配直接集成到视频特征提取过程中。如图2(a)所示,通过重新使用经过冻结处理的自注意力块,并结合可学习的适配器来执行跨视频的任务特定注意力操作,我们的方法能够动态突出每个给定任务中最具区分度的任务相关模式。第三,鉴于现实世界中的事件本质上是由具有特定阶段的子动作构成的,我们利用大型语言模型生成并按结构关联描述动作起始、过程和结束的有序子动作。与那些将描述视为静态结构的传统文本增强方法不同,我们的方法强调了子动作之间的序列依赖关系,使语义子动作与视频的时间结构相契合。此外,我们还提出了语义顺序适配器,这是一种通过语言明确建模复杂动作背后子动作过程的新方法,如图2(b)所示。这使得语义分支能够为后续匹配提供细粒度、具备顺序意识的上下文。最后,在匹配视觉特征和语义特征时,为克服全局匹配的局限性并充分利用视觉特征与语义特征之间的时间关联性,我们提出了一种创新的细粒度跨模态对齐策略。该策略使视频特征与不同阶段的语义特征相对应。具体而言,在通过注意力机制实现细粒度时间建模之后,我们会对视觉特征进行分割,使其直接与代表起始、过程和结束阶段的语义特征相对应。如图2(b)所示,最终的跨模态匹配得分正是基于这种在不同时间阶段间的细粒度、分段式对齐得出的。总体而言,我们的框架由两个分支组成,分别计算匹配得分:一个是经过任务特定适配改进的图像编码器构成的视觉分支,另一个是包含语义顺序适配器的文本编码器构成的语义分支。如图3所示,视觉匹配得分是基于查询视频特征以及视觉分支提取的支撑视频原型计算得出的,而跨模态匹配得分则是基于语义分支提取的语义特征与经过跨模态对齐后的查询视频特征计算得出的。最终得分则是将这两部分结果相乘得到的。我们的贡献可总结如下:•我们提出了一种名为Task-Adapter++的创新高参数效率双适配方法,该方法通过适配器充分利用视觉和语义方面的优势,有效解决了完全微调带来的灾难性遗忘和过拟合问题。•据我们所知,我们是首个提出在时空特征提取过程中进行任务特定适配的人,这种方法显著增强了针对特定少样本学习任务的区分度特征。•我们利用大型语言模型为语义信息添加动态的子动作描述,并通过语义顺序适配器进一步建模动作的序列关系。之后,我们还提出了一种细粒度跨模态对齐方法,有助于按阶段匹配视觉特征与语义特征。•大量实验充分证明了Task-Adapter++的优越性,它在五个标准的少样本动作识别基准测试中均取得了新的最先进成果,同时也验证了各个提出的组件的有效性。在本文中,我们在之前发表于MM’24会议论文[17]的基础上进行了大幅扩展,我们的核心改进基于Task-Adapter,主要包括以下几项关键技术创新:(i) 大型语言模型增强的动态子动作描述:借助大型语言模型的强大功能,我们将标准的动作标签扩展为丰富的、具有时间结构的子动作描述。这种新方法通过明确捕捉每个动作的起始、过程和结束阶段,显著丰富了时间层面的语义信息。(ii) 语义顺序适配器:我们为语义分支专门设计了一种开创性的适配策略。这种语义顺序适配器能够有效建模子动作之间的内在序列关系,帮助文本编码器更好地理解和表达复杂动作的时间进展。(iii) 细粒度跨模态对齐策略:为解决模态间时间关联性的关键问题,我们开发了一种创新的跨模态对齐框架。该策略确保视觉特征能够动态映射到与其对应的语义描述相同的时间阶段,从而实现更精确、更有意义的跨模态特征匹配。此外,我们还进行了大量的实验验证和性能评估:(iv) 全面的消融实验:我们开展了详尽的消融实验,系统地证明了Task-Adapter++各个组成部分的有效性,同时对相关机制的深入分析也为理解它们各自的贡献提供了有力依据。(v) 更优的性能:与之前的版本相比,我们改进后的框架在五个标准的少样本动作识别基准测试中实现了显著的性能提升,准确率最高提升了3.4%,再次取得了最先进的成果。章节节选少样本学习少样本学习旨在构建一种模型,使其仅依靠少量标注数据就能快速适应未见过的类别。现有方法可分为三类:基于增强技术的[18]、[19],基于度量技术的[20]、[21]、[22],以及基于优化技术的[23]、[24]。基于增强技术的方法利用辅助数据来优化特征表示或生成额外样本[18],以提高支撑集的多样性。基于度量技术的方法则侧重于学习具有泛化能力的特征问题定义少样本动作识别旨在从基础类别中学习知识,以便在数据有限的情况下对新的动作类别进行分类。为实现这一目标,我们采用了基于剧集的训练方式,该方式可表现为C路K样本的形式。视频数据集被划分为互不重叠的训练集和测试集,分别记为Dtr和Dts。在每个剧集中,我们会从Dtr中随机抽取一个C路K样本任务,即每个类别包含C个动作类别,每个类别有K个标注样本。实验设置数据集我们在四个广泛用于少样本动作识别的数据集上评估了我们的方法,分别是HMDB51[40]、UCF101[41]、Kinetics[5]和SSv2[6]。前三个数据集侧重于场景理解,而最后一个数据集SSv2则需要更复杂的時間建模[8]。特别是对于HMDB51和UCF101,我们采用了[42]提出的少样本划分方式,其训练集、验证集和测试集分别包含31/10/10个类别,以及70/10/21个类别。对于Kinetics数据集,则遵循[34]的方法。结论在本文中,我们提出了Task-Adapter++,这是一种用于将预训练图像模型适配到少样本动作识别的新型框架。与传统的完全微调不同,我们采用了一种高参数效率的双适配方法,仅对新插入的适配器进行微调,从而避免了灾难性遗忘和过拟合问题。具体而言,我们设计了任务适配器模块,用于为特定的少样本学习任务增强视觉领域的区分度特征。与此同时,CRediT作者贡献声明曹聪奇:写作——审稿与编辑、监督、项目管理、方法论、资金获取、形式分析、概念设计。韩培恒:写作——初稿撰写、可视化、验证、软件开发、研究、数据整理。张悦然:写作——初稿撰写、可视化、验证、软件开发、方法论、研究。于雅婷:方法论、概念设计。吕琴怡:写作——审稿与编辑、资源协调、资金获取。凌通民:撰写——利益冲突声明 作者声明,他们不存在任何可能影响本文所报道工作的已知财务利益或个人关系。致谢 本项工作得到了中国国家自然科学基金(编号:62376217、62301434、62576279)、中国科协青年英才计划(编号:2023QNRC001)以及气象能力提升联合研究项目(编号:24NLTSZ003)的支持。曹聪琪(IEEE会员)于2013年在中国杭州的浙江大学获得信息与通信工程学士学位,2018年在中国科学院自动化研究所获得模式识别与智能系统博士学位。之后,她进入中国西安的西北工业大学计算机科学学院工作,目前为副教授。她的研究兴趣包括计算机视觉、模式识别等领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号