基于视觉先验引导Transformer的小样本关键点检测新方法VPViT及其在跨物种姿态估计中的应用

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Exploiting Class-agnostic Visual Prior for Few-shot Keypoint Detection

【字体: 大 中 小 】 时间:2026年01月17日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3

编辑推荐:

  本文提出了一种名为视觉先验引导视觉变换器(VPViT)的创新方法,用于解决小样本关键点检测(FSKD)中的核心挑战。研究团队通过利用类别无关的视觉先验(如显著性图或DINO注意力图)来引导自注意力机制聚焦于前景区域,从而有效学习关键点间的语义关系。该方法在七个公开数据集上实现了最先进的性能,显著提升了在少样本设置下的关键点定位精度,并为处理遮挡场景和转导推理提供了新思路。

  
在计算机视觉领域,关键点检测一直是一项基础而重要的任务,它旨在精确定位图像中物体的语义部位,如人体的关节、动物的四肢或服装的特征点。尽管基于深度学习的方法在充足标注数据下已取得显著成功,但它们通常难以泛化到新的物体类别或关键点类型上。这在真实应用场景中构成了巨大挑战——我们不可能为所有可能的物种或物体收集大量标注数据。例如,动物保护研究中需要对稀有物种进行行为分析,时尚电商需要快速适配新款服装的关键点检测,这些场景都呼唤能够快速适应新类别的小样本学习能力。
小样本关键点检测(FSKD)正是为解决这一挑战而提出的新兴研究方向。与传统方法不同,FSKD的目标是仅凭一个或几个支持样本,就能在新的查询图像中检测出相应的关键点。然而,这一任务面临四大核心难题:支持样本数量稀少导致模型容易过拟合;训练物种与测试物种间存在较大的域差距;关键点作为局部特征比整体物体更难检测;以及关键点位置本身固有的模糊性和不确定性。
现有的FSKD方法在应对这些挑战时仍存在明显不足。大多数方法没有充分利用关键点之间的语义关系,而人类在定位关键点时恰恰会依赖这种上下文信息——比如通过肩膀的位置来推断肘部的位置。同时,传统方法也未能有效抑制背景噪声的干扰,这在不熟悉的新物种检测中尤为致命。
在国际期刊《International Journal of Computer Vision》上发表的最新研究中,来自香港科技大学、澳大利亚国立大学等机构的研究团队提出了一种名为视觉先验引导视觉变换器(VPViT)的创新方法,为FSKD问题提供了全新解决方案。该方法的核心思想受到人类视觉感知的启发:我们在定位物体部位时,会首先将注意力集中在目标物体上,然后再精确定位其组成部分。
VPViT的创新性体现在几个关键方面。首先,它引入类别无关的视觉先验(如显著性图或自监督模型DINO的注意力图),这些先验易于获取且不偏向于已见过的类别,具有良好的泛化能力。研究人员设计了形态学学习器(ML)来自适应地优化视觉先验图,使其能够根据具体上下文调整“感受野”,更好地捕捉物体周围的相关环境信息。
更重要的是,团队提出了自适应掩码自注意力(AMSA)机制,将优化后的先验图作为软掩码来约束自注意力的计算范围,使模型更专注于前景区域的关系学习。与全局自注意力相比,这种方法能有效减少背景噪声的干扰,强化前景关键点之间的语义关系建模。当视觉先验图质量较差时,AMSA仍能保持背景令牌的自身信息,确保模型的稳健性。
针对少样本设置中支持关键点原型(SKP)质量不高的问题,研究团队还探索了转导式FSKD,利用未标注的查询样本增强关键点表示。此外,通过简单的掩码与对齐(MAA)策略,模型在处理被遮挡关键点时的鲁棒性也得到了显著提升。
在技术实现层面,研究人员采用了多尺度定位网络,同时预测网格概率、偏移向量和协方差矩阵,从而不仅输出关键点坐标,还提供定位不确定性估计。这种设计使模型能够更准确地反映关键点定位的置信度,特别是在模糊或遮挡情况下。
研究方法上,作者主要在七个公开数据集上进行了系统评估,包括Animal Pose、CUB、NABird、AwA、DeepFashion2、AP-10K和MP-100。这些数据集涵盖了从常见动物到稀有物种、从自然场景到商业图像的多样化关键点检测任务。通过严格的少样本协议(如N-way K-shot)和多个评估指标(如PCK@0.1和PCK@0.2),研究全面验证了VPViT在不同设置下的性能。
模型架构与关键方法
VPViT的核心架构包含先验嵌入模块(PEM)、形态学学习器(ML)和自适应掩码自注意力(AMSA)三个关键组件。PEM负责将RGB图像和视觉先验图编码为特征表示;ML通过功率归一化动态调整先验图的形态,为AMSA提供自适应掩码;AMSA则利用这些掩码引导自注意力机制聚焦于前景区域的关系学习。训练策略上,除了标准的有监督学习,还引入了转导推理和掩码对齐策略来提升模型在少样本和遮挡场景下的性能。多尺度定位网络通过网格分类、偏移回归和协方差预测三个分支共同实现关键点的精确定位和不确定性估计。
研究结果与发现
在少样本关键点检测任务中,VPViT在多个数据集上实现了最先进的性能。在Animal Pose数据集的1-shot新关键点检测任务中,VPViT(default)达到了46.61%的PCK@0.1分数,比之前的最佳方法FSKD-D高出1.86%。在5-shot设置下,这一优势进一步扩大至5.68%。在更具挑战性的AwA数据集上,VPViT(DINO)变体在1-shot新关键点检测中达到了68.71%的分数,比FSKD-D高出3.95%。这些结果一致表明,通过视觉先验引导关系学习的策略能显著提升模型在少样本条件下的泛化能力。
转导推理的引入带来了额外性能增益。在Animal Pose数据集上,转导式VPViT(default)将1-shot新关键点检测的PCK@0.1分数从46.61%提升至49.34%,增幅达2.73%。在CUB和NABird等细粒度鸟类数据集上,同样观察到约2-4%的稳定提升,证明利用未标注查询样本优化支持关键点原型的有效性。
在遮挡处理能力方面,研究团队模拟了三种遮挡类型(灰度框、平均像素框和背景裁剪)进行测试。结果显示,采用掩码与对齐(MAA)策略训练的VPViT在面对100%关键点遮挡时,仍能保持较高性能。特别是在背景裁剪遮挡下,MAA策略将PCK@0.1分数从基线模型的22.82%提升至32.04%,证明该方法对现实世界遮挡的强鲁棒性。
讨论与意义
这项研究的核心贡献在于首次将类别无关的视觉先验系统性地引入少样本关键点检测问题,并通过精心设计的VPViT架构实现了前景关系的高效学习。与以往方法相比,VPViT不仅性能显著提升,还具备更好的可解释性——视觉先验图使模型注意力机制聚焦于相关区域的过程变得透明可溯。
值得注意的是,VPViT的成功部分得益于其与人类视觉认知的契合。人类在观察物体时,会自然地将注意力集中在目标区域而非背景,VPViT的视觉先验引导机制正是对这一认知原理的计算实现。同时,形态学学习器的引入使模型能根据具体场景动态调整关注范围,这与人类根据上下文调整注意力的能力异曲同工。
在应用层面,这项工作为计算机视觉在野生动物保护、时尚电商、医学图像分析等数据稀缺领域的应用开辟了新可能性。研究者无需为每个新物种或新物体类别收集大量标注数据,仅凭少数样本即可获得满意的关键点检测效果。特别是在动物行为研究中,科学家可快速适配模型以识别稀有物种的姿态,从而支持保护生物学研究。
然而,研究也揭示了FSKD任务的固有挑战。当不同关键点在视觉上高度相似(如左眼和右眼)时,模型仍可能产生混淆。这提示未来研究可探索对比学习等策略,进一步强化关键点表示的区分度。同时,随着基础模型(如大型语言模型)在视觉任务中的成功,将FSKD与这些模型结合,有望进一步突破当前性能边界。
总的来说,VPViT为少样本关键点检测提供了新颖而有效的解决方案,其核心思想——利用视觉先验引导关系学习——对其他少样本视觉任务也具有启发意义。随着模型规模扩大和训练数据多样化,FSKD有望在更广泛的实际场景中实现应用落地,推动计算机视觉向更通用、更灵活的方向发展。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号