面向面部关键点检测的数据增强的监督神经风格迁移(Supervised Neural Style Transfer, SNST)方法

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Supervised Neural Style Transfer as an Augmentation Technique for Facial Landmark Detection

【字体: 大 中 小 】 时间:2026年04月08日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3

编辑推荐:

  摘要 神经风格迁移(Neural Style Transfer, NST)是一种在保持图像结构内容的同时,将一幅图像的视觉特征应用到另一幅图像的技术。传统上用于艺术图像转换,NST近年来逐渐应用于领域适应和数据增强等新领域。本研究探讨了NST作为关键点检测

  
摘要
神经风格迁移(Neural Style Transfer, NST)是一种在保持图像结构内容的同时,将一幅图像的视觉特征应用到另一幅图像的技术。传统上用于艺术图像转换,NST近年来逐渐应用于领域适应和数据增强等新领域。本研究探讨了NST作为关键点检测任务数据增强策略的新应用。为验证其在复杂猫面部关键点检测任务中的可行性,本研究做出了两项主要贡献:第一,研究人员表明将风格迁移应用于裁剪的面部图像,而非全身图像,可提高生成图像的结构一致性,这是关键点检测任务所必需的;第二,提出了一种针对关键点检测任务优化的监督神经风格迁移(Supervised Neural Style Transfer, SNST)技术,其性能优于传统图像增强方法和无监督NST。研究结果表明,SNST是一种有效的数据增强策略,可提升动物领域关键点检测模型的性能,并有潜在推广价值。
论文解读
本研究发表于《INTERNATIONAL JOURNAL OF COMPUTER VISION》,旨在解决动物面部关键点检测领域的数据稀缺和传统数据增强方法局限性问题。在计算机视觉和深度学习快速发展的背景下,现代卷积神经网络(CNN)和视觉变换器(Vision Transformers, ViTs)在关键点检测任务中已取得显著进展,但在动物面部应用中仍面临数据不足、品种间差异大以及面部形态复杂等挑战。高质量标注数据难以获取,加之受伦理、隐私和稀有性限制,使得训练鲁棒模型具有很大难度。因此,探索高效的数据增强策略对于提升模型性能至关重要。

研究人员针对这一问题提出将神经风格迁移(Neural Style Transfer, NST)作为数据增强技术,并进一步发展为监督神经风格迁移(Supervised NST, SNST)。该方法通过在保持面部空间结构一致性的前提下,将风格图像应用于内容图像,生成具有多样风格但结构不变的训练样本。研究团队使用Cat Facial Landmarks in the Wild(CatFLW)数据集,包含多品种猫的48个标注关键点,对600幅图像进行了训练与测试划分。研究发现,将NST应用于裁剪的面部图像(Cropped-Face Style Transfer, CF-ST)相比全身图像风格迁移(Full-Body Style Transfer, FB-ST)在结构保持指标Intersection over Union(IoU)和Splice ViT损失(\(L_{\text{splice}}\))上表现更优,验证了裁剪预处理的重要性。

在增强策略上,SNST通过性能引导选择风格源图像:首先在原始训练集上训练关键点检测模型以评估基础性能,然后选取N张具有最低下游误差的图像作为风格源(Train\(_{StS}^{N}\)),再通过风格迁移生成增强样本(Train\(_{ST}^{N}\)),并与原始训练集组合进行训练。相比随机风格迁移和传统增强方法,SNST在Ensemble Landmark Detector(ELD)和DeepLabCut(DLC)模型上均实现了显著性能提升:NME(Normalized Mean Error)分别下降约9–20%,误差标准差降低,表现出增强的鲁棒性和泛化能力。统计分析显示SNST相较于传统增强策略在误差稳定性上具有显著改善(p < 0.05)。

研究使用的关键技术方法包括:裁剪面部图像预处理、基于Splice ViT的语义结构保持风格迁移、性能指导的风格源选择、以及在CatFLW数据集上训练的ELD与DLC关键点检测模型。该方法避免了任意结构扭曲,通过保持内容和风格的空间一致性确保生成图像的关键点坐标可直接用于训练。

研究结果显示:
1. **面部裁剪的影响**:CF-ST在IoU与\(L_{\text{splice}}\)指标上明显优于FB-ST,确保面部形态特征的稳定保留。
2. **NST数据增强**:单独使用随机或监督NST替换训练集并未改善性能,甚至可能引入噪声。
3. **SNST增强效果**:将监督风格源与原始数据组合,显著提升关键点检测精度,NME下降幅度最大,减少大误差样本,提升模型鲁棒性。
4. **统计验证**:误差方差显著降低,性能增益经配对t检验验证具有统计显著性。

讨论部分指出,SNST方法不仅提升了动物面部关键点检测性能,也为数据稀缺领域提供了一种可扩展的图像预处理与增强策略。研究结论强调,适当选择高性能风格源图像能够在保持结构一致性的前提下,提高模型对多样面部风格的泛化能力。未来研究计划进一步验证少样本域适应策略,例如“leave-one-breed-out”实验,以评估SNST在罕见品种或特殊面部形态上的推广效果。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号