具有不平衡缓解机制的视觉-语言适应技术,用于实现通用化的面部防欺骗功能

《Pattern Recognition》:Vision-Language Adaptation with Imbalance Mitigation for Generalizable Face Anti-Spoofing

【字体: 大 中 小 】 时间:2026年01月16日 来源:Pattern Recognition 7.6

编辑推荐:

  面部防伪检测|视觉语言适配|自适应Transformer|多模态双权重焦点损失|SAM优化

  
范成|乔宇泽|孟帆军|王贤亮|彭明莎|李凯轩|吴志泽|陈梅文
安徽大学,光电信息获取与保护技术国家重点实验室,中国安徽省合肥市九龙路111号,230601

摘要

面部防伪(FAS)已成为一个关键的研究领域,旨在检测面部识别系统中的欺骗攻击。现有的基于深度学习的方法虽然强大,但可能会对特定数据集过拟合,并且在未见过的领域表现不佳。在这些研究中,有些方法对整个预训练的视觉-语言模型进行了微调,并在FAS数据集中对不同领域和类别赋予了相同的权重。然而,这种训练策略消耗了大量计算资源,并且没有考虑到数据不平衡的问题。在本文中,我们提出了一个基于视觉-语言适应和不平衡缓解的框架,用于通用化的FAS(AIM-FAS)。我们的方法建立在CLIP这一先进视觉-语言模型的基础上,并引入了几项关键创新。具体来说,我们提出了一个自适应变换器块来在FAS数据上微调模型。此外,我们设计了一种多模态双权重焦点损失函数来解决FAS实验中常见的数据不平衡问题。进一步地,我们引入了一种基于锐度感知最小化(SAM)的通用优化方法来平滑损失曲线并提高模型的泛化能力。广泛的实验表明,所提出的AIM-FAS在多个具有挑战性的跨领域数据集上表现优于现有的最先进方法。

引言

面部防伪(FAS)作为生物特征安全中的关键技术,在近年来受到了广泛关注。该技术旨在区分真实的人脸和欺骗尝试(如照片、视频或3D面具),从而确保面部识别系统的真实性和安全性[1]。在过去的几十年中,基于手工特征的方法成为FAS领域的主流方法。这些方法依赖于从面部图像中提取特定特征(如纹理、频率和活力线索)来检测欺骗攻击[2]。
尽管这些方法取得了一定的成功,但它们往往缺乏泛化能力。另一方面,基于深度学习的方法通过使用深度神经网络(DNN)从FAS数据集中学习判别性特征,表现出了更优越的性能[3]、[4]、[5]、[6]、[7]。在各种DNN中,卷积神经网络(CNN)由于其分层特征提取能力和参数共享架构而成为最流行的模型。然而,CNN中卷积操作的内在局部性和分层特征聚合从根本上限制了它们对整个FAS图像的全局上下文关系的建模能力。
最近,先进的视觉变换器(ViT)模型利用自注意力机制在计算机视觉任务上取得了比CNN更好的性能[8]。ViT模型能够识别不同补丁之间的长距离依赖关系,从而获取和处理整个图像的丰富视觉表示。尽管从头开始训练ViT模型以适应FAS任务需要大量数据,但可以使用公共的预训练权重来初始化模型并在FAS数据上进行训练[9]。
然而,ViT仅使用图像数据进行训练,这可能不足以代表所有情况,从而限制了它们的泛化能力[10]。为此,最近的研究探索了使用视觉-语言模型(VLM)进行FAS,利用这些模型编码的丰富多模态表示来增强FAS的泛化能力。其中,对比语言-图像预训练(CLIP)通过对比学习在数百万张图像-文本对上建立了跨模态对齐[11]。其双编码器架构将视觉和文本特征投影到共享的嵌入空间中。因此,CLIP在最近的FAS工作中被广泛用作特征编码器[12]。
在本文中,我们提出了一个基于自适应视觉-语言模型的框架,用于实现抗不平衡和通用化的面部防伪。如图1所示,与之前使用预训练的CLIP作为骨干并微调整个模型的方法不同,我们保持骨干不变,并提出了一个自适应变换器块来在FAS数据上微调部分参数。值得注意的是,我们设计了一种多模态双权重焦点损失(MDFL)来解决FAS中常见的数据不平衡问题。此外,我们引入了一种基于SAM的通用优化方法来平滑损失曲线并避免尖锐的最小值,从而提高模型的泛化能力。
具体来说,自适应视觉-语言模型带来了两个好处。首先,它能够从面部图像中提取丰富且具有判别性的特征,有效捕捉真实人脸和欺骗人脸之间的细微差异。其次,自适应变换器块避免了消耗大量计算资源,并使模型能够更好地适应特定的FAS数据。MDFL在我们的工作中也至关重要,因为它不仅通过反向权重减轻了领域不平衡,还通过引入真实和欺骗样本的二进制权重来减轻类别不平衡。这使得我们的模型能够从不平衡的数据集中更有效地学习并提高其鲁棒性。此外,基于SAM的通用优化方法进一步通过避免损失曲线中的众多尖锐和狭窄的最小值来增强模型的泛化能力。总结来说,本文的主要贡献如下:
  • •
    我们提出了一个抗不平衡和通用的面部防伪框架AIM-FAS,它在基础视觉-语言模型中引入了一个自适应变换器块进行微调,以增强图像表示并提取精确的伪造特征。
  • •
    我们设计了一种多模态双权重焦点损失函数,通过反向和二进制权重来解决领域不平衡和类别不平衡问题。此外,我们引入了基于SAM的通用优化方法来进一步提高模型的泛化能力。
  • •
    我们在广泛使用的跨领域FAS基准测试中取得了最先进的性能,并提供了关于视觉-语言适应和不平衡缓解如何提升性能的分析和见解。

章节摘录

面部防伪

面部防伪(FAS)在多个研究方向上受到了越来越多的关注。早期的努力利用了人类的自发行为(如头部运动、眨眼)或预定义的动作(如头部转动和表情变化)。随后,人们使用手工特征来表征欺骗模式,包括LBP、HoG和SIFT特征[2]。
然而,随着复杂欺骗技术的快速发展,这些传统方法变得越来越

整体框架

AIM-FAS的架构如图2所示,它是基于CLIP构建的。与标准CLIP不同,我们采用了部分微调的训练策略,而不是微调所有参数。具体来说,我们在图像和文本分支的变换器块中添加了一个轻量级适配器。我们保持适配器中的参数可训练,而其他参数保持不变,从而提高了训练效率。
AIM-FAS首先通过应用

实验设置

数据集和协议:我们使用了FAS学术界公开可用的基准数据集:MSU-MFSD(M)[33]、CASIA-MFSD(C)[34]、Idiap Replay-Attack(I)[35]和OULU-NPU(O)[36]。这四个数据集在材料、照明、背景和分辨率上存在显著差异。
MSU-MFSD使用两台不同的摄像机记录视频,其分辨率分别为640 × 480或720 × 480。该数据集包含照片攻击

结论

在本文中,我们提出了一种基于视觉-语言适应和不平衡缓解的通用FAS新算法,称为AIM-FAS。AIM-FAS的核心是利用预训练的CLIP模型的优势,并通过一个参数高效的适配器对其进行特定于FAS任务的调整。此外,还设计了一种多模态双权重焦点损失函数来解决领域和类别层面的数据不平衡问题,确保了模型的

CRediT作者贡献声明

范成:撰写 – 审稿与编辑,撰写 – 原稿,可视化,资金获取,形式分析,数据管理,概念化。乔宇泽:撰写 – 审稿与编辑,撰写 – 原稿,软件开发,调查,资金获取,形式分析。孟帆军:撰写 – 审稿与编辑,撰写 – 原稿,调查,资金获取,形式分析。王贤亮:撰写 – 审稿与编辑,撰写 – 原稿,可视化,形式分析

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金(12205003, 62403001, 62106002, 62076001)、安徽省教育厅优秀人才支持计划的关键项目(gxyqZD2021089)、安徽省教育委员会自然科学项目的关键计划(2022AH050100, 2024AH050063)的支持,同时也得到了安徽省自然科学基金(2408085QF198)的支持。(通讯作者:陈梅文)
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号