《Image and Vision Computing》:Long-FAS: Cross-domain face anti-spoofing with long text guidance
编辑推荐:
长文本指导的跨域面部反欺骗框架通过双分支架构和主成分匹配策略,利用MiniGPT-4生成详细描述,解决长文本信息 truncation 和精细特征提取难题,显著提升多数据集跨域检测性能。
Jianwen Zhang|Jianfeng Zhang|Dedong Yang|Rongtao Li|Ziyang Li
河北工业大学人工智能学院,天津 300401,中国
摘要
近期研究表明,利用自然语言作为监督信号可以提高面部防欺骗(FAS)的性能;然而,这些方法在处理长文本输入和细粒度信息方面仍存在不足。为了克服这些限制,我们利用MiniGPT-4为输入图像生成详细的面部特征文本描述,并提出了一种新的框架Long-FAS,该框架通过双分支架构提取文本和视觉信息。具体来说,我们引入了位置编码来保留知识,以便从长文本中学习有效的特征表示,并采用主成分分析(PCA)匹配来捕获关键属性信息。此外,在粗粒度和细粒度上匹配视觉和文本特征,增强了模型处理长文本和短文本的能力,从而使其能够从面部图像中学习到强大的判别线索。广泛的实验表明,我们的方法显著优于现有的最先进方法。
引言
面部防欺骗(FAS)技术——也称为“呈现攻击检测”或“活体检测”——旨在进行二元分类,以区分真实面部和欺骗攻击。当前的基于RGB的方法已经超越了早期的手工特征方法[1],涵盖了三个主要的深度学习类别:(1)结合手工特征和深度学习特征的混合方法[2]、[3]、[4];(2)传统的深度学习方法[5]、[6];以及(3)用于泛化的跨领域方法[7]、[8]。
CLIP [9]在下游任务中取得了显著的性能提升,但已被其他主流的多模态算法所取代。基于CLIP的模型的局限性如下:(1)文本输入长度限制:文本长度限制为77个标记,这阻碍了CLIP处理细粒度文本描述的能力,并限制了其在处理长文本输入时的性能提升。(2)属性信息的丢失:实验研究表明,实际的有效文本长度甚至少于20个标记,使得CLIP难以准确提取多属性文本输入中的所有属性描述。(3)细粒度信息的丢失:为了适应输入文本长度限制,文本截断或简化会导致细粒度信息的丢失。
基于这些分析,FLIP [10]利用自然语言构建视觉表示,以实现强大的跨领域FAS性能。然而,它未能充分解决两个关键问题:输入限制和细粒度视觉信息不足,这降低了FAS的性能。最近的一项全面调查[11]也指出,尽管语言引导显示出潜力,但对明确的与活性相关的文本信息的探索仍然有限,这敦促未来的研究专注于提取判别性语义线索。尽管像SLIP [12]这样的最新工作已经成功使用了提示学习进行单类FAS,但它们仍然依赖于简短的手工提示来模拟欺骗特征。为了减轻领域转换并提高泛化能力,最近的一些高级工作探索了更复杂的提示学习策略。例如,CFPL-FAS [13]和CCPE [14]引入了可学习的复合提示来明确捕获内容和风格语义。此外,FA3-CLIP [15]和HiPTune [16]分别通过整合频率感知线索和层次结构来扩展提示调整,以实现统一的面部攻击检测。虽然这些方法展示了语言引导的有效性,但它们主要依赖于短的学习向量或简短的标题。相比之下,我们的方法通过利用MiniGPT-4生成的长格式描述来明确针对短输入的局限性,提供密集的、细粒度的属性引导。最近的进展还探索了轻量级架构和单类学习用于FAS。例如,CDformer [17]引入了通道差异注意力机制,以在移动设备上高效捕获细粒度的欺骗线索。在泛化方面,OC-SCMNet [18]提出了一个利用欺骗线索图检测未知攻击的单类框架。虽然这些方法在各自的设置中取得了令人印象深刻的结果(即高效的推理或异常检测),但我们的工作侧重于利用大规模视觉语言模型的丰富语义知识,通过长文本引导来解决具有挑战性的跨领域小样本问题。为了应对这些挑战,我们提出了Long-FAS,这是一个高效的长文本引导跨领域面部防欺骗框架。它采用双分支分别提取文本和视觉特征,同时结合主成分匹配来学习关键属性信息并建立信息优先级。其主要创新如下:
- •
高效生成长文本描述:我们利用MiniGPT-4 [19]为简短的类别级文本添加全面的面部属性描述,从而能够从最小的初始输入中得出丰富的语义表示。
- •
扩展文本容量并保留知识:虽然CLIP受到输入长度限制的影响,导致严重的信息截断,但我们的方法通过位置编码保持了强大的表示能力。这允许充分利用长文本来丰富面部图像的详细信息。
- •
多粒度跨模态对齐:在长文本微调过程中引入的主成分匹配策略,使得长文本和短文本能够同时被利用。它在粗粒度和细粒度上对齐面部图像和文本特征,从而提高了FAS分类的性能。
- •
全面的实验验证:在四个基准数据集上进行的广泛实验,以及彻底的视觉分析,证明了我们方法的有效性。
方法
现有的跨模态FAS方法通常使用粗粒度(全局图像到文本)或细粒度(局部区域到单词)匹配,但不是两者兼备。我们通过统一粗粒度(将整个面部与整体文本描述匹配)和细粒度(将面部组件与详细属性文本匹配)来解决这一限制。这种双粒度设计使模型能够无缝适应长文本(包含丰富的细节)和短文本(
数据集和指标
评估在四个广泛使用的数据集上进行:CelebA-Spoof [46](作为补充数据集),以及MSU-MFSD (M) [47]、CASIA-MFSD (C) [48]、Idiap Replay Attack (I) [49] 和 OULU-NPU (O) [50]。根据以往的研究,每个数据集被视为一个独立的领域,并采用了留一法来评估跨领域泛化性能。评估指标包括半总错误率(HTER)、ROC曲线下面积(AUC)和真正例率
结论
我们提出了一种高效的长文本引导跨领域面部防欺骗方法,该方法不仅充分利用了长文本描述中的细粒度特征,还保留了粗粒度的图像类别描述。通过在不同层次上关联特征信息,网络实现了具有强大泛化能力的FAS算法。在四个基准数据集上进行了广泛的实验,结果证明了其有效性
CRediT作者贡献声明
Jianwen Zhang:撰写——原始草稿、软件、方法论。Jianfeng Zhang:撰写——审阅与编辑、软件。Dedong Yang:监督、项目管理。Rongtao Li:可视化、验证。Ziyang Li:可视化、验证。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本工作得到了中国河北省自然科学基金(F2024202058, F2023202060)的支持。