综述：面部识别系统中用于防止面部伪造（反欺诈）的方法概述

《Journal of Visual Communication and Image Representation》：An overview of face anti-spoofing methods for face recognition systems

　　我们提供了现有面部展示攻击检测（PAD）方法的全面概述。我们详细分类了现有的面部PAD方法，并附有示意图来总结这些类别。我们为每个主要PAD方法类别准备了总结表，以及三个比较性能表，突出显示了不同技术的有效性。我们描述并分类了不同类型的展示攻击，包括一个用于视觉呈现攻击场景的伪造实体图。我们还提供了公开可用PAD数据库和基准测试的总结表，强调了它们的主要特性及其在文献中的用途。

引言
由于面部识别系统（FRS）的非侵入性、易用性和卓越的识别性能，它们已成为最广泛部署的生物识别技术之一。这些系统被广泛应用于许多关键安全领域，包括智能手机认证、边境安全、监控系统、金融交易、电子政府服务和物理访问控制[1]、[2]、[3]。尽管面部识别精度有了显著提高，但现代FRS仍然容易受到展示攻击（PA）的影响，这类攻击通常被称为面部伪造攻击，攻击者试图使用伪造或篡改的面部表示来欺骗系统[4]、[5]。面部伪造攻击可以使用多种攻击工具进行，包括打印照片、回放视频、三维面具、硅胶面具以及最近的AI生成合成媒体，如深度伪造[6]、[7]、[8]。深度学习（DL）和生成式人工智能技术的快速发展显著提高了这些攻击的真实感和可行性，从而对当代生物识别认证系统构成了严重的安全和隐私威胁[9]、[10]。因此，确保展示的面部样本来自真实的活体成为可靠部署安全面部识别系统的基本要求。

为了应对这些威胁，面部防伪造（FAS），也称为展示攻击检测（PAD），已成为现代生物识别框架中的关键安全组件[5]、[7]、[11]。PAD的主要目标是在身份识别阶段之前区分真实的面部呈现和伪造尝试。通过阻止恶意样本进入识别流程，PAD机制显著提高了实际环境中部署的面部识别系统的鲁棒性、可靠性和操作安全性。
传统的面部识别系统通常包括三个主要过程：注册、验证和识别[1]、[2]。在注册阶段，收集面部样本，进行处理，并将其转换成生物特征模板，以便将来用于认证。验证对应于查询样本与声称的身份之间的逐一匹配（1:1），而识别则是在已注册的主体数据库中进行一对多（1:N）匹配，以确定未知个体的身份。在实际应用中，将展示攻击检测（PAD）机制集成到面部识别流程中，以确保只有真实的活体面部样本被转发用于身份匹配[3]、[7]、[11]。一个安全的面部识别框架通常包括几个连续的阶段，包括图像采集、预处理、面部检测和对齐、展示攻击检测、特征提取、模板生成、匹配和最终决策。

在采集阶段，根据所需的安全级别和操作环境，可以使用不同的传感技术来捕获面部数据，如RGB相机、深度传感器、近红外（NIR）成像、热成像或短波红外（SWIR）传感器。捕获的样本随后会进行预处理操作，包括光照标准化、噪声减少、对比度增强和图像质量优化，以提高后续处理阶段的可靠性。面部检测和对齐模块随后定位面部区域，并标准化姿态、比例和几何变化，以确保特征表示的一致性。对齐后，PAD模块评估展示的面部样本是否来自真实的活体或伪造工件，如打印照片、回放视频、面具或合成面部处理。如果检测到展示攻击，则在进入识别阶段之前立即拒绝认证过程。否则，提取区分性面部特征，将其转换为紧凑的生物特征模板，然后用于验证或识别任务。图1展示了集成PAD模块的安全面部识别系统的总体架构。

根据应用要求和硬件配置，可以使用多种架构策略将PAD机制集成到面部识别框架中。在串行集成中，这是最常用的配置，PAD模块位于识别阶段之前，作为初步的安全过滤器，在认证之前阻止欺诈样本。在并行集成中，防伪造和识别任务同时执行，它们的输出被联合利用以提高决策可靠性。多模态集成通过结合互补的传感模式（包括RGB、深度、近红外（NIR）、热成像和短波红外（SWIR）成像）进一步增强了系统的鲁棒性[7]、[11]、[12]。

展示攻击通常分为两大类：模仿攻击和混淆攻击[5]、[13]。模仿攻击试图通过伪造工件（如打印照片、回放视频、面具或AI生成的合成面部）来模仿合法用户的身份[7]、[14]。打印攻击依赖于呈现给采集传感器的静态面部照片，而回放攻击利用能够再现真实面部动态（包括眨眼、头部运动和面部表情）的预录视频。基于面具的攻击使用专门设计来再现真实面部外观和几何结构的纸质、树脂、硅胶或3D打印面具[8]。最近，基于深度伪造的攻击已成为一个重大威胁，因为它们可以使用先进的生成模型生成高度逼真的合成面部内容，用于面部合成、身份交换、面部重演和属性操纵[9]、[10]。相比之下，混淆攻击旨在隐藏或改变个人的身份，而不是模仿特定目标。此类攻击可能涉及化妆、假发、配饰或甚至整容手术，以规避生物识别系统[7]。图2展示了常见面部展示攻击的分类。

在过去十年中，进行了许多关于PAD技术、基准数据集和评估协议的调查[7]、[13]、[14]。虽然这些研究对该领域的发展做出了重大贡献，但大多数现有调查是在最近一些有影响力的研究方向出现之前进行的，包括基于 transformers 的架构、视觉语言模型（VLMs）、大型语言模型（LLM）辅助框架、图神经网络方法和复杂的深度伪造检测策略。此外，大多数现有综述主要将PAD算法作为孤立组件进行探讨，对其在完整操作面部识别系统中的部署讨论有限。

鉴于这些局限性，本调查提供了对面部PAD研究的全面和最新回顾，涵盖了传统和新兴方法，并明确分析了防伪造机制在现代生物识别认证流程中的集成。除了回顾方法和基准数据集外，本调查还批判性地考察了当前挑战，分析了最近的技术进步，并指出了朝着更安全、更鲁棒和更可靠的面部识别系统发展的有希望的未来研究方向。本调查的主要贡献和区别特征可以总结如下：
- 我们提供了对面部PAD技术的全面和最新回顾，包括传统的基于手工特征的方法和最近的基于深度学习的方法。
- 与现有调查相比，我们扩展了对新兴研究范式的分析，包括基于 transformers 的架构、VLM 驱动的方法、LLM 辅助框架、图神经网络技术、面向深度伪造的防伪造策略和混合 PAD 模型。
- 我们提出了一种统一的 PAD 方法分类法，系统地分类了基于纹理、图像质量、运动、频率、深度、基于 transformers、基于图、基于 VLM 和混合的防伪造方法。
- 与大多数之前的调查不同，我们明确研究了 PAD 模块在完整面部识别系统中的集成，包括串行、并行和多模态部署架构。
- 我们分析了防伪造机制对现代生物识别认证系统的安全性、可靠性、鲁棒性和操作性能的影响。
- 我们提供了对公开可用 PAD 数据集和基准测试的详细回顾，总结了传感模式、攻击类别、评估协议和实验配置。
- 我们提供了比较分析和全面的总结表，有助于根据有效性、泛化能力、鲁棒性和计算复杂性评估现有的 PAD 方法。
- 我们指出了当前的限制和开放的研究挑战，包括跨域泛化、未见攻击检测、可解释性、多模态融合、深度伪造鲁棒性和实际部署限制，并讨论了有希望的未来研究方向。

本文的其余部分组织如下。第2节回顾了基于手工特征的方法，包括基于纹理、图像质量、运动、频率和深度的方法。第3节介绍了基于深度学习的方法，涵盖了逐像素二值监督、3D几何表示学习、时空建模、迁移学习、领域泛化、基于 transformers 的架构、VLMs、基于 LLM 的框架和基于图的技术。第4节讨论了结合手工描述符和深度特征表示的混合方法。第5节提供了对公开可用的面部伪造数据集的全面实验分析、评估指标以及 PAD 对面部识别系统的影响，随后讨论了开放挑战和未来展望。最后，第6节总结了本文。

面部PAD方法
在深度学习技术广泛采用之前，面部展示攻击检测（PAD）主要依赖于基于手工特征的方法，这些方法旨在捕捉真实面部呈现和伪造工件之间的区分性差异。这些方法使用从面部图像或视频序列中提取的手工设计描述符来识别伪造过程中引入的不一致之处，包括打印伪影、屏幕显示失真。

基于深度学习的方法
近年来，深度学习（DL）在自动从大规模数据中学习高度区分性面部表示的能力方面取得了显著进展。与依赖手工设计描述符和预定义特征提取过程的手工方法不同，基于 DL 的方法执行分层表示学习，使神经网络能够自动从面部图像或视频中提取相关的低级和高级特征。

基于深度学习的混合（手工特征 + 深度学习）方法
深度学习（DL），特别是卷积神经网络（CNN），在广泛的计算机视觉应用中取得了显著成功，包括面部识别、图像分类、对象检测和视频理解。它们能够自动从原始数据中学习分层和高度区分性的特征表示，因此显著优于许多传统的基于手工特征的方法。

面部伪造数据库
面部伪造数据库的演变反映了面部展示攻击检测（PAD）方面的快速进展。这些数据集在具有防伪造机制的面部识别系统（FRS）的开发、训练、基准测试和比较评估中起着基础性作用。随着时间的推移，面部PAD数据库在规模、人口多样性、传感模式、采集条件和展示攻击复杂性方面有了显著改进。

早期结论
本文提供了对面部展示攻击检测（PAD）技术的全面和最新回顾，旨在提高面部识别系统（FRS）的安全性、可靠性和鲁棒性。该调查回顾了面部伪造攻击的发展，并分析了主要的展示攻击（PA）类别，包括打印攻击、回放攻击、3D面具攻击以及最近的AI生成的操纵，如深度伪造和合成面部内容。

InCRediT 作者贡献声明
Mebrouka Madi：写作 – 审稿与编辑、撰写原始草稿、可视化、验证、项目管理、方法论、形式化分析、数据管理、概念化。
Mohammed Khammari：写作 – 审稿与编辑、监督、概念化。
Mohamed-Chaker Larabi：写作 – 审稿与编辑、监督、项目管理。

未引用参考文献
[102]、[103]

利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。

Mebrouka Madi | Mohammed Khammari | Mohamed-Chaker Larabi