基于跨色彩空间特征融合的异常检测人脸防伪造技术

《Pattern Recognition Letters》：Cross-Color Space Feature Fusion for Anomaly Detection-Based Face Anti-Spoofing

　　

• •
  一种基于多颜色空间与异常检测的新型人脸防伪造框架。
• •
  采用稀疏自注意力机制来捕捉细微的本地伪造特征。
• •
  一种自适应融合模块，可整合亮度与色度信息。
• •
  异常检测提升了模型对未知伪造攻击类型的泛化能力。
• •
  大量实验表明，该框架在多种人脸防伪造测试基准上均表现出优异性能。

引言

近年来，随着人脸识别系统的广泛应用，人脸防伪造技术已成为确保生物特征认证可靠性与安全性的关键组成部分。目前大多数人脸防伪造方法都将检测任务视为二分类问题，通过训练判别模型来区分真实人脸与伪造样本。得益于深度学习的进步，基于卷积神经网络、在标准RGB或灰度域中运行的分类器在受控的封闭场景下已展现出良好的性能[1]。然而，这类判别方法本质上依赖于训练过程中所拥有的伪造样本的结构多样性。当遇到未被见过的新类型攻击时，所学的决策边界往往无法实现泛化，从而导致性能严重下降。这一局限对现实世界中的人脸防伪应用构成了严峻挑战，因为伪造手段会不断演变，且无法事先全部列举。

为解决二分类模型对未知攻击方式的脆弱性问题，异常检测近年来成为一种极具吸引力的替代方案[2]。异常检测框架并非明确划分真实样本与伪造样本之间的决策边界，而是将真实样本的分布模式视为正常情况，而将伪造人脸视为分布偏差。由于无需直接依赖伪造标签，基于异常检测的人脸防伪方法在开放域泛化方面具有更强的潜力。

同时，现有人脸防伪方法的另一个重要但常被忽视的局限性在于其特征表示方式，尤其是过度依赖单一颜色空间。仅从标准RGB数据流中提取特征会使模型对光照变化极为敏感，同时也限制了其捕捉伪造介质中所固有的与材质相关的特征的能力。为提升模型的鲁棒性，一些研究尝试通过时间建模来捕捉动态运动模式以进行活体检测[3]，但这些方法对于静态打印攻击的效果较差。还有些方法利用频域特征或纹理描述符来揭示伪造痕迹，不过它们的跨设备泛化能力仍不理想[4]。最近，人们开始采用颜色空间转换技术，将亮度与色度信息分离，从而抑制光照干扰并突出细微的结构差异[5]。然而，大多数现有的基于颜色的人脸防伪方法要么仅在单一颜色空间内运行，要么采用简单的特征拼接方式，未能充分利用不同颜色空间之间的互补特性或自适应融合机制。

基于上述观察，本文提出了一种基于多颜色空间异常检测的人脸防伪框架，该框架由三个核心组件构成：多颜色空间特征提取、稀疏自注意力建模以及基于记忆的常态聚类，这三个组件之间存在着合理的协同关系。

这种整合方式的理论依据源于攻击行为的物理与空间特性。首先，细微的伪造特征（如屏幕摩尔纹或打印介质的纹理）在不同颜色配置下会呈现出高度不同的表现形式；而RGB格式能够捕捉整体结构，而YUV和YCbCr格式则能将亮度与色度分开，从而提供重要的互补性材质特征。其次，由于这些微小的攻击异常本质上是局部性的，如果使用传统的全局自注意力机制，必然会使其被多余的面部背景噪声所淹没。因此，我们引入了由结构稀疏率控制的稀疏自注意力机制，迫使网络专注于非重叠的、块内的空间变化。最后，由于未知攻击的分布具有不可预测性，我们并未试图学习攻击的具体形态，而是将这些局部的、多颜色空间的特征聚合到一个基于记忆的异常检测框架中。通过优化模型，使只有真实模式才能被映射为简洁的静态常态锚点，伪造样本自然会被视为异常偏离值而被识别出来。通过将色彩多样性、空间局部性以及单类分布建模有机结合，我们的框架提供了一种强大的解决方案，有效减少了对单一颜色表示及明确伪造标签的依赖。

本文的主要贡献如下：

• •
  我们提出了一种新型的人脸防伪框架，该框架将多颜色空间表征与异常检测相结合，从而提升了特征的区分度以及跨领域的泛化能力。
• •
  我们引入了一种由稀疏率参数调控的稀疏自注意力机制，该机制能够引导网络专注于局部的面部区域，显著提升了对细微伪造特征的识别能力。
• •
  我们设计了一种多颜色空间自适应融合模块，该模块能够选择性地整合来自多个颜色空间的互补特征，充分发挥亮度与色度信息之间的协同作用。

章节要点

相关研究

深度学习的最新进展极大地推动了人脸防伪技术的发展。目前大多数方法都将人脸防伪视为二分类任务，致力于学习能够区分真实样本与伪造样本的判别边界。例如，有一些研究成功利用深度监督和时间线索，通过CNN-RNN架构来实现这一目标[6]。后续的研究则进一步整合了光流或深度信息

方法论

我们提出了一种基于异常检测的人脸防伪框架，该框架利用来自多个颜色空间的互补特征表示。该框架将真实人脸样本视为正常数据，而将伪造尝试视为对所学正常模式的偏离，从而减少对传统判别式二分类方法的依赖。

如图1所示，所提出的框架包含三个主要阶段：多颜色空间特征提取，

数据集

在本研究中，我们在三个广泛使用的人脸防伪数据集上对所提出的方法进行了评估，这三个数据集分别是CASIA-FASD [19]、NUAA [20]以及Replay-Attack [21]，它们涵盖了多种攻击类型、图像质量以及采集条件。

CASIA-FASD包含来自50名受试者的600个视频样本，这些样本涵盖了三种图像质量和三种攻击类型，即打印照片攻击、视频重放攻击以及扭曲照片攻击。该数据集采用了按受试者分开的训练/测试划分方式。

NUAA大约包含

结论

在本文中，我们提出了一种新型的人脸防伪框架，该框架将检测范式从二分类转变为多颜色空间异常检测。通过从单类角度对攻击检测进行建模，我们的方法仅利用真实数据的分布就能建立起清晰的常态边界。该方法有效地利用了RGB、YUV以及YCbCr数据流中的互补性材质纹理。此外，稀疏自注意力机制

CRediT作者贡献说明

何奇：概念构思、方法设计、软件实现、初稿撰写。郑宇：指导监督、项目管理、资金筹集。刘渊：数据整理、验证工作、审稿与编辑。彭春雷：形式化分析、相关调研。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

何奇|郑宇|刘渊|彭春雷