通过自我监督学习实现的多模态面部防伪技术

《Pattern Recognition Letters》：Multi-Modal Face Anti-Spoofing via Self-Supervised Learning

多模态自监督面部反欺骗框架M2S2FAS通过融合单模态分支与跨模态学习机制，结合Matching Game、Cyclic Feature Simulation和Adversarial Loss预训练任务，有效利用无标注数据并实现跨数据集的高性能验证。

　　

Jian Wang|Yufan Liu|Lai Jiang|Shengxi Li|Jiajiong Cao|Bing Li|Weiming Hu|Jinlong Lin

北京大学，中国北京

摘要

高性能人脸防伪（FAS）系统严重依赖于大量的标记数据，而多模态FAS（MMFAS）由于收集和标注多模态数据的复杂性增加，这种依赖性更为显著。为了解决这一挑战，我们提出了一个名为多模态自监督FAS（M²S^{2FAS）的新框架，该框架引入了一种新的网络架构以及三个精心设计的伪装任务。M2S2FAS的主要目标是建模跨模态对应关系，从而生成可有效应用于不同模态的通用预训练权重。我们的框架通过最小程度的微调就展示了其高效性，达到了高性能水平。在广泛使用的多模态FAS数据集上的大量实验评估验证了所提出方法的优越性。}

引言

人脸防伪（FAS）[1], [2], [3], [4], [5]对于提高人脸识别系统的安全性[6], [7], [8], [9], [10], [11]至关重要。虽然基于RGB的方法被广泛使用，但由于几何和纹理线索有限，它们在面对打印照片、屏幕回放和3D面具等伪装攻击时表现不佳。为了解决这个问题，多模态FAS利用了互补的信号，如用于3D结构的深度和用于热模式的红外线，这些信号难以被伪造，从而在真实和假人脸之间提供了更强的区分能力。因此，最近的研究转向了多模态数据集来提升性能[12], [13]。尽管之前的多模态FAS（MMFAS）研究取得了显著进展，现有方法仍然严重依赖于大量的标记样本。收集标记的实时/伪造样本既耗时又费力。

另一方面，自监督学习（SSL）技术[14], [15], [16], [17], [18]即使在标记数据有限或没有标记数据的情况下，也展示了与监督方法相当甚至更优越的性能。这表明SSL技术可能是FAS的一个潜在轻量级解决方案。然而，尽管SSL技术在其他领域有效，但尚未在FAS和MMFAS中得到广泛探索。

为了解决这一差距，我们提出了一个名为多模态自监督FAS（M²S^{2FAS）的新框架。该框架包括一个新的多模态融合网络和三个精心设计的伪装任务，如图1所示。新的网络架构包含多个单模态分支和一个融合分支。融合分支整合了来自单模态分支的特征，并将互补的多模态信息反馈给单模态分支，确保单模态和多模态特征的同时学习。}

提出了三个伪装任务——匹配游戏、循环特征模拟和对抗性损失——来学习多模态对应关系。具体来说，匹配游戏模拟正样本和负样本之间的跨模态对应关系，而循环特征模拟模拟实时样本和伪造样本之间的跨模态对应关系。此外，引入了对抗性损失来增强学习过程的鲁棒性和稳定性。结果，M²S^{2FAS在简单的kNN或线性探测配置下实现了最先进（SOTA）的性能。据我们所知，M2S2FAS是第一个用于MMFAS的SSL方法。}

在几个流行的MMFAS数据集上进行的广泛实验，在数据集内部和跨数据集设置下验证了所提出方法的有效性。本工作的主要贡献总结如下：

1.

我们提出了一个创新的M²S^{2FAS框架，用于MMFAS。引入了一个并行的多模态融合分支，允许同时进行单模态特征和多模态融合学习。}

2.

设计了三个用于FAS的伪装任务，包括匹配游戏、循环特征模拟和对抗性损失。

3.

在各种数据集上的实验表明，M²S^{2FAS在单模态、多模态、相同数据集和跨数据集设置中均表现出优越的性能。}

符号说明

符号说明

对于中间特征，我们使用F^c, F^d, Fⁱ和$F^{m^2}$分别表示中间颜色、深度、红外和多模态特征。对于输出特征，如图1所示，$F_o^c$$F_o^d$$F_o^i$表示每个单模态分支的最终输出，而$F_o^{m^2}$表示最终M^{2F块的输出。对于变换器块，Qc, Kc和Vd表示颜色分支的查询、键和值矩阵，深度和红外分支的符号可以类似推导。}

设置

遵循之前方法的配置，使用包括MmFA [20], CeFA [13], CASIA-SURF [12]和WMCA [21]在内的流行多模态数据集来验证所提出方法的有效性。这些数据集提供了空间对齐的RGB、深度和红外图像，这在当前的多模态FAS研究中是标准的。这种对齐不会导致严重的过拟合，我们的模型在扰动对齐下仍然保持鲁棒性（见补充材料）。为了全面性

消融研究

• (1)
  每个组件的有效性。我们验证了所提出的网络架构和三个伪装任务的有效性。实验在CASIA-SURF数据集上进行，结果总结在表5中。基线模型由三个单模态分支和一个晚期融合块组成，该融合块通过简单的连接操作融合单模态特征。基线模型仅使用二元分类损失进行训练。
  与基线模型相比，仅仅加入

结论

在这项工作中，提出了一种新的SSL FAS框架M²S^{2FAS。该框架引入了一种具有独立融合分支的新网络架构以及三个精心设计的伪装任务。M2S2FAS充分利用了未标记数据，并且仅使用有限的标记样本就实现了SOTA性能。数据集内部和跨数据集的实验都验证了所提出方法的优越性。}

CRediT作者贡献声明

Jian Wang：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，方法论，调查，数据管理。Yufan Liu：撰写 – 原始草稿，可视化，验证，监督，资源，项目管理，方法论，调查，资金获取，形式分析，概念化。Lai Jiang：撰写 – 审稿与编辑，软件，方法论，调查，数据管理，概念化。Shengxi Li：撰写 – 审稿与编辑，

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Yufan Liu报告获得了国家自然科学基金的支持。Yufan Liu报告获得了北京自然科学基金的支持。Yufan Liu报告获得了CAAI-Ant集团研究基金的支持。Yufan Liu报告获得了青年精英科学家资助计划的支持

致谢

本工作得到了北京自然科学基金（JQ24022）、国家自然科学基金（编号62372451、62192785、62372082）和CAST青年精英科学家资助计划（2024QNRC001）的支持。