对比与对抗：迈向通用多模态人脸防伪技术

《Engineering Applications of Artificial Intelligence》：Contrast and adversarial: Towards generalized multi-modal face anti-spoofing

多模态领域泛化框架CA-MMDG通过多尺度对比融合抑制不可靠模态干扰，结合三元对抗特征空间缓解模态间分布差异，有效提升复杂场景下对抗深度伪造检测的鲁棒性和泛化性。

　　

张博涛|李洪娇

上海电力大学计算机科学与技术学院，201306，中国

摘要

基于领域泛化（DG）的面部防伪（FAS）旨在提高在未见场景中的性能。然而，大多数方法仅依赖于红、绿、蓝（RGB）数据，在复杂条件下表现不佳。将DG与多模态学习相结合，可以利用RGB、深度和红外线的互补性来增强对各种攻击的鲁棒性，但这种方法面临重大挑战：（1）模态不可靠性，某些模态传感器（例如深度和红外线）在不同环境中会经历显著的领域偏移，导致在跨模态特征融合过程中传播不可靠的信息；（2）特征不一致性：不同模态（例如RGB、深度、红外线）和不同领域（例如传感器类型、光照、攻击类型）之间的差异相互交织，产生复杂的跨模态和跨领域偏差，阻碍特征对齐并损害模型泛化能力。为了解决模态不可靠性问题，我们提出了一种多尺度对比融合策略。该策略通过使用不同步长的卷积层有效捕获局部细节和全局结构信息，从而提高模型在不同分辨率下捕获可靠信息的能力。同时，通过对比学习机制，它增强了可靠模态的贡献并抑制了不可靠模态的干扰，从而提高了模型在复杂环境中的判别性能。为了解决特征不一致性问题，我们提出了一种三元组对抗特征空间，该空间在对抗学习框架下结合了不平衡的三元组损失和领域判别器。这种设计在复杂环境中强制实现跨模态和跨领域对齐，有效减少了特征偏差并提高了模型的泛化和鲁棒性。广泛的实验表明，我们的方法优于现有的最先进方法。

引言

面部识别（FR）越来越多地应用于高安全性场景，如移动金融认证和物理访问控制，其中抗欺骗能力至关重要。然而，许多FR系统仅依赖于外观线索，缺乏强大的面部防伪（FAS）机制，使其容易受到包括打印照片、重放视频和3D面具在内的攻击（Cao等人，2016年；Liu等人，2019年；Shao等人，2019年；Zhou等人，2023年）。这些攻击会严重损害系统的安全性和可靠性，阻碍其在现实世界中的可靠部署。在过去几十年中，基于深度学习的算法（Wang等人，2023年；Zhou等人，2022年）在单模态FAS方面取得了显著进展，尤其是在仅依赖RGB输入的设置中。虽然这些方法在数据集内部评估中通常表现优异，但在泛化到未见攻击和复杂现实世界部署环境时往往表现不佳。未见攻击指的是在训练过程中未遇到的新型欺骗技术，而复杂部署环境则描述了与受控实验室环境显著不同的现实世界条件。为了解决由此产生的泛化差距，提出了一系列单模态领域泛化（DG）方法（Jia等人，2020年；Lin等人，2024年；Liu等人，2023a年），如图1(a)所示。近年来，FAS领域经历了显著发展，这得益于日益复杂的欺骗攻击和传感器技术的快速进步。这导致了从主要基于RGB数据的传统单模态方法向集成深度、红外线和RGB输入的互补信息的多模态系统的转变。这些模态的融合实现了更丰富的特征表示，从而提高了欺骗检测的鲁棒性和准确性。为了支持这一转变，提出了几种多模态FAS方法（Shen等人，2019年；Zhou等人，2022年）和基准数据集（George等人，2019年；Liu等人，2021年；Rostami等人，2021年；Zhang等人，2020年），共同推动了FAS领域的进步。

然而，如图1所示，现有的多模态FAS方法主要强调模态融合设计，但往往忽略了在未见目标领域下领域偏移的不利影响。相比之下，主流的DG方法明确解决了领域偏移问题，但通常假设输入是单模态的，因此未能考虑到不同模态（例如RGB、深度、红外线）之间的复杂相互作用和不对齐。因此，将任一范式直接应用于多模态领域泛化（MM-DG）设置进行FAS会导致性能不佳。这一限制源于两个关键挑战：（1）模态不可靠性。在未见环境中部署或使用不同类型的成像传感器（特别是深度和红外线，如图1(b)所示）可能会引入显著的领域偏移。模态可靠性是指模态在领域偏移的情况下仍能一致地反映真实活性或欺骗语义的能力。具体来说，它是模态特征在存在传感器噪声、新型攻击或环境变化的情况下保持稳定和区分性局部及全局表示的能力。不可靠的模态产生的特征是嘈杂的、有偏的或容易被欺骗的（Wu等人，2020年）。当这些不可靠的特征未经适当过滤就进行融合时，它们会传播错误并降低其他可靠模态在跨模态交互中的性能。（2）特征不一致性。不同模态（例如RGB、深度、红外线）和不同领域（例如传感器类型、光照条件、攻击类型）之间的特征分布差异加剧了跨模态和跨领域偏差。这些累积的差异显著增加了多模态特征对齐的难度，从而削弱了模型的泛化能力。在FAS中，跨模态和跨领域差异的综合作用不仅削弱了模型检测多种攻击的能力，还降低了其在未见领域中的泛化性能，从而限制了基于领域泛化的FAS方法在现实世界复杂场景中的实际效果。

本研究解决了由于模态不可靠性和特征不一致性导致的多模态FAS方法的跨领域限制。如图2所示，我们提出了CA-MMDG，这是一种基于对比学习和对抗训练的多模态领域泛化框架。在CA-MMDG中，我们引入了一种多尺度对比融合（MSCF）策略来缓解模态不可靠性问题。具体来说，使用具有不同步长的卷积层进行多尺度特征提取，以捕获局部细节（高分辨率）和全局结构（低分辨率）。这种设计使模型能够在多个层次上理解输入数据，从而减少不可靠模态对整体特征表示的影响。模态不可靠性通常表现为噪声或缺失数据。随后，使用对比学习来优化正样本对（例如RGB和深度）的一致性，同时隐式最小化负样本对之间的相似性。在此过程中，可靠模态的特征指导优化方向，促使不可靠模态的特征与更可靠模态的特征对齐。通过最大化正样本对之间的相似性，对比学习有效地抑制了不可靠模态的贡献，增强了多模态特征整合的鲁棒性。为了解决特征不一致性问题，我们构建了三元组对抗特征空间（TAFS），在该空间中，特征表示在对抗性学习框架下受到非对称三元组损失和领域判别器的影响下共同优化。非对称三元组损失调整特征之间的相对距离（例如区分正样本和负样本，同时促进类内和领域内聚类），使特征能够根据类别和领域进行组织。另一方面，领域判别器旨在区分正样本和负样本的领域，从而增强模型对真实样本和欺骗样本之间分布差异的建模能力。非对称三元组损失强调清晰的类别边界和紧密的领域内聚性，而领域判别器则专注于加强正样本和负样本之间的领域可区分性。这种对抗性相互作用使模型能够同时满足类别可区分性和跨领域一致性的要求，从而产生既具有类别区分性又在不同领域具有泛化能力的特征表示。因此，所提出的机制有效缓解了多模态FAS中的特征不一致性问题。

我们的贡献如下。

• •
  我们提出了CA-MMDG，这是一种新的多模态领域泛化框架，用于FAS，旨在通过明确解决模态不可靠性和特征不一致性问题来增强跨领域泛化。在CA-MMDG中，我们引入了MSCF模块，通过多尺度提取捕获层次化特征，从而减轻不可靠模态的影响。对比学习用于指导融合过程，使用可靠模态，从而获得更强大和更具区分性的特征表示。
• •
  我们提出了TAFS，它结合了非对称三元组挖掘和领域判别器。非对称三元组挖掘增强了领域内紧凑性和类间可区分性，而领域判别器保持了欺骗样本之间的领域多样性。这种协作对抗方法实现了强大的类可区分性和跨领域泛化，有效减少了特征不一致性。
• •
  该模型仅有78.0M参数，但在PADISI-Face、WMCA、CASIA-SURF和CASIA-CeFA上的平均HTER达到11.18%，AUC达到94.50%，显著优于现有方法。它结合了强大的泛化性能和紧凑的模型大小，非常适合实际部署。

相关工作

相关工作

本节回顾了FAS技术的演变，特别关注对比学习和对抗学习策略的整合（Deng等人，2022年；Shen等人，2019年；Zhang等人，2020年）。最近的调查系统总结了该领域的进展：Yu等人（2022a）提供了基于深度学习的FAS方法的全面概述，而Pooshideh等人（2024年）从攻击类型、数据集等角度研究了展示攻击检测（PAD）

方法论

本节介绍了所提出的CA-MMDG框架，用于跨领域面部防伪。首先，在第3.1节概述了整体架构。随后，在第3.2节详细介绍了多尺度对比融合（MSCF）模块，在第3.3节介绍了三元组对抗特征空间（TAFS）。最后，在第3.4节介绍了复合损失函数。

数据集

我们在四个广泛使用的多模态FAS基准数据集上评估了我们的方法：WMCA（W）（George等人，2019年）、PADISI-Face（P）（Rostami等人，2021年；Spinoulas等人，2021年）、CASIA-CeFA（C）（Liu等人，2021年）和CASIA-SURF（S）（Zhang等人，2020年）。每个数据集包括RGB、深度和红外线模态（见表2，了解数据集统计信息、协议和模态的摘要）。

CASIA-SURF涵盖了来自1000名中国受试者的21,000多个视频，每个实例包括一个真实样本和六个

讨论

虽然本研究在领域偏移下推进了多模态FAS，但仍存在一些限制和未来的研究方向。首先，像许多数据驱动的系统一样，我们的模型可能会从不平衡的训练数据中继承人口统计偏差，这在现实世界部署中引发了公平性问题。其次，AI生成的合成媒体（例如深度伪造）的迅速出现引入了超出传统展示攻击范围的新类型攻击，需要更广泛和更具适应性的威胁

结论

本研究提出了CA-MMDG，这是一种用于多模态FAS的领域泛化框架，它结合了对抗学习和对比学习策略。该框架包含两个关键组成部分：多尺度对比融合（MSCF）模块和三元组对抗特征空间（TAFS）模块。MSCF通过卷积层捕获局部细节和全局结构信息，并使用对比学习放大可靠模态的贡献，同时抑制

CRediT作者贡献声明

张博涛：写作 – 审稿与编辑，写作 – 原始草稿，验证，软件，方法论。李洪娇：监督，形式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了中国自然科学基金（编号20ZR1421600）和广西多源信息挖掘与安全重点实验室研究基金（编号MIMS21-M-02）的支持。