一种基于灵活挤压技术的多模态特征融合视觉变换器，用于认证系统中的面部防伪

《Optics & Laser Technology》：A flexible squeeze excited multi-modal feature fusion based vision transformer for face anti-spoofing in authentication system

多模态人脸防欺骗技术中，针对单模态系统易受攻击的缺陷，提出基于灵活视觉Transformer（FViT）的创新框架，通过Upgraded Cross Guided Bilateral Filtering预处理增强跨模态一致性，结合多模态融合Transformer模块（MMF-TB）实现模态不变特征学习，最终采用Softmax分类器实现高精度识别（WMCA 99.80%、CeFa 98.80%、HQ-WMCA 98.34%）。

　　

Pavan Waman Gedam | Ashish Tiwari | Meera Dhabu

计算机科学与工程系，维维斯瓦拉亚国家理工学院，那格浦尔，马哈拉施特拉邦 440010，印度

摘要

面部防欺骗技术有助于保护面部识别系统免受各种攻击，由于其在访问控制和监控中的广泛应用，这一问题变得越来越具有挑战性。近年来，许多研究试图设计有效的框架来避免欺骗，例如使用RGB、红外（IR）等多模态面部图像进行访问控制。然而，现有方法的性能有限，因为它们的学习能力较弱。为了解决这个问题，本研究提出了一种新的灵活视觉变换器模型（Flexible Vision Transformer Model，简称F-ViT），用于生物特征认证系统中的多模态特征融合。该模型包括补丁分割、线性嵌入和标准变换器模块以及挤压激励块，这些模块负责学习各个模态的特征。研究表明，使用RGB、红外和深度等多模态特征进行访问控制时，这些特征在名为“多模态融合变换器块”（Multi-modal Fusion Transformer Block，简称MMF-TB）的单独模块中融合，通过总结多模态信息来学习与模态无关的特征。最后，使用Softmax分类器来确定生物特征是否匹配成功，从而验证其是真实的还是伪造的。与其他现有技术相比，该方法在WMCA数据集上的准确率为99.80%，在CeFa数据集上的准确率为98.80%，在HQ-WMCA数据集上的准确率为98.34%。

引言

自动面部识别（Automatic Facial Recognition，简称AFR）系统在移动设备中得到广泛应用，并在全球范围内发挥着重要作用。据估计，到2025年，AFR市场的规模将达到70亿至88亿美元[30]。尽管AFR取得了显著的成功，但面部伪装攻击（Face Presentation Attack，简称FPA），也称为面部欺骗，最近已成为欺诈、金融诈骗和隐私方面的一个高调安全威胁。2D FPA包括打印和重印的图像攻击，这是最常见的攻击类型，也是最不受欢迎的类型，因为它们的成本较低[22]。恶意攻击者可以通过访问社交媒体上的个人面部图像/视频并将其呈现给目标AFR系统来轻松实施这种攻击。因此，保护AFR系统免受2D FPA的攻击并消除相关安全问题非常重要。

面部验证已成为一种流行的认证方法，广泛应用于移动应用中，如账户登录和手机解锁，极大地提高了人们日常生活的便利性[24]。虽然面部识别技术的准确性和性能正在逐渐提高，但其在在线支付和银行服务中的广泛使用也带来了安全和信任问题。面部欺骗攻击[25]经常出现在金融犯罪中，涉及使用假面部信息（如照片、面具和视频）来欺骗面部识别系统。对基于面部识别的认证来说，最大的威胁之一是面部识别系统无法识别输入面部的真实性[18]。为此，最近提出了许多针对欺骗的面部识别技术，并对其进行了广泛研究，这些技术旨在检测输入的面部是否为伪造图像，例如扫描的人像或用户的真实照片。

早期在这方面的研究主要依赖于手动特征[35]或从神经网络中学习到的深度特征[21]。这种方法在实地测试中取得了良好的结果，即训练过程涵盖了测试过程中的所有类型的欺骗。然而，在零样本面部验证（Zero-Shot Face Authentication，简称ZSFA）中，其性能显著下降[11]，因为模型需要区分未知和伪造的面部类型。零样本面部伪造场景更接近实际应用场景，因为新的伪造类型不断出现，人们对其类型知之甚少。许多近期研究致力于解决ZSFA问题[15]。这些研究提出了有效的深度学习模型和有效的学习策略来提取区分性特征，例如伪造特征与真实特征之间的显著差异。例如，DTN[19]提出了一种树状神经网络来提取层次化的区分性特征。DC-CDNCai[5]提出了一种双向差分分布模型，用于双流优化。AIM-FAS Antil和Dhiman[2]研究了从具有先前生活方式和负面行为的群体中学习新的生活方式和负面行为。尽管现有研究侧重于提取可泛化的区分性特征，但尚不清楚提取的特征是否能够有效区分未知面部，因为它们通常基于记录中的已知伪造模式。例如，如果新的攻击类型与已知攻击类型非常不同且没有任何区分特征，该模式可能无法被正确分类[32]。此外，训练数据中不存在的实时面部可能会显示这些独特特征，从而导致误判。

在打击面部伪造领域，传统方法依赖于手动特征提取技术，如SIFT[1]、SURF[39]、HOG[13]、LBP[26]以及基于颜色局部二值模式描述符的方法[35]。然而，传统方法在提取有价值特征方面存在困难，导致关注表面特征。相比之下，深度神经网络可以提取更深层次的图像特征。例如，某研究首次将CNN[14]引入面部伪造预防技术，并将面部伪造预防的挑战定义为双重问题。总体而言，基于单一模态的面部防欺骗系统实现依赖于单一数据源（例如RGB），使它们容易受到复杂攻击（如2D打印或中继视频[20]）的影响。在不同的光照或环境条件下，它们的性能往往不足。总之，多模态系统融合输入（例如IR、RGB、深度[28]）可以提高泛化能力和对多种欺骗方法的抵抗力。

如今，智能手机的全球使用依赖于可靠的移动认证过程，这有助于保护用户的敏感和机密数据。尽管面部识别技术取得了巨大进展，但在实际应用中，生物特征识别面临的主要问题仍然是防欺骗（Face Anti-Spoofing，简称FAS）。这是因为欺骗方法变化迅速，例如高分辨率打印攻击、重放攻击、3D面具和AI生成的深度伪造。最新研究趋势是使用多模态传感（RGB、IR、深度）以及基于变换器的架构来增强系统的鲁棒性。然而，当前基于多模态变换器的FAS技术不仅继承了单一模态技术的局限性，还面临三个主要的基本问题：首先，它们在跨模态一致性建模方面存在不足。大多数方法一次处理一个模态，并通过简单的操作（如连接或后期融合）结合结果，而没有真正对齐模态特定的噪声、光照变化和不同传感器引起的不一致性。其次，这些方法对新类型攻击的泛化能力较弱。基于变换器的模型主要关注单一模态内的token级自注意力，因此当训练集不包含测试集中出现的欺骗模式时，它们容易受到影响。为了解决这些问题，本文提出了一种新的灵活挤压激励多模态视觉变换器（FViT），它在预处理步骤中明确处理跨模态一致性，在表示层进行与模态无关的特征学习。所开发的框架首先使用UCG-BiF方法分别去除每个模态的噪声，同时保留用于区分真实和伪造面部的欺骗伪影。然后，多模态融合变换器块（MMF-TB）通过注意力驱动的融合学习模态不变表示。原则上，作者的方法通过同时解决预处理一致性和深度跨模态交互的问题，显著提高了多模态FAS系统的鲁棒性、泛化能力和检测准确性。

贡献

• •
  调整RGB、IR和深度图像的大小，然后使用升级的跨引导双向滤波（UCG-BiF）来提高一致性和去除噪声。
• •
  进行多模态特征学习：使用FViT框架通过补丁分割、线性嵌入和带有挤压激励块的变换器模块从各个模态中提取特征。
• •
  多模态特征融合：实现多模态融合变换器块（MMF-TB）以聚合和学习与模态无关的表示，从而实现鲁棒的多模态学习。
• •
  进行欺骗检测和分类：使用Softmax分类器来确定生物特征输入是真实的还是伪造的，确保准确的面部防欺骗验证。

本文的结构如下：第2节详细介绍了基于变换器的最新面部防欺骗认证系统，第3节通过图表详细说明了所提出的方法，第4节讨论了所提出方法与其他方法的比较结果分析，第5节总结了本文的未来研究方向。

相关工作

相关工作

以下部分讨论了一些与面部防欺骗系统相关的最新文献，其中定义了各种模型。

Sundharam等人[31]研究了合成面部遮挡对面部欺骗检测（Presentation Attack Detection，简称PAD）算法的影响。然后，他们使用了五种不同覆盖范围的口罩变体（低、中、高、圆形和3D）和不同类型的眼镜来遮挡面部区域。四种基线PAD算法侧重于纹理和图像质量。

提出的方法

近年来，许多研究试图设计有效的框架来避免多模态面部图像中的欺骗。然而，现有方法的性能有限，因为它们的学习能力较弱。为了解决这个问题，本研究提出了一种新的灵活视觉变换器模型，用于生物特征认证系统中的多模态特征融合。首先，输入样本（包括RGB、IR和深度）经过预处理，以保持...

结果与讨论

首先，本文描述了数据集的详细信息，并讨论了FViT在各个数据集上的性能比较。该实现使用Python工具进行面部防欺骗认证系统的开发，基于验证、训练和测试目标进行了关键指标的评估，并讨论了现有研究的局限性。表2展示了系统的...

结论与未来方向

本研究提出了一种用于面部防欺骗的FViT模型，旨在通过变换器学习灵活的挤压激励多模态特征融合来提高分类准确性。FViT架构可以轻松与RGB、IR和深度特征结合，用于多模态融合变换器块（MMF-TB），从而实现比传统基于CNN和变换器的模型更高的准确性、鲁棒性和可靠性。实验结果...

CRediT作者贡献声明

Pavan Waman Gedam：撰写 – 审稿与编辑，撰写原始草稿，方法论，概念化。

Ashish Tiwari：可视化，验证，监督。

Meera Dhabu：验证，监督，形式分析，概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。