基于梯度反转的域通用多模态交叉注意力网络，用于实现鲁棒的人脸防伪造

《IEEE Transactions on Biometrics, Behavior, and Identity Science》：Gradient-Reversed Domain-Generalizable Multi-Modal Cross-Attention Network for Robust Face Anti-Spoofing

对抗攻击检测系统存在跨领域泛化能力不足的问题，本文提出GR-DXNet通过融合RGB图像与深度图，结合动态卷积网络建模时序特征，并引入查询键值交叉注意力机制实现多模态特征对齐，最后采用梯度反转层消除领域偏置，显著提升对未知攻击和跨域场景的鲁棒性。

　　

摘要：

面部识别系统越来越容易受到“展示攻击”（presentation attacks）的威胁，攻击者利用打印照片、重新播放的视频或3D面具等手段来冒充真实用户。尽管在面部防欺骗技术方面取得了显著进展，但大多数现有方法在面对未见过的攻击类型或领域变化（如传感器、环境或采集协议的变化）时，其泛化能力仍然较弱，这限制了它们在现实世界应用中的鲁棒性。我们提出了梯度反转的领域通用多模态交叉注意力网络（Gradient-Reversed Domain-Generalizable Multi-Modal Cross-Attention Network，简称GR-DXNet），该网络能够增强对前所未见攻击的抵御能力，并实现跨不同领域的无缝适应。GR-DXNet通过融合RGB帧（捕捉精细纹理）和深度图（揭示3D结构特征）来实现双模态学习。时间卷积网络（Temporal Convolutional Networks，TCNs）被用来建模基于运动的不一致性，从而提高对动态欺骗模式的检测能力。为了增强跨模态表示能力，引入了一种基于查询-键-值的交叉注意力机制，以实现RGB特征和深度特征的有效对齐与融合。此外，还加入了一个融合后的梯度反转层（Gradient Reversal Layer，GRL），该层能够对抗性地对齐跨模态嵌入，从而在无需人工增强或复杂解耦的情况下抑制领域特定偏差，促使模型学习出与领域无关的特征，并在未见过的领域中提升泛化能力。通过对多种基准数据集进行广泛的评估（包括数据集内部和跨数据集的测试），证明了该方案在现实世界中的面部欺骗检测方面的可靠性。