ChatGPT 面临变形攻击检测：利用多模态大型语言模型和通用视觉模型的零样本攻击检测（Zero-Shot Attack Detection, MAD）

《IEEE Transactions on Biometrics, Behavior, and Identity Science》：ChatGPT Encounters Morphing Attack Detection: Zero-Shot MAD With Multi-Modal Large Language Models and General Vision Models

人脸识别系统（FRS）面临形态攻击（MAD）检测难题，现有方法存在泛化能力和可解释性不足。本文提出基于零样本学习（ZSL）的LLMs创新方法：通用视觉模型通过独立支持集嵌入均值实现攻击检测，多模态LLMs（如ChatGPT）利用任务提示增强检测能力。实验构建打印-扫描形态数据集验证，零样本MAD检测准确率显著，且LLMs展现优异迁移能力与可解释性，提升实际应用场景（如身份验证、边境控制）的透明度和实用性。

　　

摘要：

面部识别系统（FRS）越来越容易受到面部变形攻击的影响，这促使人们开发出了变形攻击检测（MAD）算法。然而，MAD面临的一个关键挑战是其对未见数据的泛化能力有限，且缺乏可解释性——这对于实际应用环境（如注册站和自动化边境控制系统）来说至关重要。鉴于大多数现有的MAD算法依赖于监督学习范式，本研究探索了一种利用大型语言模型（LLMs）的零样本学习方法来实现MAD。我们提出了两种类型的零样本MAD算法：一种基于通用视觉模型，另一种则利用多模态LLMs。对于通用视觉模型，我们通过计算独立支持集的平均支持嵌入来处理MAD任务，而无需使用变形后的图像。在基于LLM的方法中，我们使用了先进的GPT-4 Turbo API，并设计了精心制作的提示语。为了评估零样本MAD的可行性以及所提出方法的有效性，我们构建了一个包含多种未见变形算法的打印扫描变形数据集，模拟了具有挑战性的实际应用场景。实验结果证明了零样本学习在MAD任务中的显著检测准确性，验证了其适用性。此外，我们对基于LLM的MAD的研究发现，像ChatGPT这样的多模态LLMs在未经训练的MAD任务中表现出出色的泛化能力。此外，它们还具有提供解释和指导的独特能力，这可以提高实际应用中最终用户的透明度和可用性。