生成式人工智能演变下钓鱼检测器的鲁棒性与可解释性

《Computers & Security》：Robustness and interpretability of phishing detectors under generative AI shifts

　　

摘要

生成式人工智能（GenAI）通过自动化生成流畅且具备语境感知能力的恶意内容，加剧了网络钓鱼威胁。本文旨在弥合实验室性能与运营韧性之间的差距，提出了一种面向部署的防御框架，重点关注在自适应威胁模型、分布偏移和可解释性条件下的主动缓解策略。我们将GenAI建模为拥有黑盒查询访问权限的主动、自适应对手，通过基于多个大语言模型（LLM）——包括ChatGPT、Gemini、Mistral和DeepSeek——的迭代提示词优化，生成包含864封邮件的反馈优化语料库，系统性地评估检测器性能。实验结果表明，微调后的轻量级DistilBERT模型在跨数据集基准测试中实现了0.980的高钓鱼邮件召回率，在标准LLM语料库中达到0.956，且具有23毫秒的极低推理延迟。虽然在反馈驱动的自适应规避约束下出现了具有统计显著性的性能下降（Recall=0.919），但该模型仍保持了稳定的决策行为和较低的预测熵。此外，归因分析揭示了一个有限的语义漂移指数（SDI=0.009），表明尽管存在动态语言变异，核心社会工程原语仍保持一致的解释性驱动作用。这些发现为安全敏感基础设施中的可审计、面向部署的钓鱼邮件防御奠定了技术基础。

引言

网络钓鱼仍然是最具持续性的电子邮件安全威胁之一。本研究的核心重点是在严格部署约束条件下，评估钓鱼邮件检测器针对GenAI生成恶意邮件的鲁棒性，而非一般性的AI生成内容检测。在运营环境中，检测器面临多重叠加挑战：原生类别不平衡构成静态部署基线，往往导致模型过度拟合于表层词汇伪迹。这一漏洞随后被GenAI驱动的分布偏移所利用。与传统依赖人工规避手段（如拼写错误插入或字符替换）的自适应钓鱼攻击不同，GenAI使攻击者能够在保持完美结构连贯性、流畅性和语法正确性的同时，大规模实现语义规避，从而消除了传统遗留检测器所依赖的语言伪迹。然而，当前的评估协议往往将模型选择、类别不平衡缓解和鲁棒性评估混为一谈。例如，许多先前的研究在模型选择之前就将对抗性数据集或合成增强直接混入训练折中。其结果是，模型直接针对对抗性分布优化权重，导致夸大的、具有误导性的部署后鲁棒性结论（Quionero-Candela等，2009；Sahingoz等，2019）。

在本研究中，我们通过明确解耦这些评估阶段来弥补这一方法论缺口，并将GenAI仅建模为攻击方能力，而非训练时数据增强机制。我们不是提出另一种检测架构，而是提出了一种面向部署的评估框架，重点关注跨数据集泛化能力、结构化对抗压力测试以及可解释性驱动的行为分析。我们的目标是优先考虑严格的软件工程而非架构新颖性，确保学习到的决策结构即使在攻击者控制传入内容的语言分布时仍保持稳定和可解释，从而使评估协议与实际运营约束相一致（Kumar等，2023）。

本文的主要贡献如下：

- **决策边界稳定架构**：一种面向部署的防御流水线，将结构性模型选择与选择后的类别再平衡解耦，在自适应生成式威胁模型下建立了经验性的运行时监控拓扑。

- **语义稳定性的定量表征**：我们引入了SDI作为运营追踪指标，评估在非合作性语言变异下的决策边界位移。

- **动态、反馈驱动的规避语料库**：一个高保真的对抗性基准，包含通过基于查询的黑盒词汇抑制在四种领先LLM架构（ChatGPT、Gemini、Mistral、DeepSeek）上优化的864封邮件，映射了自适应攻击者的优化空间。

- **运行时SHAP归因监控保障**：一种新颖的防御缓解流水线，结合token级SHAP归因稳定性和Shannon预测熵，在运行时检测并隔离规避性的零日对抗载荷，而无需重新训练。

通过将GenAI明确建模为核心攻击者能力，我们将焦点从静态模式匹配转向AI生成恶意意图的动态检测。这一方法论转变使评估与安全敏感基础设施中对鲁棒AI内容检测和取证归因的关键需求相一致。

本文其余部分组织如下：第2节回顾网络钓鱼检测和生成式AI下鲁棒性的相关工作。第3节介绍所提出的方法和实验设计。第4节报告实验结果和统计分析。第5节评估LLM生成钓鱼场景下的鲁棒性和可解释性。最后，第6节讨论发现和局限性，第7节总结全文。

各节摘要

相关工作

近期网络钓鱼邮件检测研究日益采用深度学习和基于Transformer的架构，因为它们能够捕捉超越表层词汇特征的上文和语义模式（Popescul和Radu，2025）。这一转变反映了传统特征工程方法在面对日益复杂和自适应的钓鱼内容时的局限性。此外，机器学习领域此前的研究表明，在同质性条件下评估的模型……

方法

我们提出了一种面向部署的钓鱼检测评估框架，该框架在现实约束下将模型选择、选择后的再平衡以及鲁棒性评估分离开来。

实验与结果

本节展示用于评估我们钓鱼检测框架性能的实验结果。我们在现实部署条件下评估基线和基于Transformer的模型，重点关注跨数据集泛化能力、类别不平衡影响以及面向部署的性能特征。

LLM生成钓鱼场景下的鲁棒性与概念漂移分析

本节使用大规模合成数据和基于SHAP的分析，评估模型在LLM生成钓鱼攻击下的鲁棒性和决策一致性。

讨论

结果表明，与经典基线和更大的Transformer架构相比，微调后的DistilBERT模型在检测效果、鲁棒性和部署可行性之间提供了有利的平衡。虽然更高容量的模型可以实现相当的性能，但DistilBERT在现实约束下表现出更稳定的跨数据集行为，支持其适用于运营钓鱼检测流水线。

结论

本研究的主要贡献在于其评估方法论，提供了一种在运营约束和生成式对抗威胁下评估钓鱼检测系统的框架。通过解耦模型选择与选择后的再平衡，本工作弥补了实验室性能与部署后韧性之间的差距。

我们的研究结果提供了证据，表明微调后的DistilBERT模型在受控分布下表现出稳定且可验证的决策结构。

CRediT作者贡献声明

Oumkaltoum Arharbi：撰写—审阅与编辑、撰写—原稿、可视化、软件、方法论、调查研究、概念化。Abderrahim El Qadi：撰写—审阅与编辑、监督指导。

利益冲突声明

作者声明不存在可能影响本文研究工作的已知竞争性经济利益或个人关系。

Oumkaltoum Arharbi | Abderrahim El Qadi

M2CS，摩洛哥拉巴特穆罕默德五世大学国家工艺美术研究生院（ENSAM）