《Journal of King Saud University Computer and Information Sciences》：EdgeGuard: Source-aware robustness and edge-feasibility evaluation of lightweight email phishing detectors under cross-LLM generated attacks
编辑推荐：
邮件钓鱼检测日益受到源偏移的影响，因为生成或改写的钓鱼邮件可能与用于训练传统检测器的人工撰写样本存在差异。本研究提出EdgeGuard，作为一种受控的源感知评估协议，用于在人工撰写与LLM生成的钓鱼条件下测试轻量级钓鱼检测器，同时考虑仅CPU的边缘可行性。邮件
邮件钓鱼检测日益受到源偏移的影响，因为生成或改写的钓鱼邮件可能与用于训练传统检测器的人工撰写样本存在差异。本研究提出EdgeGuard，作为一种受控的源感知评估协议，用于在人工撰写与LLM生成的钓鱼条件下测试轻量级钓鱼检测器，同时考虑仅CPU的边缘可行性。邮件采用包含50,000个一元-二元词项并经过文档频率过滤的稀疏TF–IDF特征表示。逻辑回归（Logistic Regression）与线性支持向量机（Linear SVM）在人工撰写的Enron–TREC邮件数据上训练，并在平衡的人工、GPT-3.5、Llama-3.2与Gemma 2钓鱼条件下，使用准确率、精确率、召回率、F1分数、假阳性率、假阴性率、攻击成功率（ASR）以及作为辅助准确率差异汇总指标的RDG进行评估。结果表明，生成的钓鱼邮件并不会一致性地降低可检测性。GPT-3.5样本实现了99.80%的召回率，因为提示设计保留并放大了诸如紧迫性、账户验证、安全警告和虚假链接指令等传统钓鱼线索。相比之下，Llama-3.2与Gemma 2在所评估的设置中产生了更大的源偏移效应，降低了两种轻量级检测器的召回率并增加了假阴性。在仅CPU推理下，检测器仍保持计算高效，逻辑回归与线性SVM的单封邮件平均延迟分别为0.18毫秒与0.08毫秒。特征压缩分析进一步表明，将TF–IDF词汇量从50,000降至5,000个特征，可将序列化分类器大小从0.38 MB显著缩减至0.04 MB，同时保持高准确率，尽管在仅CPU执行下延迟仍依赖于具体实现。这些发现表明，轻量级TF–IDF检测器具备边缘可行性，但其鲁棒性必须针对不同生成钓鱼来源分别评估，而不能仅从静态人工撰写基准中推断。
研究背景与问题
钓鱼攻击持续构成邮件安全领域的核心威胁，其可观测指标是受攻击者工具、投递渠道、目标画像和消息上下文共同塑造的可变产物。传统检测方法依赖黑名单、签名、发件人信誉和硬编码关键词，难以应对频繁更换域名、使用被攻陷发件人、短链接、模板变更以及词法特征移除等规避手段。机器学习与深度神经网络检测器虽能识别URL、邮件头、HTML消息及行为特征中的判别模式，但其报告的高准确率往往基于训练与测试样本来自同一数据源的静态数据集，存在过乐观评估风险。大语言模型（LLM）进一步改变了钓鱼邮件的生成过程，能够以极低成本生成流畅、个性化且上下文感知的攻击消息，在保持恶意性的同时改善语法、语气和机构化表达。LLM生成的钓鱼邮件可能在词法、句法、文体和语义层面与人工撰写的样本产生分布偏移，且不同LLM家族在写作风格、提示遵循度、拒答行为和语言规律上存在差异，因此跨家族评估成为必要。与此同时，邮件防御正从云端服务转向客户端代理、企业邮件网关和本地边缘服务器，这类环境难以运行大型Transformer模型和云端检测器，面临CPU算力、内存、存储和能耗的多重约束。现有研究缺乏同时涵盖跨LLM来源鲁棒性评估与CPU-only边缘可行性分析的统一框架。
研究内容与结论
针对上述问题，研究人员提出EdgeGuard，即边缘驱动钓鱼流水线（EDPP），作为一种受控的源感知评估协议，用于在LLM诱导的分布偏移和资源受限执行条件下测试轻量级钓鱼检测器。该协议包含六个阶段：数据集预处理、LLM驱动钓鱼样本生成、TF–IDF特征表示、轻量级检测器训练、特征空间压缩和分布偏移评估。研究使用人工撰写的Enron–TREC邮件数据训练逻辑回归（Logistic Regression）与线性支持向量机（Linear SVM），并在平衡的人工、GPT-3.5、Llama-3.2和Gemma 2四种钓鱼条件下评估检测性能。结果表明，LLM生成的钓鱼邮件并不会一致性地降低可检测性：GPT-3.5样本因提示设计保留并放大了紧迫性、账户验证、安全警告和虚假链接指令等传统钓鱼线索而实现了99.80%的召回率；相比之下，Llama-3.2和Gemma 2产生了更大的源偏移效应，显著降低了两种轻量级检测器的召回率并增加了假阴性。边缘可行性实验表明，两种线性检测器在仅CPU推理下保持计算高效，逻辑回归与线性SVM的单封邮件平均延迟分别为0.18毫秒和0.08毫秒；将TF–IDF词汇量从50,000压缩至5,000个特征后，序列化分类器大小从0.38 MB降至0.04 MB，同时保持高准确率。研究的重要意义在于证明轻量级TF–IDF检测器具备边缘部署可行性，但其鲁棒性必须针对不同生成钓鱼来源分别评估，不能仅从静态人工撰写基准推断，为边缘场景下的钓鱼检测评估提供了可复现的方法论框架。
关键技术方法
研究人员采用的主要技术方法包括：基于Enron–TREC语料库的邮件数据集预处理与80:20分层训练-测试划分；使用GPT-3.5、Llama-3.2和Gemma 2三种LLM以人工撰写钓鱼邮件为种子生成跨意图的钓鱼变体；基于一元-二元词项的TF–IDF稀疏特征表示，包含文档频率过滤、亚线性词频缩放和固定词汇量限制；逻辑回归与线性SVM两种轻量级线性分类器；50,000与5,000特征的词汇压缩对比分析；以及涵盖准确率、精确率、召回率、F1分数、假阳性率、假阴性率、攻击成功率（ASR）和相对检测差距（RDG）的多维度鲁棒性评估体系。
研究结果
源感知评估设计。 EdgeGuard通过在同一训练检测器上分别测试人工撰写钓鱼和三种LLM生成钓鱼来源，将常规分布内测试性能与跨源鲁棒性分离，支持分析检测器失效是由生成文本、模型特定写作模式还是更广泛的词法和语义结构变化导致。
GPT-3.5钓鱼条件下的检测性能。 在GPT-3.5生成的钓鱼样本上，逻辑回归和线性SVM均实现了与人工撰写钓鱼相当甚至更高的检测性能，召回率达到99.80%，表明提示设计保留并放大了传统钓鱼线索时，生成文本不会降低可检测性。
Llama-3.2与Gemma 2钓鱼条件下的性能退化。 在Llama-3.2和Gemma 2生成的钓鱼样本上，两种检测器的召回率显著下降、假阴性率上升，攻击成功率（ASR）相应提高，表明这两个LLM来源产生了更大的源偏移效应，检测器对这类生成文本的鲁棒性明显不足。
特征压缩与边缘可行性。 将TF–IDF词汇量从50,000压缩至5,000个特征后，序列化分类器大小从0.38 MB降至0.04 MB，同时保持高准确率；逻辑回归与线性SVM在仅CPU推理下的单封邮件平均延迟分别为0.18毫秒和0.08毫秒，满足边缘部署的实时性要求。
讨论与结论
讨论部分指出，LLM生成的钓鱼邮件对检测器性能的影响是来源依赖和提示依赖的，而非统一更难检测。GPT-3.5生成的样本保留了传统钓鱼线索，因此检测性能未下降；而Llama-3.2和Gemma 2产生的更大源偏移导致召回率下降和假阴性增加。边缘部署方面，轻量级线性检测器在CPU-only条件下展现出低推理延迟和小模型体积，具备实际部署潜力，但延迟仍受具体实现影响。研究的方法论局限包括：仅使用TF–IDF词法特征而未涉及语义级特征；评估集中于三种特定LLM来源；特征压缩分析中延迟指标依赖于具体实现环境。研究结论表明，轻量级TF–IDF检测器可以满足边缘可行性要求，但其鲁棒性必须针对不同生成钓鱼来源分别评估，而不能仅从静态人工撰写基准中推断。未来研究方向包括开发自适应、边缘兼容的钓鱼检测方法，以应对生成攻击分布下的持续演化威胁。
