《Computer Networks》:An Explainable Transformer-based Model for Phishing Email Detection: A Large Language Model Approach
编辑推荐:
钓鱼邮件是一种严重的网络威胁,试图通过发送虚假电子邮件欺骗用户,意图窃取机密信息或造成财务损失。攻击者通常伪装成可信实体,利用技术进步和复杂性使检测和预防钓鱼变得更加困难。尽管进行了广泛的学术研究,钓鱼检测在网络安全领域仍是一个持续且艰巨的挑战。在本研究论文中
钓鱼邮件是一种严重的网络威胁,试图通过发送虚假电子邮件欺骗用户,意图窃取机密信息或造成财务损失。攻击者通常伪装成可信实体,利用技术进步和复杂性使检测和预防钓鱼变得更加困难。尽管进行了广泛的学术研究,钓鱼检测在网络安全领域仍是一个持续且艰巨的挑战。在本研究论文中,研究人员提出了一种微调的基于Transformer的掩码语言模型RoBERTa(鲁棒优化BERT预训练方法),用于钓鱼邮件检测。在检测过程中,研究人员使用了一个钓鱼邮件数据集,并应用预处理技术来清理和解决类别不平衡问题,从而增强模型性能。实验结果表明,微调模型优于传统机器学习模型,准确率达到98.45%。为确保模型透明度和用户信任,研究人员提出了一种混合解释方法LITA(LIME-Transformer归因),该方法整合了局部可解释模型无关解释(LIME)和Transformers Interpret方法的潜力。所提出的方法提供了更一致且用户友好的洞察,缓解了两种解释方法之间的局部归因不一致性。此外,该研究通过使用LIME、Transformers Interpret和LITA呈现正负贡献分数,突出了模型生成预测的能力。
**论文解读:基于可解释Transformer的钓鱼邮件检测模型**
**研究背景与问题**
随着互联网技术的快速发展,网络通信方式发生了显著变化,但同时也带来了更多安全风险。钓鱼邮件作为一种常见网络威胁,攻击者常伪装成可信实体,通过虚假邮件窃取机密信息或造成财务损失,对个人、政府和企业构成严重威胁。尽管学术界已开展大量研究,但钓鱼检测仍面临挑战:现有模型(如传统机器学习、深度学习)尽管性能良好,但多为“黑盒”模型,难以解释其内部决策过程,导致用户和系统管理员无法理解模型为何将某封邮件判定为钓鱼或合法。这种缺乏透明度的问题在网络安全领域尤为关键,因为了解模型的具体推理依据有助于验证判断准确性、减少误报,并增强用户信任。因此,研究人员提出开展基于可解释人工智能(XAI)的钓鱼邮件检测研究,旨在构建高性能且具备可解释性的模型。
**研究内容与结论**
研究人员提出了一种基于微调Transformer模型RoBERTa(鲁棒优化BERT预训练方法)的钓鱼邮件检测方法,并在Kaggle公开数据集(包含18,650封邮件,经清理后为18,634封)上进行了实验。该数据集包含合法邮件和钓鱼邮件,存在类别不平衡问题。通过同义词替换数据增强技术平衡训练集后,微调后的RoBERTa模型在平衡数据集上达到98.45%的测试准确率,优于传统机器学习模型(如随机森林、XGBoost、支持向量机、逻辑回归)。更重要的是,研究人员还提出了一种混合解释方法LITA(LIME-Transformer归因),整合了LIME(局部可解释模型无关解释)和Transformers Interpret两种方法的优势,通过归一化与加权融合生成更一致的词级归因分数,解决了两种方法对同一词可能给出相反极性(正/负贡献)的不一致问题,从而提高了模型解释的透明度和用户友好性。该研究发表在《Computer Networks》期刊上,为钓鱼邮件检测领域提供了兼具高性能与可解释性的新范式。
**主要关键技术方法**
研究人员采用以下关键技术方法:
1. **数据预处理与平衡**:对Kaggle公开钓鱼邮件数据集进行清洗(转小写、去除HTML标签、多余空格等),并采用同义词替换(基于WordNet词典,替换比率为0.2)对少数类(钓鱼邮件)进行过采样,使训练集平衡(合法与钓鱼邮件各7,245封)。
2. **模型选择与微调**:使用RoBERTa-base(125M参数,12层Transformer,768维隐藏状态,12注意力头)作为基础模型,采用AdamW优化器、学习率2e-5、批次大小32,训练5个epoch。通过随机搜索对超参数优化,最终在验证集上确定最优参数。
3. **混合解释方法LITA**:结合LIME(基于局部扰动)和Transformers Interpret(基于梯度归因)的归因分数,先通过词级聚合对齐,再经min-max归一化至[-1,1]范围,最后以加权线性组合(α=0.5)计算混合分数,得到最终词级归因,用于可视化正负贡献。
**研究结果**
**4. 结果**
- **模型性能评估**:在平衡数据集上,微调RoBERTa模型训练准确率为98.94%,训练损失0.0257;验证准确率98.68%,损失0.0388;测试准确率98.45%,损失0.0511。在非平衡数据集上,测试准确率为97.96%。ROC-AUC曲线显示模型具有良好的区分能力。
- **与传统机器学习模型对比**:在平衡数据集上,随机森林(RF)测试准确率97.09%,XGBoost 96.49%,支持向量机(SVM)97.90%,逻辑回归(LR)97.24%,均低于RoBERTa的98.45%。精确率、召回率和F1-score方面,RoBERTa在合法邮件类上达到1.00、0.98、0.99,在钓鱼邮件类上为0.96、1.00、0.98,优于其他模型。
- **与现有研究对比**:与先前研究(如使用DistilBERT、RoBERTa、GCN、THEMIS、BERT-LSTM等)相比,本研究不仅实现了高准确率,还提供了可解释性分析(LIME、Transformers Interpret、LITA),而其他研究均未包含模型可解释性。
**5. 可解释性分析**
- **LIME解释**:通过LimeTextExplainer对两个钓鱼邮件样本进行解释,以条形图展示前15个词的正负贡献分数,绿色表示正贡献(支持钓鱼分类),红色表示负贡献。
- **Transformers Interpret解释**:使用梯度归因计算子词级分数,同样以颜色标记正负贡献,但粒度更细(子词级)。
- **LITA混合解释**:针对两个样本,LIME和Transformers Interpret对某些词(如“verify”在样本1中)可能给出相反极性(LIME为正,Transformer为负),而LITA通过加权平均得到中间分数,缓解了不一致性。表11和表12展示了具体词级分数,例如样本1中词“freida”的LIME归一化分数为1.00,Transformer归一化分数为0.46,混合分数为0.73;而“applicant”的LIME为-0.79,Transformer为-1.00,混合为-0.89,表明LITA综合了两者信息。
**讨论与结论**
**6. 讨论**
研究人员指出,微调RoBERTa在平衡和非平衡数据集上均表现优异,且平衡数据集性能略高(差异约0.49%),表明模型对不平衡数据具有鲁棒性。通过XAI技术,模型决策过程透明化:LIME和Transformers Interpret均能高亮关键词语,但存在不一致性,而LITA混合方法有效解决了这一问题,提供了更稳定、用户友好的解释。研究局限性包括:数据集仅包含英文邮件,未涵盖多语言场景;模型最大输入长度512 token,长邮件可能被截断丢失信息;未测试对抗性攻击(如同形字、拼写错误、图像文本混合)的鲁棒性。未来工作将探索更多大语言模型(如LLaMA、Gemini、Falcon、Mistral),并使用多语言数据集,以及采用长序列或层次Transformer架构处理长邮件。
**7. 结论**
本研究探索了使用基于Transformer的语言模型检测钓鱼邮件。研究还展示了采用最先进的自然语言处理方法提高识别钓鱼邮件准确性和效率的有效性。整体实验在平衡和非平衡数据集上进行。通过利用RoBERTa的上下文语言理解能力,研究人员在区分钓鱼邮件和合法邮件方面取得了有希望的结果。为此,通过调整关键参数(如批次大小、优化函数和学习率)进行微调,优化了模型。该微调版本RoBERTa在钓鱼邮件分类任务中获得了98.45%的测试准确率。此外,为了提高可解释性并增强对模型解释的信任,研究人员引入了LITA,一种结合LIME和Transformers Interpret的混合解释方法。这使得决策过程对用户更加透明和可理解,促进了理解与信任。总体而言,模型的可解释性反映了所提出系统的鲁棒性。