结合BERT和提升模型的混合集成学习方法用于恶意URL检测

《IEEE Access》：Hybrid Ensemble Learning for Malicious URL Detection with BERT and Boosting Models

　　

摘要：

鉴于基于网络的威胁日益普遍和复杂，恶意统一资源定位符（URL）的检测在网络安全领域仍然是一个至关重要的研究课题。在现代军事通信中，恶意URL可能会破坏指挥控制系统，从而危及作战安全。因此，在军事网络中实现强大的URL检测对于维持任务连续性至关重要。然而，现有的单一模型方法往往难以应对现代恶意URL多样化的结构和语义特征。为了克服这些局限性，本研究提出了一种混合集成检测框架，该框架将基于树的模型与来自Transformer的双向编码表示（BERT）相结合。在数据预处理阶段，从URL中提取了关键的结构特征，并准备了用于BERT输入的标记化序列。基于树的模型在提取的特征上进行了独立训练，而BERT模型则针对恶意URL的二分类进行了微调。使用Optuna优化了基于树的模型的超参数，并采用了一种采样策略来减轻BERT训练中的类别不平衡和计算成本。对基于树的模型应用了软投票技术以提高其整体性能，最终预测是通过结合基于树的集成模型和BERT模型的输出来生成的加权投票得出的。实验结果表明，所提出的混合集成模型显著优于传统的单一模型基线和简单的集成方法，实现了更高的检测准确性和鲁棒性。这些发现证明了所提出的混合方法在现实世界的恶意URL检测系统中的有效性和实际应用价值。