基于粒子群优化(Particle Swarm Optimization, PSO)特征选择的恶意URL检测的机器学习方法

《Electronics》:Machine Learning Approach for Malicious URL Detection with Particle Swarm Optimization-Based Feature Selection

【字体: 大 中 小 】 时间:2026年06月19日 来源:Electronics 2.6

编辑推荐:

  Web服务的快速增长使得区分恶意统一资源定位符(Uniform Resource Locator, URL)与合法URL的可靠机制需求日益迫切。网络钓鱼活动、恶意软件分发网络及网页篡改操作越来越依赖欺骗性网址来危害毫无戒心的用户与关键基础设施。准确的URL分类

  
Web服务的快速增长使得区分恶意统一资源定位符(Uniform Resource Locator, URL)与合法URL的可靠机制需求日益迫切。网络钓鱼活动、恶意软件分发网络及网页篡改操作越来越依赖欺骗性网址来危害毫无戒心的用户与关键基础设施。准确的URL分类在缓解网络钓鱼攻击、恶意软件分发及其他网络威胁中发挥关键作用。本研究提出一种用于网络安全应用中恶意URL检测的机器学习框架,并对多种机器学习和深度学习方法在两种实验设置下进行综合实证评估:使用完整特征集训练,以及使用通过粒子群优化(Particle Swarm Optimization, PSO)获得的约简特征子集训练。该框架融合了捕捉恶意URL领域特性的高级特征工程技朮。研究人员在从Kaggle获取的含有651,191条URL样本的公共数据集上评估了十七种分类器,涵盖传统集成方法、神经网络架构及混合堆叠(Stacking)配置。PSO将原始十维特征空间约简为七个判别性特征,实现了30%的降维。实验结果表明,全特征模型始终优于PSO约简特征对应的模型,其中随机森林(Random Forest)取得最高分类准确率91.90%及F1-score为0.9165。研究结果为设计计算高效的URL威胁检测系统提供了实证依据,并为对抗机器学习(Adversarial Machine Learning)与实时网络安全流水线领域的未来研究指明了可行方向。
论文解读:《Machine Learning Approach for Malicious URL Detection with Particle Swarm Optimization-Based Feature Selection》
该研究发表于《Electronics》期刊。随着互联网服务普及,网络钓鱼、恶意软件分发及网页篡改多借助欺骗性URL实施攻击。传统基于黑名单的方法无法检测零日(zero-day)威胁且难以维护,而基于监督学习的恶意URL检测又面临特征冗余导致计算开销增大及可能引入噪声降低精度的问题。为此,研究人员开展了一项系统性实证研究,在大规模公开URL数据集上对比十七种经典机器学习与深度学习模型在完整十维特征及PSO筛选后七维特征两种条件下的性能,以评估PSO特征选择对多分类性能的影响及不同模型架构的适用性,为可部署的URL威胁检测系统提供基准与实证依据。
为开展本研究,研究人员使用来自Kaggle的Malicious URLs Dataset公开数据集(n=651,191,含benign、phishing、defacement、malware四类,存在类别不平衡),对原始URL提取十个预工程数值特征(如URL_length、Num_dots、Has_IP等)。数据按8:2分层划分训练集与测试集并做标准化缩放。采用二进制粒子群优化(Binary Particle Swarm Optimization, PSO)以决策树为内部适应度评估器进行特征选择,将十维特征约简为七维。研究人员训练并评估了十七种模型:十种传统机器学习模型(决策树Decision Tree、随机森林Random Forest、极端随机树Extra Trees、梯度提升Gradient Boosting、AdaBoost、K近邻K-Nearest Neighbors, KNN、朴素贝叶斯Naive Bayes、逻辑回归Logistic Regression、XGBoost、LightGBM),五种深度神经网络(简单深度神经网络Simple DNN、带Dropout的Deep DNN、残差网络Residual Network, ResNet、宽深网络Wide and Deep、长短期记忆网络Long Short-Term Memory, LSTM),以及两种集成(软投票Voting Ensemble和堆叠Stacking Ensemble以逻辑回归为元学习器)。部分实验辅以SMOTE-ENN平衡处理及网格搜索超参数优化,并使用Wilcoxon符号秩检验进行统计显著性分析,同时用SHAP(Shapley Additive exPlanations)做可解释性分析。
5. Results(结果)
5.1. Primary Experimental Results (All-Features Baseline Models)(全特征基线模型主要实验结果)
在全特征条件下,Random Forest取得最高准确率91.90%,Stacking Ensemble达91.87%,XGBoost达91.83%;Decision Tree以0.88 s的训练时间展现极高效率(准确率91.63%)。最佳深度学习模型ResNet准确率为91.19%。LSTM表现较弱(86.52%),线性模型(Logistic Regression 81.63%、Naive Bayes 76.67%)处性能下游。Random Forest混淆矩阵显示benign与phishing类识别良好,defacement与phishing间存在一定混淆,malware类最易被误判为benign,反映其类别少及与合法URL表面相似性。
5.2. PSO Feature Selection(PSO特征选择结果)
PSO约简至七特征后,XGBoost准确率最高(88.25%),Random Forest为88.23%,模型相对排名基本保持。所有模型准确率较全特征下降约3~4个百分点,其中KNN下降最剧。Random Forest在PSO特征下的混淆矩阵显示malware类真阳性剧减,近44.6%被误分为benign,说明被剔除的三维特征对少数类判别尤为重要。
5.3. Hyperparameter Optimization(超参数优化)
应用SMOTE-ENN平衡训练集后调优,Random Forest与Decision Tree准确率均为90.45%,Random Forest获最高F1-score(0.9025)与AUC(0.9631)。Stacking Ensemble在全特征下调优后准确率90.82%,PSO特征下降至89.33%。
5.4. Deep Learning Architectures(深度学习架构)
Deep DNN(91.18%)、ResNet(91.17%)与全特征顶级传统模型接近但稍低;Wide and Deep(87.11%)与LSTM(86.33%)表现偏弱,后者训练耗时显著更长,说明递归结构不适合非序列表格数据。
5.5. Statistical Significance(统计显著性)
配对Wilcoxon符号秩检验表明PSO特征选择导致Accuracy(p=0.0039,中位数差+0.041)、F1-score(p=0.0039,中位数差+0.048)、AUC(p=0.0039,中位数差+0.035)显著下降,无任一模型在PSO条件下优于全特征。KNN灵敏度最高(AUC降幅0.22),树集成尤其Extra Trees受影响最小(AUC损失仅0.04%)。
5.6. XAI Results(可解释人工智能结果)
SHAP摘要图显示URL中特殊字符数(如@符号)、URL长度、数字比例、斜杠与点的数量为最重要判别特征,HTTPS标志影响较低;URL长度与SHAP值呈非线性关系,过长URL倾向于将预测推向恶意类。
6. Discussion(讨论)与7. Conclusions(结论)
研究人员讨论指出:(1)树集成(Random Forest、XGBoost、LightGBM)在表格型URL特征上持续优于深度学习方法,得益于其对特征交互显式建模及对单调变换和离群值鲁棒;(2)PSO特征选择虽致全局性能下降,但对树集成仅带来约3.65~3.99个百分点准确率损失且训练时间减半,在计算与存储受限场景具实用价值;PSO以Decision Tree为代理评估器且迭代次数有限可能是未找到更优子集的原因之一;(3)malware类召回率低源于类别不平衡及表面结构与benign相似,建议引入域名年龄、WHOIS、证书透明日志等外部特征改善;(4)Decision Tree因极低训练/推理成本适合高吞吐网络监测场景。研究人员建议实践者优先选用XGBoost/LightGBM,必要时对齐PSO适应度评估器与目标分类器,并采用SMOTE或代价敏感学习缓解类别不平衡。未来研究方向包括面向特定分类器族的自适应多目标PSO、融合DNS/WHOIS等时序与行为特征的混合流水线,以及针对URL分类模型的对抗鲁棒性分析与防御训练。
结论部分研究人员总结:本研究在651,191条URL样本上对十七种模型于全特征与PSO选特征两种情形做了严谨基准测试。树集成方法尤其是Random Forest在全特征时取得最高准确率91.90%与F1-score 0.9165,证明精心挑选的传统机器学习模型在结构化URL分类任务上仍可与深度学习媲美甚至更优。该工作为URL威胁检测文献提供了可复现基准,对设计高效、可部署及可解释的网络安全系统具直接参考价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号