面向数字基础设施的钓鱼URL检测与网络安全意识：泄漏控制机器学习、LightGBM增强CNN–BiLSTM混合模型及双方法可解释性研究

《Frontiers in Artificial Intelligence》：Machine learning approaches for phishing detection and cybersecurity awareness in digital infrastructure

　　

引言：钓鱼（phishing）仍是数字基础设施面临的主要社会-技术威胁（socio-technical threat），是凭证窃取（credential theft）、勒索软件（ransomware）和供应链事件（supply-chain incidents）的入口向量。关于钓鱼URL（Uniform Resource Locator, URL）检测的机器学习（machine learning, ML）文献仍因异构数据集、不一致的泄漏控制（leakage control）以及很少通过独立归因方法交叉验证的解释流程而呈碎片化。方法：研究人员在包含11,430个实例和87个工程化URL词汇、HTML内容及外部声誉特征的平衡语料上，构建了端到端、泄漏控制的机器学习框架，所有预处理变换仅在训练分区上拟合。对11种异构分类器进行了基准测试；最佳经典模型（LightGBM）被重新用作确定性特征提取器，其折外（out-of-fold）后验概率增强了混合CNN-BiLSTM（卷积神经网络-双向长短期记忆网络）的输入。通过Wilcoxon符号秩检验（Wilcoxon signed-rank test）结合Holm-Bonferroni校正，在10折交叉验证F₁分数上评估统计显著性，并应用两种可解释人工智能（explainable AI, XAI）方法（Tree SHAP和Permutation Importance）以及消融研究。结果：LightGBM达到F₁ = 0.9699和AUC = 0.9943，显著优于除XGBoost（p = 0.375）之外的每个其他分类器（p ≤ 0.002）。CNN-BiLSTM混合模型达到F₁ = 0.9652和召回率（recall）= 0.9703。SHAP和Permutation Importance在15个排名最高特征中的11个上一致，将外部声誉指标（Google indexing、page rank、domain age、web traffic）与URL词汇复杂度指标（length、dots、hyphens、phishing hints）区分开来。讨论：严格的泄漏控制确认可达到的性能本质上是高的，而非人为假象。一致的双方法解释转化为六条候选网络安全意识指南，用于最终用户培训，将技术检测与塑造企业安全态势的人为因素联系起来。

论文解读

研究背景与问题：钓鱼（phishing）仍是数字基础设施面临的主要社会-技术威胁，是凭证窃取、勒索软件和供应链事件的入口向量。关于钓鱼URL（Uniform Resource Locator，URL）检测的机器学习（machine learning, ML）文献虽已成熟，但仍存在碎片化问题：数据集异构，泄漏控制（leakage control）不一致，解释流程很少通过独立归因方法交叉验证。模型排名常基于准确率或F₁（F1-score）点估计，较少考察交叉验证噪声下的显著性；单方法解释易受方法特异伪影影响；机器学习预测结果与可操作的网络安全意识建议之间联系不足。基于此，研究人员开展将严格泄漏控制、非参数显著性检验、双方法解释和意识转化相结合的研究。

研究开展与结论意义：研究人员在11,430个实例和87个工程化URL词汇、HTML内容和外部声誉特征的平衡语料上建立端到端机器学习框架，所有预处理变换仅在训练分区拟合。基准测试11种异构分类器，将最佳经典模型LightGBM（light gradient boosting machine）作为确定性特征提取器，其折外（out-of-fold）后验概率增强混合CNN–BiLSTM（卷积神经网络–双向长短期记忆网络）输入。采用Wilcoxon符号秩检验（Wilcoxon signed-rank test）与Holm-Bonferroni校正评估10折交叉验证F₁分数显著性，并用Tree SHAP和Permutation Importance（排列重要性）以及消融研究解释。结果显示LightGBM达到F₁ = 0.9699、AUC = 0.9943，除XGBoost（p = 0.375）外显著优于其他分类器（p ≤ 0.002）；CNN–BiLSTM混合模型F₁ = 0.9652、召回率=0.9703；SHAP与Permutation Importance在15个最高排名特征中11个一致。意义在于：严格泄漏控制表明可达性能内在较高而非人为假象；双方法解释转化为六条候选网络安全意识指南，连接技术检测与人为因素。

关键技术方法（不超过250字）：公开大规模钓鱼URL语料包含N = 11,430个实例、87个工程数值特征、1个原始URL字符串和1个分类目标，类别平衡为5,715合法与5,715钓鱼（Hannousse and Yahiouche）。采用80:20分层拆分，N_tr = 9,144、N_te = 2,286。标准化和基于互信息（mutual information, MI）的top-50特征选择仅在训练分区拟合。11种分类器包括LightGBM、XGBoost等；LightGBM作为确定性特征提取器，折外后验概率与原50维特征拼接为52维输入。CNN–BiLSTM包含并行CNN与BiLSTM分支，经全局平均池化和拼接后进入密集分类头。统计上使用Wilcoxon符号秩检验、Holm-Bonferroni校正、10折交叉验证F₁、效应量和bootstrap置信区间；解释使用Tree SHAP和Permutation Importance；进行A1至A6消融。实现环境为Python 3.12、scikit-learn 1.4、XGBoost 2.0、LightGBM 4.0、TensorFlow 2.15、SHAP 0.44，种子固定为42。

研究结果：

4.1 探索性发现：通过互信息估计，Google索引、web流量、域名年龄、内部/外部超链接比例、超链接数、page rank等特征最具信息量。外部声誉信号最判别，钓鱼URL更新、更少被索引、更低流量、注册时间更短；内容丰富度提供正交信号，合法页面超链接平均数远高于钓鱼页面。由此得出外部信任与内容密度双信号构成经验钓鱼流形。

4.2 经典模型基线比较：在相同预处理下训练11种分类器并在留出测试集评估，LightGBM在所有指标上最强，F₁ = 0.9699、AUC = 0.9943；LightGBM、XGBoost、Extra Trees、Random Forest形成紧密高性能簇，F₁约0.961至0.970；Naive Bayes因条件独立假设被相关特征空间违反，召回率降至0.56，成为系统性离群。

4.3 性能差距的统计显著性：对8个分类器进行10折F₁的Wilcoxon符号秩检验并以LightGBM为参考，Holm-Bonferroni校正后，LightGBM对除XGBoost外的六个竞争者显著更优，校正p = 0.0137；对XGBoost不显著，p = 0.375。效应量大，LightGBM–XGBoost均值F₁差的95% bootstrap置信区间跨零，表明二者在该语料上统计等价。

4.4 CNN–BiLSTM混合模型：在LightGBM增强表示下训练混合网络，留出测试集F₁ = 0.9652、召回率=0.9703。混淆矩阵显示真阴性1,097、真阳性1,109、假阳性46、假阴性34，呈假阳性多于假阴性的召回有利操作点。该混合模型未超过LightGBM总体F₁，但为漏检成本高于误报的安全敏感部署提供可部署的召回有利替代。

4.5 可解释人工智能发现：对LightGBM应用Tree SHAP和Permutation Importance，二者前15特征中11个重叠，显示强跨方法一致性。SHAP有符号均值显示，Google索引、page rank、nb_www、domain_age、nb_hyperlinks、web_traffic等外部声誉/内容特征推向合法；phish_hints、nb_dots、nb_hyphens、length_url等URL词汇复杂度特征推向钓鱼。由此得出信任-声誉与风险-词汇复杂度两轴。

4.6 消融研究：A1去除标准化几乎中性，F₁ = 0.9701；A2去除互信息特征选择F₁ = 0.9682，下降0.0017；A3以方差阈值替代互信息F₁ = 0.9614，下降0.0085；A4仅BiLSTM F₁ = 0.9657，下降0.0034；A5仅CNN F₁ = 0.9663，下降0.0028；A6去除LightGBM后验增强F₁ = 0.9496，下降0.0156，为最大单次下降。结论是各设计选择有贡献，后验增强对深度网络贡献最大。

4.7 综合：实验支持四点：梯度提升集成，尤其LightGBM和XGBoost，是最准确的单阶段工程特征分类器且彼此统计等价；严格训练集拟合预处理排除泄漏解释，说明性能内在高；将树集成后验概率注入CNN–BiLSTM输入可获召回有利操作点且不牺牲总体精度，消融确认该增强为主导贡献；围绕Google索引、page rank、域名年龄和URL词汇复杂度的语义一致特征子集解释大部分行为，并提供意识指标。

讨论总结：

5.1 对网络安全意识的意义：SHAP与Permutation Importance收敛解释识别出少量人类可解释特征，分两组：外部声誉指标（最终用户不透明但可通过浏览器搜索检查）和URL词汇复杂度指标（地址栏可见）。研究人员将其提炼为六条候选指南：读取第一个单斜杠前的完整地址；将异常长或标点密集URL视为警告；警惕链接内警报或行动词；真实品牌应有搜索可见且已建立域名；偏好有可见历史域名；表面复杂性与声誉实质匹配。注意这些指南源自LightGBM全局归因，非用户研究，向混合模型转移未验证。

5.2 与文献比较：该语料性能与工程特征钓鱼检测已发表高端范围相当；本研究方法贡献在于泄漏控制、Wilcoxon检验、双方法解释和消融，使性能可复现可解释；LightGBM与XGBoost统计不可区分与近期相邻网络安全比较研究一致。

5.3 局限：语料为单一公开数据集、单时间点，无时间拆分、跨数据集迁移测试或外部验证，因此性能应视为部署稳态上限而非跨分布泛化证据；特征依赖WHOIS、page-rank、流量等外部服务，引入延迟与软攻击面；解释针对LightGBM而非部署的CNN–BiLSTM，未来需梯度归因如Integrated Gradients。

5.4 未来方向：特征提取器构造可推广；top-three分类器集成提取器；CNN–BiLSTM可加自注意力；意识排名可做成浏览器扩展实时暴露指标；应在时间拆分语料复现以量化概念漂移与再训练节奏。

研究结论翻译：本研究提出了一个完整的机器学习框架，用于在包含11,430个实例和87个工程化特征的平衡语料上进行钓鱼URL检测。11种异构分类器在严格无泄漏协议下训练，LightGBM成为最强单阶段模型，F₁ = 0.9699，AUC = 0.9943。基于10折F₁分数的Wilcoxon符号秩检验确认，LightGBM显著优于该阶段评估的除XGBoost外的每个其他分类器（p ≤ 0.002），与XGBoost统计等价（p = 0.375）；三个最慢且表现不佳的模型因计算原因被排除在该阶段之外，因此不在该显著性声明范围内。混合CNN–BiLSTM架构以LightGBM提取器的折外后验概率增强，达到F₁ = 0.9652和召回率= 0.9703。该混合模型未在总体F₁上超过LightGBM，但在漏检成本高于误报的部署中提供具有实际价值的召回有利操作点。消融研究确认了每个主要设计选择的贡献，其中LightGBM后验增强对深度网络贡献了最大单一性能增益。Tree SHAP和Permutation Importance产生了收敛的全局排名，15个最高特征中的11个重叠，并识别出外部声誉指标（Google indexing、page rank、domain age和web traffic）与URL词汇复杂度指标（length、dots、hyphens和phishing hints）作为支配分类器行为的两个语义一致轴。这些收敛发现被用于提出一小组候选意识指南，可能为最终用户网络安全培训提供信息，将技术检测与最终塑造数字基础设施安全态势的人为因素联系起来。