ExpertFusion：一种经过校准的多专家决策融合方法，用于在数据分布偏移和目标先验不确定性情况下检测钓鱼网址

《Expert Systems with Applications》：ExpertFusion: Calibrated Multi-Expert Decision Fusion for Phishing URL Detection under Distribution Shift and Target-Prior Uncertainty

　　摘要
基于预训练编码器、结构特征、局部字符模式或混合表示的钓鱼URL检测器通常能够取得良好的基准性能。然而，当它们应用于来自未见过来源的URL、不同的时间时期或不同的类别先验条件时，其可靠性可能会下降。在这些形式的分布偏移下，在一个目标数据集上表现良好的证据来源可能在另一个数据集上不再同样可靠。固定的特征融合策略也可能产生校准不佳的决策结果。这就引发了一个决策融合问题，即当目标分布和钓鱼攻击的普遍性未知时，检测器必须确定对每个证据来源应赋予多少信任。我们提出了ExpertFusion，这是一种经过校准的多专家决策融合框架，用于钓鱼URL检测。ExpertFusion通过独立的专家来表示异构的URL证据，而不是将所有信息合并成单一表示。它集成了三个经过微调的神经编码器，这些编码器能够捕捉语义、结构语义和局部序列URL线索，以及一个词汇统计专家。每个专家生成独立校准的概率，这些概率通过专家混合路由器结合使用信任度和不确定性信息进行组合。为了解决目标普遍性未知的问题，ExpertFusion训练了特定于先验的专家组合，并根据从未标记的目标预测中得出的汇总统计信息来混合它们的输出。一个受保护的融合机制进一步调节了词汇统计证据的贡献。我们使用一种具有精确URL级别去重和注册域分层分割的泄露感知跨数据集协议来评估ExpertFusion。评估涵盖了24个源到目标的实验，涉及四个训练源和六个外部测试集。与八个钓鱼URL检测基线相比，ExpertFusion实现了最高的平均ROC-AUC、准确率、精确度和F1分数。额外的分析考察了来源出处、精确度和活动代理重叠、分布匹配对照、依赖性感知推理、基于概率的基线评估、成本敏感的操作点、有针对性的攻击以及特定目标的失败情况。总体而言，结果表明ExpertFusion在跨数据集排名性能、精确度和F1分数方面表现相对较强，而召回率和固定阈值下的对抗性鲁棒性则取决于所评估的模型和目标数据集。

引言
钓鱼攻击仍然是一个持续存在的威胁，而URL级别的检测非常有价值，因为它可以在页面渲染或宿主端内容检索之前就进行操作（Varshney, Kumawat, Varadharajan, Tupakula, & Gupta (2024)）。深度序列模型、预训练编码器和图增强的URL表示报告了良好的基准性能（Aljofey, Bello, Lu, & Xu (2025); Liu et al. (2025); Tian et al. (2026)）。然而，操作中的URL来自新的来源、活动、时间时期和类别先验条件。因此，可靠的部署依赖于模型在协变量偏移和目标先验偏移下的行为。当前的URL检测器通常依赖于一个最终的预测路径，无论它们是使用单个编码器、图表示、手工制作的特征还是特征级串联。这种设计隐含地假设语义、结构、序列和词汇线索的相对可靠性保持稳定。然而，在来源偏移的情况下，这些线索可能会以不同的方式退化。词汇证据可能有助于识别混淆的钓鱼URL，同时在结构复杂的良性URL上增加误报，而语义证据可能在不同URL convention之间传递不均匀。传统的固定分布评估也较少关注概率校准和依赖于普遍性的精确度-召回行为（Guo, Pleiss, Sun, & Weinberger (2017); Lipton, Wang, & Smola (2018)）。
核心的研究空白是缺乏一种决策级别的机制，该机制能够在不使用目标标签的情况下保留异构URL证据、校准专家输出、调整它们在目标偏移下的相对影响，并适应不确定的钓鱼攻击普遍性。可靠的评估还需要区分可转移的钓鱼信号与确切的重叠、活动重用、数据集构建效应以及重复的源-目标测量之间的依赖性。因此，本研究探讨了是否可以在决策级别结合独立校准的URL专家，以改善在跨数据集和目标先验偏移下的钓鱼检测，而无需在推理过程中使用目标标签。
为了解决这个问题，我们提出了ExpertFusion，这是一个经过校准的多专家框架，它结合了四种互补的URL证据来源：对比语义表示专家（CSRE）、多视图结构语义表示专家（MVSSRE）、对抗性局部序列表示学习器（ALSRL）和词汇统计专家（LSE）。每个专家生成独立校准的概率，这些概率通过专家混合路由器进行组合。为了适应钓鱼攻击普遍性的不确定性，特定于先验的路由器的输出使用未标记的目标统计信息进行混合。一个有界的保护机制在LSE的行为与主要神经路由不一致时控制其贡献。与特征串联不同，ExpertFusion保留了可识别的专家输出，并在决策级别调整它们的相对影响。
我们使用四个训练源、六个外部目标和24个源-目标对，在精确URL去重和注册域分层内部分割的情况下评估ExpertFusion。该框架与八个基线进行了比较，并通过组件消融、校准和先验路由分析、来源出处和活动重叠审计、分布匹配对照、依赖性感知推理、操作精确度-召回和成本分析、有针对性的URL攻击以及特定目标的失败分析进行了检查。这些实验共同评估了预测性能、在数据集偏移下的可靠性，以及ExpertFusion的优势不那么显著的条件。
本工作的主要贡献包括：
1. 异构URL专家的校准决策级融合。我们提出了ExpertFusion作为一个决策级融合框架，它将语义、结构语义、局部序列和词汇统计证据作为独立校准的预测因子保留下来。与特征串联和单路径架构不同，它结合了专家概率，同时保留了可识别的专家输出，并允许它们在目标分布之间的相对影响发生变化。
2. 无目标标签的目标统计指导路由。我们引入了一种路由机制，该机制训练特定于先验的专家组合，并使用从未标记的目标预测中计算出的汇总统计信息来混合它们的输出。由此产生的决策规则在目标类普遍性不确定的情况下调整了特定于先验的组合的贡献，而不将路由信号视为目标钓鱼先验的精确估计。
3. 可审计的、有界的保护机制用于辅助词汇证据。我们开发了一个受保护的融合机制，具有两个明确的信任路径和指定的渐变、下降、比率、先验差距和剪切参数。该保护机制限制了词汇统计证据的贡献，同时保留了一个以召回为导向的救援路径。
4. 多轴外部验证协议。我们提出了一个外部验证协议，涵盖了24个源-目标评估、来源出处和活动代理重叠、数据集构建效应、依赖性感知统计推理、操作权衡、部署效率、对抗性鲁棒性和特定目标的失败模式。该协议区分了可转移的钓鱼信号与数据集特定效应，并识别了ExpertFusion不是首选操作模型的条件。
本文的其余部分组织如下。第2节回顾了相关工作。第3节介绍了方法论。第4节描述了实验设置和结果。第5节讨论了含义、局限性和未来方向。第6节总结了本文。

相关工作
本节回顾了仅基于URL的钓鱼检测、预训练和结构URL表示、在分布偏移下的校准以及专家融合模型。它指出了以表示为中心的URL检测器和旨在在目标先验不确定性下运行的校准决策融合方法之间的方法论差距。这一差距激发了ExpertFusion的开发。

方法论
ExpertFusion是一个两阶段的智能决策框架，用于钓鱼URL检测。第1阶段使用标记的URL数据（表示为Dft={(ui,yi)}i=1Nft）对神经URL编码器进行有针对性的微调。第2阶段在经过校准的、先验适应的、数据集适应的多专家预测管道中使用微调后的编码器。第2阶段的源训练集表示为Ds={(ui,yi)}i=1Ns，其中ui是一个URL。

实验设置
本节描述了用于评估ExpertFusion的数据集、跨数据集评估协议、基线比较设置、模型配置和评估指标。所提出框架的方法论详细信息在第3节中介绍。在所有下游实验中，第1阶段的神经编码器被视为固定的表示提取器。只有下游的专家、校准模型、路由器和融合组件在相应的源数据集上进行训练。

讨论
结果表明，跨数据集钓鱼URL检测不仅取决于表示质量，还取决于证据来源在目标偏移下的校准和组合方式。在24个源-目标评估中，ExpertFusion在评估的模型中实现了最高的平均ROC AUC、准确率、精确度和F1分数。召回率仍然具有竞争力，但不一定高于那些更注重敏感性的基线。因此，主要的经验模式并不在于...

结论
本研究探讨了在跨数据集分布偏移和目标普遍性不确定的情况下的钓鱼URL检测。ExpertFusion将异构URL预测因子视为独立校准的证据来源，并根据变化的目标条件调整它们的相对贡献。这种决策级别的公式避免了依赖于单一的固定部署先验，使得可以根据变化的目标条件组合互补的URL证据。

在24个源-目标评估中，

未引用的浮点图10。
作者声明
Musarat Hussain：概念化、方法论、验证、软件、撰写 - 原始草稿、撰写 - 审查与编辑。
Junaid Abbas：可视化、形式分析、撰写 - 审查与编辑。
Jamil Hussain：方法论、验证、撰写 - 审查与编辑。
Yanhui Gu：形式分析、撰写 - 审查与编辑。
Hongyan Wu：概念化、方法论、验证、撰写 - 审查与编辑、监督、资金获取。

数据和代码可用性
完整的基准测试套件，包括源代码和数据集，可在https://github.com/aI-area/ExpertFusion上公开获取。

CRediT作者贡献声明
Musarat Hussain：概念化、方法论、验证、软件、撰写 – 原始草稿、撰写 – 审查与编辑。
Junaid Abbas：可视化、形式分析、撰写 – 审查与编辑。
Jamil Hussain：可视化、形式分析、撰写 – 审查与编辑。
Yanhui Gu：形式分析、撰写 – 审查与编辑。
Hongyan Wu：概念化、方法论、验证、撰写 – 审查与编辑、监督、资金获取。

利益冲突声明
作者没有与本文内容相关的利益冲突需要声明。

Musarat Hussain | Junaid Abbas | Jamil Hussain | Yanhui Gu | Hongyan Wu