摘要
(1) 背景：网络钓鱼仍然是一种普遍存在且具有经济破坏性的网络威胁。目前主要的检测方法已转向基于深度神经网络和变换器的分类器，这些方法具有较高的准确性，但通常不会为每个检测决策提供解释；而在受监管的环境中，可解释性和可审计性变得越来越重要；本文没有与其他大规模变换器检测器进行比较。本研究探讨了一种完全可解释的检测器在保持每个决策解释的同时，能在多大程度上缩小与不透明文本分类器的准确性差距，以及这种检测器能揭示哪些仅凭准确性无法测量的信息。(2) 方法：本文提出了一种可解释的证据融合框架HIEF。每封邮件通过18个人类可理解的信号进行表示：14个结构性和语言线索以及4个来自已发布的稀疏对数概率词典的词汇聚合。这些信号通过三个透明层次进行融合，包括一个正则化的逻辑模型、一个浅层交互规则树和一个校准的Dempster–Shafer阶段，该阶段能报告信念、怀疑和未知的程度，并提供一个封闭形式的整体冲突系数。一个基于折叠外组分得分的逻辑元学习器整合了这三个层次。证据层采用类型感知的校准方法，其中离散信号根据其可达值进行校准，连续信号则通过等值回归进行校准。评估使用了38,908封公开邮件（其中38,512封在去除完全重复邮件后），并设计了接近重复邮件的控制组、分组感知的分割方法、十次重复分割、源邮件留出协议、双类跨源测试集、组件消融实验以及由两位评估者独立注释的100条邮件的人工审核。(3) 结果：在分组感知的分割下，HIEF的准确率为0.855，最强的人类术语频率-逆文档频率（TF-IDF）基线值为0.954；在同一十个分割上评估的紧凑字符n-gram神经参考模型的准确率为0.973。仅线性层的准确率为0.872，因此两个融合层并没有提升其准确性，二者之间的差异0.017排除了完全相同的可能性。类型感知的校准将证据层的准确率从0.771提高到0.780，并将其分组间的标准偏差降低了一半以上，但仍未使其具有竞争力；因此，问题在于融合机制而非分组方式。证据层提供了一个可分解的决策不确定性解释：未知程度将错误与正确决策区分开来，分别为0.265和0.175。人工审核在五类邮件上的评估者间Cohen’s kappa值为0.950，表明宽容的语料库标签与人类对网络钓鱼的判断一致，其Cohen’s kappa值在0.18到0.21之间，而自动严格规则的Cohen’s kappa值为0.70到0.77；被审核的邮件块由两位作者注释，其中人类标记为阳性的邮件主要集中在预付费类别中，因此此次审核是对标签分配的有界比较，而非独立的注释研究。(4) 结论：HIEF被视为一个处理不确定性和提供解释的框架，而不仅仅是一种提高准确性的融合方法，因为融合层次的准确性成本并未通过准确性的提升得到补偿。量化这些广泛使用的语料库所报告的性能中有多少可归因于模板泄露和标签的宽容性，这一贡献与检测器本身无关。尚未展示跨源操作的能力：在未见过的邮件集合上，特异性下降到0.041，因此这里所有的评估都仅属于概念验证，不声称具有实际操作能力。西班牙语语料的评估基于一个规模较小且全部为正面的子集，因此属于初步研究。
