摘要
开源软件供应链中的恶意包是一个日益严重的安全问题，然而基于注册表元数据构建的机器学习检测器往往难以解释，且通常在不免于数据泄漏的评估协议下进行验证。我们构建了一个包含来自NPM和PyPI的3330个包版本的数据集，其中每个属性均按照其精确的发布时间戳进行重建，并且我们将数据进行划分，使得同一包的所有版本、同一维护者的所有包以及同一名称相似族的所有成员均落在同一折中。主要分析仅限于NPM，其中18个时点属性在456个中的763个留出版本上，相对于正类基线0.8755取得了AU-PR 0.9972和AUC-ROC 0.9828。我们报告了一项涵盖两个生态系统的次级合并分析：两个生态系统的类别先验概率相差近九倍，仅使用来源生态系统的分类器即可达到AUC-ROC 0.8036，因此在解读合并结果时应考虑这一组成差异。置信区间通过复合组层面的集群自助重采样获得，在AU-PR中宽度为版本级别区间的3.7倍（0.0201对比0.0055）；在这一尺度下，本文报告的各组别间差异——包括特征子集、选择阶段排序和元数据族——均无法与抽样波动区分开来。在1%的操作性患病率下，阳性预测值为4.3%，在选定阈值处的召回率为0.537，表明基于元数据的检测更适合作为分诊过滤器而非确定性裁决。
