利用基于Transformer的模型进行恶意存储库检测：一种以元数据为导向的方法

《IEEE Access》：Malicious Repository Detection Using Transformer-Based Models: A Metadata-Driven Approach

　　```div _ngcontent-ng-c1231153542="" class="abstract-text row g-0">

摘要：

GitHub 和类似的平台托管了数百万个软件仓库，其中只有一小部分公开分布了恶意源代码。目前针对恶意仓库检测的研究主要依赖于手工制作的特征、结构分析或多模态代码嵌入，而基于 Transformer 的自然语言模型的潜力尚未得到充分探索。我们提出了一个基于元数据的检测框架，该框架通过对仓库元数据（尤其是描述、README 文件和主题）进行微调来使用 DistilBERT，并将检测任务定义为恶意仓库与良性仓库之间的二元分类问题。我们的数据集结合了从黑客社区爬取的恶意仓库和 CrossSim 基准测试中的良性仓库，在进行泄露感知预处理后获得了 1,478 个适合 BERT 使用的样本。通过按仓库标识符分层进行 10 折 GroupKFold 协议训练，可以减少训练集和验证集之间的相同仓库泄露现象，最终平均准确率达到 98.98%，平均 F1 分数为 99.22%，在 F1 分数上比所有 Repo2Vec 基线模型高出多达 9.22 个百分点。使用三个 DistilBERT 模型的装袋集成进一步将 F1 分数提高到了 99.75%。通过温度缩放进行的校准分析表明，该框架的输出具有很好的校准性（交叉验证模型的 ECE 为 0.0041，集成模型在缩放后的 ECE 为 0.0074），这表明该框架在基于阈值的筛选场景中具有很好的前景。据我们所知，此前还没有研究仅使用元数据对恶意仓库与良性仓库进行监督式二分类并应用 BERT 系列 Transformer 模型。主要限制在于，良性仓库的基准测试仅限于 Java 语言的仓库，而恶意仓库则涵盖了多种语言。

```