GPT与BERT模型在自动化漏洞评分中的对比分析与混合架构优化研究

本研究针对网络安全领域日益增长的漏洞自动化评分需求，系统比较了GPT（生成式预训练变换器）和BERT（双向编码器表示变换器）模型在漏洞描述分类任务中的性能差异。研究人员通过理论分析和实验验证，揭示了BERT模型在上下文理解任务中的优势以及GPT模型在生成任务中的潜力，并创新性地提出了一种混合架构FT_GPT_BERT，结合两者的优势进一步提升了分类性能。该研究为网络安全领域的自动化漏洞评估提供了重要的理论依据和实践指导，发表在《Intelligent Systems with Applications》上。

　　

随着网络攻击手段的日益复杂化，软件漏洞的数量呈现爆发式增长。传统的漏洞评分主要依赖人工评估，不仅效率低下，而且难以应对不断涌现的新型漏洞。为此，自动化漏洞评分系统成为网络安全领域的研究热点。然而，现有的自动化评分系统面临着两个关键挑战：一是如何准确理解漏洞描述中的复杂语义关系，二是如何生成更规范的漏洞描述文本。

针对这些问题，研究人员开展了一项开创性的研究，系统比较了当前最先进的两种自然语言处理模型——GPT和BERT在自动化漏洞评分任务中的表现。GPT模型以其强大的生成能力著称，而BERT模型则在理解上下文关系方面表现优异。研究人员发现，在漏洞描述分类任务中，BERT模型因其双向注意力机制展现出更优的文本理解能力，而GPT模型则在生成规范的漏洞描述方面具有独特优势。

为了开展这项研究，研究人员采用了多项关键技术方法。首先，他们从美国国家漏洞数据库(NVD)收集了超过137,500条漏洞描述数据，构建了一个大规模的数据集。其次，他们分别对GPT和BERT模型进行了精细调优，其中BERT模型针对每个CVSS指标单独进行了优化。此外，研究人员还创新性地开发了一种混合架构FT_GPT_BERT，该架构首先利用GPT模型生成符合标准模板的漏洞描述，然后通过BERT模型进行指标预测。

在模型架构比较方面，研究详细分析了GPT和BERT的核心差异。GPT采用单向解码器架构，适合生成任务；而BERT使用双向编码器架构，更擅长理解任务。数学公式分析表明，BERT的MLM（掩码语言模型）训练目标使其能够更好地捕捉上下文关系，而GPT的CLM（因果语言模型）目标则更适合序列生成。

实验结果显示，在漏洞描述分类任务中，BERT模型家族整体表现优异，其中RoBERTa模型准确率最高，达到87.3%。相比之下，GPT模型虽然生成能力突出，但在分类任务中的准确率略低。然而，当研究人员将GPT的生成能力与BERT的理解能力相结合，构建的FT_GPT_BERT混合模型取得了最佳性能，准确率提升至89.5%，F1-score达到0.91。

这项研究的重要意义在于：首先，它首次系统比较了GPT和BERT在网络安全领域的应用效果，为模型选择提供了科学依据；其次，提出的混合架构创新性地结合了两种模型的优势，为自动化漏洞评分开辟了新思路；最后，研究建立的标准评估框架和数据集，为后续研究提供了重要参考。这些成果发表在《Intelligent Systems with Applications》上，对推动网络安全领域的智能化发展具有重要价值。