《Internet of Things》：Machine Learning-based CVSS Scoring Methodology for IoT Threats
编辑推荐：
安全问题持续增长，尤其是在物联网（Internet of Things，IoT）领域。因此，研究人员已经开发出用于评估与跟踪漏洞及其严重性的系统。针对此任务，一项被广泛采用的标准是通用漏洞评分系统（Common Vulnerability Scoring Sy
安全问题持续增长，尤其是在物联网（Internet of Things，IoT）领域。因此，研究人员已经开发出用于评估与跟踪漏洞及其严重性的系统。针对此任务，一项被广泛采用的标准是通用漏洞评分系统（Common Vulnerability Scoring System，CVSS），当前已发展至第4版。然而，从3.x版本迁移到版本4的转换具有挑战性。人工转换不仅耗时，而且容易出错。
本研究提出了一个自动化框架，以促进CVSS v4.0的采用。该框架首先通过机器学习辅助（machine-learning-assisted）流水线，将结构化CVSS v3.x向量转换为CVSS v4.0。随后，框架进一步扩展为集成一个经微调的大语言模型（Large Language Model，LLM），该模型能够直接从文本化漏洞描述中推断所需的CVSS v3.x向量，从而实现端到端评分。
该流水线在国家漏洞数据库（National Vulnerability Database，NVD）中同时具有CVSS v3.x与v4.0官方评分的CVE上进行了评估，并且这些CVE与所有训练阶段及标签补全过程严格分离。在这些CVE上，该方法达到了73.9%的调整后转换准确率，其中有7.1%的案例低估了严重性。LLM组件则在领域迁移（domain-transfer）设定下单独评估：当其在通用领域CVE上微调，并在一个保留的物联网专用数据集上测试时，可实现80.4%的CVSS度量预测准确率，预测分数与参考分数差异的标准差约为1.336分。在通用领域评估中，最佳模型Mistral v0.3实现了最低的平均偏差，为1.058分。由于这两个组件是在不同样本总体上进行评估的，因此其结果具有互补性，而非可直接比较性。这些发现表明，所提出的解决方案在自动化CVSS版本迁移方面具有有效性。
该文发表于《Internet of Things》，聚焦于物联网（Internet of Things，IoT）场景下漏洞严重性评估标准升级的自动化问题。研究背景在于：CVSS（Common Vulnerability Scoring System，通用漏洞评分系统）是当前漏洞严重性沟通与排序的核心标准，但最新的CVSS v4.0虽在度量粒度、语义精细化和现实场景适配性方面较v3.x明显增强，其实际采用仍然有限。大量历史漏洞记录仍仅保留CVSS v3.x评分，而组织在统一漏洞优先级管理、跨时期漏洞比较以及现有工具链升级时，需要将旧版本记录平滑迁移到v4.0。人工迁移不仅工作量大，而且评分过程本身具有主观性，容易造成不一致和错误。对于IoT环境而言，问题更加突出，因为其同时涉及硬件、固件、网络异构性、物理接触风险以及安全与功能耦合等复杂因素，传统IT漏洞评估方式难以完整覆盖。因此，开展面向IoT威胁的CVSS v3.x至v4.0自动化迁移研究，具有明确的现实必要性。
研究人员围绕三个问题展开：结构化数据驱动的机器学习方法能否用于IoT场景CVSS推断；大语言模型（LLM）能否从攻击描述中推断CVSS向量；在通用领域CVE上微调的LLM能否有效迁移到IoT特定漏洞评分任务。为此，论文提出了一个混合式自动化框架：一方面构建基于结构化CVSS v3.x向量的确定性-机器学习协同转换流水线，将旧版向量映射到CVSS v4.0；另一方面引入LLM前端，使系统能够直接从非结构化漏洞文本中推断CVSS v3.x基础向量，再经同一结构化流水线得到CVSS v4.0结果。研究结果表明，该框架在严格外部评估下具备较好的迁移能力：结构化转换核心在25437个同时具有官方v3.x与v4.0评分的NVD漏洞上，实现了73.9%的调整后准确率；若剔除可自检的退化映射案例，准确率提升至77.4%。LLM部分在IoT保留集上实现约80.4%的组件级预测准确率，显示出从通用安全数据向IoT漏洞分析迁移的可行性。整体而言，该研究的重要意义在于为CVSS标准迁移提供了可审计、可复现、低人工成本的自动化路径，并验证了“结构化规则+机器学习+LLM”的组合策略在漏洞管理标准升级中的应用价值。
就主要技术方法而言，研究人员首先基于NVD及Sasi等提出的IoT分类体系构建IoT相关CVE数据池，并将具有CVSS v3.x记录的样本用于结构化转换建模；其次对CVSS v3.x与v4.0基础度量进行对应映射，对新增或重定义的v4.0度量执行组合枚举，计算候选v4.0向量的最小值、最大值与平均分数；再次采用监督学习与无监督聚类联合完成模糊样本标签补全，并通过严格数据隔离在双评分NVD外部集合上评估转换性能；最后利用UnSloth框架，以LoRA/QLoRA参数高效微调多种开源LLM，在170225条通用领域CVE描述上学习从文本到CVSS v3.x基础向量的映射，并在保留的IoT数据集上检验领域迁移能力。
以下根据论文主体结果进行归纳说明。
Introduction
论文首先系统阐明了CVSS v4.0升级背景及IoT漏洞评估的现实需求。研究人员指出，CVSS v4.0在基础度量层面引入了攻击需求（Attack Requirements，AT），细化了用户交互（User Interaction，UI）为None、Passive和Active，并取消了v3.x中的作用域（Scope，S），转而分别评估易受攻击系统影响（VC、VI、VA）及后续系统影响（SC、SI、SA）。同时，威胁度量组和补充度量组也进行了重构。这些变化使得v3.x到v4.0不再是简单一一映射，历史漏洞数据如果不完成迁移，将难以与新披露漏洞在统一尺度上比较。文章据此提出自动化版本迁移框架，并强调其面向IoT、但方法本身具有领域无关性。
Related Work
在相关研究部分，论文回顾了CVSS各版本存在的问题及已有升级研究。既有工作多集中于CVSS v2.0缺陷修正或v2.0到v3.x转换，如引入上下文因素、改进环境度量、建立数学公式或应用机器学习进行版本迁移。研究人员指出，先前研究较少涉及v3.x到v4.0的自动转换，也缺乏针对IoT攻击面的明确分段处理。此外，已有LLM相关工作虽尝试从描述中生成CVSS评分，但往往受限于描述不完整导致低估严重性。本研究的差异性在于：面向最新的v3.x→v4.0迁移，采用可审计的结构化转换机制，并将LLM用于非结构化文本向量推断，同时在IoT迁移场景下进行验证。
CVSS Scoring framework
本节提出完整框架。其核心思想是：若输入已经具有CVSS v3.x向量，则直接进入结构化转换流水线；若仅有文本描述，则先由微调LLM推断CVSS v3.x基础向量，再进入同一流水线，最终输出CVSS v4.0向量及分数。这一设计保持了后续评分过程的确定性与可审计性。
Structured-data based ML techniques
在结构化数据方法中，研究人员将每个CVE表示为由候选CVSS v4.0向量集合导出的三个数值特征：最小分、最大分和平均分。对于v3.x与v4.0存在直接对应关系的度量，值直接保留；对于新增或重构度量，则按CVSS v4.0规范列举全部合法取值，并通过笛卡尔积生成候选基础向量。对每个候选向量，依据官方公式计算CVSS v4.0分数。若某个CVE的所有候选分值均落在同一严重性区间，则可直接确定分类；若候选结果跨多个严重性等级，则进入机器学习消歧阶段。监督学习部分采用KNN、Logistic Regression（LR）、Support Vector Machine（SVM）、Na?ve Bayes、Decision Tree、Gradient Boosting和Random Forest等模型，一致同意时作为最终标签；仍存在分歧的样本，再通过K-means与Bisecting K-means聚类进行无监督归类。整个流程还记录标签来源，即确定性分类、监督一致分类或无监督聚类分类，以保障可追溯性。
Large Language Model-based methodology
对于非结构化输入，研究人员训练LLM直接输出CVSS v3.x基础向量，而不是最终分数，随后按官方公式计算得分。由于CVSS v4.0标注数据稀缺，LLM训练目标设为CVSS v3.x向量。模型采用Mistral、Gemma、Qwen、Phi和LLaMA等开源基础模型，在170225条来自NVD、GitHub Advisories和FIRST的通用领域CVE上微调。训练使用UnSloth框架，通过LoRA/QLoRA适配器降低显存和训练成本，输入为漏洞自然语言描述，输出为组件级CVSS向量。研究特别将IoT数据从微调集中剔除，以便在保留的IoT集合上进行真实的领域迁移验证。
Evaluation
论文将评估分为结构化转换评估与LLM评估两部分，并明确二者解决的是不同子任务，因此结果互补而不可直接排名比较。
Combinatorial expansion and deterministic conversion
研究首先展示了从CVSS v3.x到v4.0的组合扩展结果。针对735个自2022年起披露且带有v3.x评分的IoT相关CVE，326个样本的候选v4.0结果完全落在同一严重性区间，可视为确定性样本；409个样本则存在跨区间歧义，需要机器学习进一步判定。这一结果说明，仅依靠机械映射难以消除v4.0新增语义带来的不确定性。
Label completion and consistency
在标签补全阶段，监督模型成功对409个模糊样本中的302个达成一致分类，剩余107个再交由无监督方法处理，最终完成全部735个样本的分类。内部一致性评估显示，多数模型在F1、召回率、准确率和精确率上均接近99.7%。论文进一步说明，这种近乎一致的结果并不代表外部转换精度极高，而是因为任务本质上由低维、近确定性的阈值边界决定，这些指标仅用于证明标签补全过程内部连贯，而非与官方v4.0评分的一致率。
Leakage and robustness controls
为排除数据泄漏和记忆效应，研究人员进行了重复向量分组评估、标签随机置换试验、伪标签消融试验和学习曲线分析。结果显示，在折叠相同特征向量后平均准确率仍保持93.0%，而随机打乱标签后准确率降至接近多数类基线，表明模型确实学习了有效映射关系而非依赖泄漏信息。仅使用326个确定性标签样本训练，再在官方双评分集合上测试，转换准确率为73.6%，与完整流程的73.9%几乎无差异，说明伪标签补全并未夸大最终性能。
Conversion accuracy against official CVSS v4.0 scores
这是论文最核心的外部验证。研究人员使用NVD中自2023年11月CVSS v4.0发布以来、同时具有官方v3.x和v4.0评分的25437个CVE作为独立测试集。结果显示，未经调整的整体转换准确率为54.4%，经类别级校正后提升至73.9%。各严重性等级中，Medium召回率为86.9%，High为92.8%，Critical为75.6%；Low等级虽然精确率高达93.4%，但召回率仅10.8%，表明许多官方Low漏洞在转换后被提升为Medium，呈现偏向高估的分布。混淆分析表明，模型总体上更倾向于高估而非低估，19.0%的漏洞被判定为高于官方等级，而仅7.1%被低估。从漏洞优先级管理角度看，这种偏保守的错误模式优于漏判高风险漏洞。研究同时指出，大量低估发生在预测为None的案例上，其原因是v3.x中已取消的Scope信息无法唯一恢复v4.0中的后续系统影响（SC、SI、SA），从而造成某些仅依赖文本上下文才能识别的影响路径在结构化映射中丢失。将这些可自检的退化案例剔除后，调整后准确率升至77.4%，低估率降至2.7%。
Category-level analysis
按IoT攻击类别分析后，网络（Network）类是对整体准确率影响最显著的类别，其准确率和交叉验证结果相对较低；社会工程（Social）类在交叉验证中也有轻微下降。研究认为，网络类漏洞中High和Critical密集分布，小的评分偏差更容易改变最终严重性等级，因此对整体性能影响更大。
Results using the Large Language models
LLM部分的结果表明，Mistral v0.3表现最佳，在通用领域评估中，预测分数相对参考分数的平均偏差为1.058分，标准差为1.175；5折交叉验证下平均偏差约1.261分。组件级上，Mistral v0.3在Scope（S）组件达到93.7%的最高准确率，而Privileges Required（PR）表现最弱。尽管研究尝试将不同模型在不同组件上的最佳结果进行拼接，但整体偏差约1.133分，反而不如单一Mistral v0.3。更重要的是，在IoT保留测试集上，LLM实现了约80.4%的CVSS度量预测准确率，预测与参考分差标准差约1.336分，证明在通用CVE上学到的CVSS语义能够有效迁移至IoT漏洞评分任务。
Discussion
讨论部分强调，结构化转换和LLM推断解决的是不同问题：前者是从已存在的CVSS v3.x向量推断CVSS v4.0，后者是从文本描述恢复CVSS v3.x向量，因此二者准确率不能直接比较。LLM在其评估设定下表现更高，主要由四方面因素解释：其一，训练集规模远大于结构化管线；其二，文本描述蕴含了v3.x向量中缺失而v4.0所需的关键信息，如AT、精细化UI及后续系统影响；其三，预训练模型已具备大规模安全语义表示；其四，LLM更接近人工分析员依据文本证据执行CVSS判定的过程。相应地，结构化管线的优势在于完全确定、可审计、成本低且不依赖描述文本；LLM则在文本信息充分时更有优势。论文据此将两者定位为互补组件，而非竞争替代关系。
Conclusion
研究结论指出，所提出框架能够有效支持CVSS标准迁移。结构化流水线仅依赖CVSS v3.x向量，即可在严格独立的25437个双评分CVE上实现73.9%的调整后v3.x→v4.0转换准确率；剔除退化映射后达到77.4%。LLM组件则可从自由文本中推断CVSS基础向量，并在IoT领域迁移测试中实现约80.4%的组件级准确率，在通用领域上最佳模型Mistral v0.3的平均偏差为1.058分，标准差为1.175。论文认为，这些结果表明，自动化、数据驱动的方法能够在漏洞管理中降低人工负担、减少主观偏差并提升版本迁移的一致性，同时保持结果对官方CVSS规范的可审计性。研究结论还指出，结构化模型与LLM之所以表现不同，根本原因在于输入信息和表示能力不同：前者仅处理有损的v3.x基础向量，后者可利用文本描述与预训练知识恢复额外证据。因此，未来将结构化转换作为初始审计路径、再由LLM专门处理v3.x向量无法消解的歧义，是极具潜力的发展方向。
