基于高斯过程回归与LLM语义投影的临界高软件依赖系统风险量化方法

《Information and Software Technology》：Gaussian Process Regression with LLM semantic projection for risk quantification in Critical Software-Intensive Systems

　　摘要：关键软件密集型系统是支撑各类重要基础设施的核心计算系统，诸如电力、交通和供水等领域都依赖这些系统运行。其安全韧性直接决定了社会经济活动的正常开展。在数字化转型的背景下，针对这类系统的软件供应链攻击以及高级持续性威胁愈发隐蔽且破坏性更强，这促使软件安全保障的思路从传统边界防御转向系统韧性提升[1][2][3]。为此，多项国际和国内标准相继出台（如GB/T 39204[4]、NIST CSF 2.0[5]），学术界也在数据驱动的风险评估领域开展了大量研究[6][7][8]。然而，现有研究仍未能在关键软件密集型系统审计所具有的高维度、小样本特征下，有效衔接高层合规目标与可落地的系统级风险预测方法。

现有研究分别从数据、方法和实证三个层面展开，但仍有三处缺陷未得到解决。数据层面：相关标准[4][5][9]表述较为抽象，缺乏将标准条款与实际软件指标的对应关系，而传统质量模型也无法全面覆盖系统的预期响应、承受能力、恢复能力和适应能力等韧性维度[10][11][12]。方法层面：现有方法要么将文本形式的审计描述简化为独热编码，丢失语义信息，要么将多种类型的数据输入黑箱深度模型，导致模型可解释性较差；当样本量N小于400、特征维度d大于100时，这类方法的性能表现不佳[7][13][14][15]。实证层面：在小样本情况下，研究得到的性能结果易受数据划分随机性的影响，即便经过多重比较校正，威尔科克森检验也很难达到显著性水平[16][17]。

本文针对上述三个层面的问题展开研究。在数据层面，通过四步构建流程，将GB/T 39204、NIST CSF 2.0和ISO/IEC 27000中的可验证标准条款进行交叉对齐，并补充韧性相关指标，最终形成包含196项指标的指标体系，同时构建了由专家标注的400个系统的实验数据集。在方法层面，提出了语义对齐高斯过程框架，该框架利用冻结后的大型语言模型生成的语义基础矩阵作为先验，将数值指标映射到低维语义空间，再通过高斯过程回归完成风险预测，从而实现了数据驱动的客观性与时指标层面的可追溯性。在实证层面，在严格的10折交叉验证条件下，对比了13种不同消融配置和19种基准方法，通过弗里德曼检验、霍尔姆校正威尔科克森检验、科恩dz值以及纳多-本吉奥校正t检验共同判断方法的显著性。在400个真实世界的关键软件密集型系统上，SAGP方法的性能最优（R2=0.955，均方误差为26.0，平均绝对误差为3.09），相比基于原始特征的GPR方法，其均方误差降低了54%，平均绝对误差降低了36%（ΔR2=+0.054，纳多-本吉奥检验p值为0.008，dz值为1.57，属于显著效果）。消融实验表明，大型语言模型的语义对齐是提升性能的主要因素（其效应幅度最大，不过混合基础矩阵的对比在部分场景下并未达到统计显著性）；非语义类型的转换方法（高斯转换、TF-IDF/SVD转换）则无法带来类似的性能提升。

结论：冻结大型语言模型的语义投影与高斯过程回归相结合，为在高维度、小样本条件下实现准确的风险预测并保持指标层面的可追溯性提供了可行路径。该方法的优势源于大型语言模型所保留的各指标之间的语义相似性，而非其光谱结构特性。

引言：关键软件密集型系统是由大规模异构组件构成的核心计算系统，它们支撑着电力、交通、供水等关键基础设施的运行，这类系统的安全韧性直接决定了社会经济活动的正常运转。在数字化转型加速的背景下，针对关键软件密集型系统的软件供应链攻击和高级持续性威胁愈发隐蔽且破坏力更强，这推动了软件安全保障理念从传统的边界防御转向系统韧性提升[1][2][3]。为此，众多国际和国内标准相继出台（如GB/T 39204[4]、NIST CSF 2.0[5]），学术界也在数据驱动的风险评估领域取得了不少研究成果[6][7][8]。然而，现有研究仍未能在关键软件密集型系统审计所特有的高维度、小样本特征下，有效将高层合规目标与可落地的系统级风险预测方法结合起来。

现有研究分别从数据、方法和实证三个层面展开，但仍有三处缺陷未得到解决。数据层面：现有的相关标准[4][5][9]表述较为抽象，缺乏将标准条款与实际软件指标的对应关系，而传统质量模型也无法全面覆盖系统的预期响应、承受能力、恢复能力和适应能力等韧性维度[10][11][12]。方法层面：现有方法要么将文本形式的审计描述简化为独热编码，丢失语义信息，要么将多种类型的数据输入黑箱深度模型，导致模型可解释性较差；当样本量N小于400、特征维度d大于100时，这类方法的性能表现不佳[7][13][14][15]。实证层面：在小样本情况下，研究得到的性能结果易受数据划分随机性的影响，即便经过多重比较校正，威尔科克森检验也很难达到显著性水平[16][17]。

本文针对上述三个层面的问题展开研究。在数据层面，通过四步构建流程，将GB/T 39204、NIST CSF 2.0和ISO/IEC 27000中的可验证标准条款进行交叉对齐，并补充韧性相关指标，最终形成包含196项指标的指标体系，同时构建了由专家标注的400个系统的实验数据集。在方法层面，提出了语义对齐高斯过程框架，该框架利用冻结后的大型语言模型生成的语义基础矩阵作为先验，将数值指标映射到低维语义空间，再通过高斯过程回归完成风险预测，从而实现了数据驱动的客观性与时指标层面的可追溯性。在实证层面，在严格的10折交叉验证条件下，对比了13种不同消融配置和19种基准方法，通过弗里德曼检验、霍尔姆校正威尔科克森检验、科恩dz值以及纳多-本吉奥校正t检验共同判断方法的显著性。在400个真实世界的关键软件密集型系统上，SAGP方法的性能最优（R2=0.955，均方误差为26.0，平均绝对误差为3.09），相比基于原始特征的GPR方法，其均方误差降低了54%，平均绝对误差降低了36%（ΔR2=+0.054，纳多-本吉奥检验p值为0.008，dz值为1.57）。围绕方法层面和实证层面的研究成果，本文从三个研究问题展开分析：RQ1（性能比较）：与基于原始特征的GPR方法以及其他多种优秀基准方法相比，SAGP方法的预测性能是否更优？RQ2（鲁棒性分析）：SAGP方法的性能是否容易受到PCA维度、数据聚合策略、提示词模板以及是否合并原始特征等参数选择的影响？RQ3（消融研究）：SAGP方法的性能提升主要源于语义投影、语义对齐还是大型语言模型的编码质量？

本文的主要贡献如下：第一，在数据层面，提出了包含196项指标的指标体系（其中135项用于衡量脆弱性，61项用于衡量韧性），同时构建了由专家标注的400个系统的实验数据集，为关键软件密集型系统风险量化研究提供了可复现的基准。第二，在方法层面，提出了语义对齐高斯过程框架，该框架通过冻结大型语言模型实现语义投影，再结合高斯过程回归，其在19种对比方法中性能最优（R2=0.955），相比基于196维原始特征的GPR方法，其均方误差降低了54%，平均绝对误差降低了36%（ΔR2=+0.054，p值为0.008）。第三，在实证层面，通过对比13种不同的消融配置和19种基准方法，分析了语义基础矩阵各组成部分的贡献，并通过纳多-本吉奥校正t检验解决了数据划分带来的非独立性问题；本文还公开了代码、数据以及完整的实验结果，以便他人复现和研究扩展。

本文的其余结构如下：第2节综述相关研究，明确三个层面的研究缺口；第3节构建196项指标的指标体系以及400个系统的实验数据集；第4节详细阐述语义对齐高斯过程框架的具体方法；第5节介绍实验设计；第6节围绕三个研究问题报告实验结果；第7节讨论跨研究问题的综合发现；第8节分析可能影响研究有效性的因素；第9节总结全文并指出未来研究方向。

相关研究综述：关键软件密集型系统风险量化研究可分为三个层面：首先是将高层合规目标转化为可测量的指标体系（指标体系层面），其次是将各项指标整合为系统级的风险评分（方法层面），最后是在高维度、小样本的约束条件下准确评估方法的性能（实证层面）。本章分别梳理这三个层面的相关研究，指出了标准与指标之间的差距、客观性、语义性和可解释性之间的矛盾等问题。

指标体系与数据集：本章针对合规导向的关键软件密集型系统风险量化在数据层面存在的两个结构性问题展开分析：其一，现有的国际和国内标准仅涵盖了部分安全属性，目前还没有可直接用于机器学习的统一指标体系；其二，工业领域的风险评估数据往往敏感且稀缺，因此长期以来缺乏公开的可用于研究的、由专家标注的高维度、小样本数据集。第3.1节介绍了包含196项指标的指标体系。

方法论：本章介绍了语义对齐高斯过程框架。第4.1节阐述了该框架的设计原则、研究问题和目标；第4.2至4.4节分别介绍了语义基础矩阵、语义投影特征以及高斯过程回归器的相关内容。

实验设计：第4节介绍了语义对齐高斯过程框架的算法结构，本章则在第3.2节描述的400个系统的数据集基础上，设计了全面的实验方案。首先明确了三个逐步递进的研究问题（第5.1节），接着构建了四层结构的基准系统作为对比参考（第5.2节），随后设计了针对每个研究问题的具体验证方案（第5.3节），最后明确了实验流程（第5.4节）以及评估指标。

实验结果：根据第5节设计的实验方案，本章报告了三个研究问题的实验结果。总体而言，SAGP方法在所有对比方法中性能最优（RQ1）；其性能对PCA维度、数据构建策略等参数变化具有较强鲁棒性（RQ2）；消融实验进一步表明，语义对齐和大型语言模型的编码质量是提升性能的关键因素（RQ3）。下文将对这些结果进行详细分析。

讨论：第6节从性能比较（RQ1）、参数鲁棒性（RQ2）和组件消融（RQ3）三个角度总结了SAGP方法的实验结果。基于这些结果，本章进行了跨研究问题的综合分析，得出了单个研究问题无法揭示的三个重要发现：关键软件密集型系统风险数据具有低维语义压缩性（发现1）、语义基础矩阵对齐不良会带来严重负面影响及其实际意义（发现2），以及相关现象的非线性特征。

有效性威胁分析：第7节得出的三个发现均基于特定的数据、方法和评估方案。遵循实证软件工程的标准分析框架[16]，本章从构建效度、内部效度、结论效度和外部效度四个维度，系统分析了这些前提条件可能对研究结论产生的影响，并在可能的情况下提出了相应的缓解措施或未来验证的方向。

结论与未来工作：本文提出了语义对齐高斯过程框架，该框架利用冻结后的大型语言模型将196项指标描述转换为语义基础矩阵，再将系统特征映射到20维语义空间，最后通过高斯过程回归预测关键软件密集型系统的风险。在400个真实系统的10折交叉验证中，该框架相比基于原始特征的GPR方法，其均方误差降低了54%（ΔR2=+0.054，p值为0.008）。消融实验表明，语义对齐和大型语言模型的编码质量是提升性能的主要因素。

CRediT作者贡献声明：李秋翔：写作——审稿与编辑、写作——初稿撰写、方法论、研究实施、形式分析、数据整理。张涵：写作——初稿撰写、可视化、监督、数据整理。杨辉然：数据整理。曲雨斌：写作——审稿与编辑、可视化。吴建平：监督。

资金支持：本项目得到了江苏省“青蓝工程”2026年度优秀教学团队的资助。

写作过程中生成式人工智能与人工智能辅助技术的应用：在撰写本文的过程中，作者使用了生成式人工智能工具（包括Anthropic Claude）来协助语言润色、语法修正以及手稿的LaTeX格式调整。所有的科学内容，包括指标体系、方法论、实验设计、数据分析、结果、讨论和结论，均为作者独立构思、实施和验证的。在使用这些工具之后，作者对生成的内容进行了必要的审核和修改。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

作者名单：李秋翔|张涵|杨辉然|曲雨斌|吴建平

单位：中国北京清华大学计算机科学与技术系