面向大型语言模型可靠性评估的分层不精确概率方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Language Models

　　

大型语言模型（LLMs）正日益广泛地部署于多种应用领域，这催生了对其可靠性进行严格评估方法的需求。现有的基于基准测试的评估主要提供模型在数据集上准确率的描述性统计，对LLMs在真实运行条件下概率行为的洞察有限。该研究提出了HIP-LLM，一种用于建模和推断LLM可靠性的分层不精确概率框架。基于软件可靠性工程的基础，HIP-LLM将LLM可靠性定义为在给定操作剖面（OP）下，针对特定数量未来任务实现无故障运行的概率。HIP-LLM以分层方式表示（子）领域间的依赖关系，实现了从子领域到系统级可靠性的多层次推断。HIP-LLM嵌入不精确先验以捕获认知不确定性，并结合操作剖面以反映使用情境。该方法推导出量化跨先验和数据不确定性的后验可靠性包络。在多个基准数据集上的实验表明，与现有基准测试和先进方法相比，HIP-LLM能够提供更为细致且标准化的可靠性表征。该研究提供了可公开访问的HIP-LLM代码库。

该论文发表于《RELIABILITY ENGINEERING》期刊，旨在解决大型语言模型可靠性评估中的关键空白。当前LLM评估主要依赖基准测试，这些测试提供的是描述性统计量，无法反映真实运行条件下用户行为的动态性和变异性，也不能有效建模层次化依赖关系或支持严格的统计推断。现有统计方法要么采用频率学派方法无法嵌入先验知识，要么使用非信息先验，且均未将操作剖面显式纳入模型，更未涵盖软件可靠性工程中关于未来无故障运行概率的标准化定义。

研究人员提出HIP-LLM框架，该框架具有以下核心特征：首先，构建独立高层领域与依赖子领域的层次结构，通过部分池化实现跨子领域的信息共享；其次，在多层级（子领域→领域→通用LLM）嵌入操作剖面作为运行权重，反映实际使用情境；再次，采用不精确概率方法以一组先验分布替代单一先验，表征认知不确定性；最后，推导后验可靠性包络，涵盖失效概率和未来指定任务数内无故障运行概率两种可靠性度量。实验结果表明，HIP-LLM能够有效评估和比较不同层级的不确定性传播，对超参数和操作剖面变化具有合理敏感性，且在小样本场景下通过先验知识嵌入展现出优于基准方法的鲁棒性。该研究的重要意义在于为LLM可靠性评估提供了符合软件可靠性工程标准的严谨框架，支持基于实际使用情境的风险感知决策，并公开了完整代码库。

关键技术方法方面，研究人员使用基于分层的贝叶斯推断架构，采用Beta-Binomial模型作为子领域级似然，通过Gamma分布超参数实现跨子领域的部分池化；运用不精确概率理论，将超超参数设为区间值以构建可信先验集，推导后验分布包络；针对加权Beta变量和缺乏闭式密度的问题，采用基于累积分布函数（CDF）包络的表征与蒙特卡洛采样相结合的数值计算方法；样本队列来源于四个广泛使用的基准测试数据集，包括MBPP、DS-1000、BoolQ和RACE-H，涵盖编码和推理两个领域及其各两个子领域，评估对象为GPT-4o、GPT-4o-mini、Claude Sonnet 4.5和Claude Haiku 3.5四个模型的公开API接口。

研究结果部分，RQ1（有效性）通过子领域、领域和LLM整体三个层级的后验CDF包络展示，发现Sonnet 4.5可靠性最高，GPT-4o次之，而GPT-4o-mini与Haiku 3.5接近；RQ2（超参数敏感性）分析表明参数ai和bi主要影响后验包络位置，ci和di则主要控制包络宽度，反映对先验信念不确定性的不同编码方式；RQ3（操作剖面敏感性）显示当子领域性能差异大时（如GPT-4o在BoolQ与RACE-H间），可靠性对操作权重变化高度敏感，而性能均匀的模型（如Sonnet 4.5）则较为稳健；RQ4（预测性）揭示随着未来无故障任务数nF增加，期望可靠性急剧下降，不确定性先增后减，为不同应用场景的模型选择提供指导；RQ5（与基准方法比较）的合成实验表明，小样本下HIP-LLM的报告区间能反映先验不确定性，大样本下各方法趋于一致，其下限可作为保守决策依据；RQ6（成功/失败定义敏感性）以MBPP为例，比较Pass@1与Pass@3标准，发现包络有重叠但存在适度偏移；RQ7（记忆效应鲁棒性）证实会话内记忆积累会引入依赖性，但在观测范围内后验结论保持稳定；RQ8（可扩展性）的理论与实证分析表明，子领域级推理是计算瓶颈，整体随领域数、子领域数、超参数配置数和蒙特卡洛样本数近似线性增长。

讨论部分，研究人员阐述了层次依赖结构的假设，即领域间因能力差异大而独立、子领域间因共享技能而依赖，并指出用户可根据先验知识调整领域划分。关于任务结果独立同分布假设，研究人员强调这是基于重置场景的合理简化，借鉴了软件可靠性工程的长期实践，同时指出长上下文或智能体工作流等场景需要依赖性建模的扩展方向。关于LLM失效定义问题，研究人员说明框架对具体定义保持中立，可适应从客观正确性到主观判断等多种标准，未来可扩展至非二元评分。关于操作剖面的实际获取，研究人员明确当前使用基准数据集模拟仅为演示目的，真实场景需依赖日志分析、任务映射和频率估计等独立方法，并强调HIP-LLM的模块化设计允许操作剖面独立于模型更新。关于先验知识嵌入，研究人员指出不精确概率框架支持通过"思想实验"进行结构化专家征询，提供"假设-则"式的敏感性分析工具。关于实用性，研究人员认为HIP-LLM旨在替代基于基准分数的现行做法，支持离线决策中的模型选择、风险评估和认证工作。

研究结论部分，研究人员总结HIP-LLM作为结合分层贝叶斯模型与不精确概率的框架，通过显式建模子领域依赖、整合多层次操作剖面以及嵌入不精确先验知识，实现了对LLM可靠性的标准化评估。实验验证了其在不确定性量化方面的优势，同时承认在失效形式化定义、操作剖面精确估计、非独立同分布场景扩展等方面存在待解决的关键局限，为未来研究指明了方向。