基于熵最优传输的LLM沉降霍恩正则化不确定性量化方法
《Pattern Recognition》:Sinkhorn-Regularized Uncertainty Quantification for LLMs via entropic optimal transport
【字体:
大
中
小
】
时间:2026年07月08日
来源:Pattern Recognition 9.1
编辑推荐:
金聪•一种基于最优传输的大语言模型校准新指标——Sinkhorn校准度量。•语义成本矩阵能够捕捉ECE指标所忽略的标记相似性。•信息论界限可确保在分布偏移情况下仍能实现校准。•稀疏Sinkhorn迭代使得大规模词汇表的计算复杂度为O(Vk)。•SUQC可将ECE降低17–25%,
金聪•一种基于最优传输的大语言模型校准新指标——Sinkhorn校准度量。•语义成本矩阵能够捕捉ECE指标所忽略的标记相似性。•信息论界限可确保在分布偏移情况下仍能实现校准。•稀疏Sinkhorn迭代使得大规模词汇表的计算复杂度为O(Vk)。•SUQC可将ECE降低17–25%,同时提升选择性预测的AUROC值。
引言
大型语言模型彻底改变了自然语言处理领域,其在问答、总结、代码生成以及多轮对话等多样化任务中展现出卓越性能[1]。这类模型越来越多地被应用于医疗诊断、法律文件分析以及自主决策系统等关键领域,在这些领域中,错误预测所带来的后果远不止是些小麻烦。在如此注重安全的应用场景中,了解模型何时处于不确定状态与预测结果本身同样重要:医疗诊断系统必须知道何时需要寻求人类医生的意见,而法律辅助工具则应在面对模糊的先例时表明自身信心不足,而非编造看似权威但实际上错误的引用内容[2]。因此,这些系统的可靠性不仅取决于其预测精度,还取决于其信心估计的质量,后者必须真实反映结果正确的概率。
尽管现代神经网络及大型语言模型表现优异,但它们存在一个根本性问题:其信心估计往往校准不佳[2][3]。实证研究表明,当前的深度网络容易过度自信,预测出的概率往往远高于其实际准确率。随着模型规模的增加,这种校准问题愈发严重,例如一个110层的ResNet虽然分类准确率更高,但其校准效果却远逊于5层的LeNet。对于那些词汇表规模超过50,000个标记的大型语言模型而言,输出空间的高维度、会将不确定性传递到各个标记的自回归生成机制,以及预测结果之间复杂的语义关系,进一步加剧了校准难题[4]。有时模型可能会自信地输出“correct”这一标记,而同样有效的“right”其实也能达到相同效果,但现有的校准框架会将这些语义上等价的选项视为完全不同的结果,从而错误地理解不确定性的本质。这种过度自信的根源逐渐被追溯到这些模型的内部计算结构:机制可解释性方面的研究揭示,语义相关的标记会在表示空间的相近区域出现,因此概率密度会自然地分布在近义的替代选项之间,而非集中在某个特定的形式上[5]。此外,用于抑制阿谀奉承等不良行为的对齐算法,也会系统性改变输出分布,强化寻求一致性的反应,进而进一步扭曲信心与正确性之间的关系[6]。那些忽视这种语义结构的校准方法,仅仅解决了表面症状,而未能纠正信心评估层面的根本偏差。
目前最常用的后处理校准方法——温度缩放,是在模型进行softmax归一化之前对其logits应用单一的标量变换[2]。由于经验表明校准偏差往往属于“低维度”现象,该方法在分类任务中效果出人意料地好,但在应用于大型语言模型时却存在诸多缺陷。温度缩放会对整个词汇表统一应用校正,而不考虑标记之间的语义关系;它采用全局校正方式,无法适应因输入不同而产生的不确定性模式;同时,它也无法为分布偏移情况下的校准迁移提供正式的保证。诸如直方图分箱和等距回归之类的更复杂方法虽然增加了计算难度,但同样忽略了预测空间的几何结构[1]。近期关于语义不确定性估计的研究虽然解决了等价输出聚类的问题,但却依赖启发式聚合方法,缺乏坚实的理论基础[7]。预期校准误差方法则是将预测结果按信心区间划分,再衡量平均信心值与实际准确率之间的差距,它也继承了这些缺陷,因为无论预测结果与真实答案在语义上的距离如何,它都会一视同仁地对待所有错误预测[8]。
我们提出了基于Sinkhorn正则化的校准不确定性量化方法——SUQC,这是一种基于信息论的原理性框架,它将大型语言模型的校准问题重新定义为带有熵正则化的最优传输问题。我们的方法引入了一种具备传输意识的校准度量,用于计算预测信心分布与实际准确率分布之间的最小成本对齐值,其中成本矩阵通过连续几何空间中的标记嵌入来体现语义相似性。其核心思想在于,通过熵项进行正则化以确保计算的可行性,最优传输为比较概率分布提供了合理框架,同时还能尊重其背后的度量结构[7][9]。通过Sinkhorn迭代实现的熵正则化,借助稀疏的k最近邻语义核,形成了复杂度为O(Vk)的高效算法,从而使得大规模词汇表的实时校准成为可能。本文的主要贡献包括:(1)一种新的Sinkhorn校准度量(SCM),它通过经过熵正则化的Wasserstein距离来量化校准偏差,能够捕捉标准ECE指标所忽略的预测信心分布与目标信心分布之间的语义关系;(2)基于信息论的泛化界限证明,经过Sinkhorn校准的模型相比基于KL散度的方法具有更小的样本外校准误差,且这一效果与熵正则化参数存在明确关联;(3)一种高效的实时校准算法,它通过稀疏的Sinkhorn迭代将大型语言模型的输出分布映射到经过校准的概率单纯形上,借助语义稀疏性实现了计算的可行性;(4)在TruthfulQA、MMLU、Natural Questions以及TriviaQA等数据集上的大量实验结果表明,与最强的后处理基准方法相比,该方法的预期校准误差可降低17.7–22.4%(与深度集成方法相比则可降低高达25%);同时,其在选择性预测方面的AUROC值比温度缩放方法高12%,并且在分布偏移情况下的稳定性也更强。图1展示了从语义成本构建到经过校准的不确定性输出的全套SUQC流程,为第3–4节中对该框架的正式阐述提供了直观的概览。
本文的其余结构如下:第2节回顾了与大型语言模型校准、机器学习中的最优传输以及信息论不确定性量化相关的研究工作;第3节介绍了关于Sinkhorn散度及校准度量的数学基础;第4节阐述了SUQC框架,包括Sinkhorn校准度量以及熵投影算法;第5节进行了理论分析,涵盖了校准-传输对偶性以及泛化界限等内容;第6节描述了实验结果,第8节则总结了本文的局限性及未来研究方向。
相关研究
SUQC的方法基础源自三个领域:大型语言模型校准与不确定性量化、最优传输与Sinkhorn散度,以及用于实现泛化的信息论基础。我们将逐一介绍这些领域,并说明我们的贡献与现有方法的差异。
预备知识
我们为该框架建立了数学基础,相关符号说明见表1。
基于Sinkhorn正则化的不确定性量化
我们提出了SUQC框架,它将大型语言模型的校准问题重新定义为带有熵正则化的最优传输问题。该框架由三个部分组成:(1)用于编码标记间关系的语义成本矩阵;(2)能够在尊重语义结构的同时衡量校准误差的Sinkhorn校准度量(SCM);(3)一种用于实时校准的高效熵投影算法。如图1所示……
理论分析
在本节中,我们将为SUQC建立理论基础,包括将最优传输校准与最大熵原理相联系的对偶性结果,以及信息论层面的泛化界限。由于篇幅限制,完整的理论推导与证明内容详见补充材料的第3节。
实验验证
我们通过三个方面的实验来评估SUQC框架的性能:(1)在标准基准测试上的校准效果;(2)通过选择性预测体现的实际应用价值;(3)在分布偏移情况下的稳定性。实验结果表明,基于Sinkhorn正则化的校准方法始终优于现有方法,同时还具备启发式方法所没有的理论保障。
讨论
第6节呈现的实验结果显示,SUQC在各类校准指标、选择性预测能力以及面对分布偏移时的稳定性方面均表现出持续的提升效果。接下来,我们将探讨这些发现带来的更广泛意义、当前方法的局限性,以及其与相关理论框架之间的联系。
结论
我们提出了基于Sinkhorn正则化的不确定性量化方法(SUQC),这是一种基于信息论的原理性框架,它将大型语言模型的校准问题重新定义为带有熵正则化的最优传输问题。通过将校准过程与标记空间的语义结构相结合,SUQC克服了诸如预期校准误差这类基于直方图的度量方法所存在的固有缺陷——这类方法会无视含义差异,对所有错误预测一视同仁地施加惩罚。该框架结合了一种具备传输意识度的量度方法……
生成式AI声明
在撰写本文的过程中,作者使用了ChatGPT来提升手稿的语言表达质量和可读性。在使用该工具/服务之后,作者对内容进行了必要的审阅和修改,并对最终发表文章的内容承担全部责任。
利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
作者感谢各位同事在讨论和反馈方面给予的帮助,正是这些支持提升了本文的质量。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号