《Neural Networks》：Uncertainty quantification for trustworthy deep learning: Methods and measures
编辑推荐：
可信深度学习的不确定性量化：方法与度量。对集成与近似贝叶斯不确定性方法的结构化综述。研究人员将预测方法（predictive method）与总结不确定性的度量（measure）分离。全网络（full-network）、多模态（multi-modal）方法以更
可信深度学习的不确定性量化：方法与度量。对集成与近似贝叶斯不确定性方法的结构化综述。研究人员将预测方法（predictive method）与总结不确定性的度量（measure）分离。全网络（full-network）、多模态（multi-modal）方法以更高成本给出最佳不确定性。涵盖分布外（OOD）检测、校准（calibration）、多样性（diversity）和大语言模型（LLM）不确定性。
该综述由 H. Martin Gillis 和 Thomas Trappenberg 撰写。深度神经网络已广泛部署于自动驾驶、医学诊断和科学建模等安全关键领域，但传统架构很少同时给出可靠的预测不确定性。一个模型若以 95% 置信度给出错误类别，会提供虚假保证；若报告高不确定性，则允许人在决策前介入。因此，不确定性量化（Uncertainty Quantification, UQ）研究旨在为确定性模型提供校准的预测置信度度量。关键概念区分是偶然不确定性（aleatoric uncertainty）与认知不确定性（epistemic uncertainty）：前者来自数据生成过程的固有噪声，在给定观测模型下不可约；后者反映对真实模型参数的无知，原则上可随数据增加而减少。贝叶斯视角下，认知不确定性由模型参数后验 p(w|D) 捕获。研究人员强调，将预测熵分解为偶然/认知成分是建模约定，而非数据固有属性；同一变异性可能因模型类和特征集不同而被标为偶然或认知，跨方法比较认知份额仅在固定模型类和特征集下有意义。已有综述多按架构或贝叶斯观点组织，本研究则深入集成与近似贝叶斯核心领域，并重点处理既有综述较少涉及的不确定性度量问题，提出将“产生预测集成的方法”与“汇总不确定性的度量”分离，并覆盖 OOD 检测、校准、多样性与 LLM 不确定性。
研究人员开展的是结构化综述，而非单一实验研究。其核心贡献是：对集成和近似贝叶斯 UQ 方法进行系统梳理；将预测方法与不确定性度量分开；按生成机制和网络范围建立两轴分类；比较九种不确定性度量；并基于标准基准对方法进行 OOD 与校准质量评级。研究得出的总体结论是：全网络、多模态方法在标准基准中通常给出最强不确定性，但计算成本较高；高效单次和最后一层方法在合适归纳偏置下可恢复部分质量，但不能捕获模式间认知成分；在度量方面，加性熵/互信息分解仍是默认选择，但在有限集成和后验不匹配下存在已知失败，EPJS 和方差门控等有结构吸引力但仍需系统实证验证。其意义在于，实践者的选择仍是成本—质量权衡，而非单一主导框架；最重要开放前沿是生成式 UQ，需要把多样性、分解和校准工具从固定标签集提升到语义等价空间。
关键技术方法（不超过250字）：该工作为结构化文献综述，不涉及试剂、培养或质粒构建，也不涉及临床或人群样本队列。研究人员主要采用：按生成机制与网络范围构建两轴分类；把预测集成方法与不确定性度量分离；比较预测熵、互信息、EPKL、EPJS、方差分解等九种度量；以 OOD 检测、校准、选择性预测、分布偏移和腐败基准为评价框架；用标准基准与证据锚定方式对方法进行定性评级，并保留方法时间线。
研究结果按主要小标题概括如下。1 Introduction：提出 UQ 对安全关键部署的重要性，说明过度自信风险，并给出综述范围和贡献。1.1 Aleatoric and epistemic uncertainty：区分偶然与认知不确定性，指出贝叶斯后验捕获认知，但熵分解是模型相对的建模约定。1.2 Relation to prior surveys：比较既有综述，指出本研究更深入高效集成、最后一层/单次方法，并统一处理度量问题。2 Generative mechanisms and network scope：提出生成机制和网络范围两轴分类，成本通常向右上增加，显式成员全网络最易获得模式间多样性。3 Bayesian neural networks：介绍贝叶斯模型平均、变分推断、MCMC、线性化/Laplace 近似及实践局限，包括模式坍缩、冷后验和推理空间选择。4 Monte Carlo Dropout：将 dropout 解释为近似推断，指出其简单但易陷单模式、低估认知不确定性且 OOD 检测较弱。5 Deep Ensembles：独立训练多个网络并聚合预测，回归中可分解偶然与认知成分；作为经验金标准，其优势与多损失景观模式有关，但成本随集成规模线性增长。6 Efficient ensemble approximations：涵盖 BatchEnsemble、Snapshot Ensemble、SWAG、MultiSWAG、CreDE、子集成、Masksembles 和层集成等，指出参数共享常限制功能多样性。7 Last-layer and single-pass approaches：综述最后一层贝叶斯/随机方法、SNGP、DUQ/DDU/DUE、TreeNets/LLE、MIMO、MHML、排斥式最后一层集成、LLCM、协方差 LLE 和 epinet，强调近单模型成本与共享表示带来的多样性限制。8 Evidential and prior-network approaches：介绍证据深度学习、先验网络、后验网络及变体，单次前向可产生 Dirichlet 证据，但存在正则敏感、远 OOD 过度自信和认知不确定性未唯一识别等问题。9 Conformal prediction and distribution-free UQ：说明保形预测提供有限样本、分布无覆盖保证，可包装任意预测器，但依赖可交换性且是边缘覆盖。10 Post-hoc calibration：总结温度缩放、Platt 缩放、等渗回归及训练时校准，指出其改善分布内校准但不赋予认知意识或 OOD 鲁棒性。11 Evaluation: Metrics and benchmarks：固定评价基础，包括校准、OOD、选择性预测指标，以及偏移和腐败基准，建议多指标并在匹配计算下比较。12 Comparative summary of methods：汇总方法成本、不确定性和优缺点，OOD/校准评级是相对 MSP 基线和 deep ensembles 的定性锚定。13 Ensemble diversity：给出偏差—方差—多样性分解，介绍分歧、κ、投票熵、预测方差、余弦相似度、CKA 和 Vendi 分数，说明 deep ensembles 多样性高而 MCD、SWAG、BatchEnsemble 等受限。14 Uncertainty measures and decompositions：综述预测熵、熵/互信息分解、EPCE、EPKL、EPJS、公理化视角、方差门控度量和回归方差分解，并比较 MI、EPKL、EPJS 的对称性、有界性与稳定性。15 Out-of-distribution detection and selective prediction：总结后处理 OOD 分数、训练时方法和贝叶斯/集成方法，以及选择性预测、弃权和不确定性解释。16 Uncertainty in large language models：说明 LLM 打破固定输出空间假设，综述 token 似然、语义熵、采样一致性、言语化置信、集成/贝叶斯和保形/选择性方法，指出多数分数仍是启发式且缺乏跨模型、提示和领域稳定的保证。17 Summary and open research directions：总结成本—质量权衡、闭式预测方法的强归纳偏置、显式全网络多模式方法的优势，以及高效非熵分类认知度量不足；开放问题包括最后一层多样性极限、高效认知度量、偏移下多样性与校准、功能坍缩、混合架构、输入依赖不确定性结构、解释不确定性和 LLM UQ。
讨论与结论翻译：在方法方面，证据是一致的。全网络、多模态探索、deep ensemble 及其多模态扩展继续为不确定性质量设定标准；高效单次和最后一层方法在配备正确归纳偏置时可恢复其中很多质量，但不捕获模式间认知成分。在度量方面，图景尚未确定。加性熵/互信息分解仍是默认选择，尽管在有限集成和后验不匹配下存在已知失败；有界或高效替代方案，如 EPJS 和方差门控分数，在结构上有吸引力，但仍等待系统实证验证。因此，实践者的选择仍是审慎的成本—质量权衡，而非单一主导框架。同一框架也指示了领域走向。最具后果的前沿是生成式 UQ，它要求将本综述所考察的多样性、分解和校准工具从固定标签集提升到语义等价空间，其中连偶然/认知划分也必须重新定义。在研究人员看来，组织本综述的方法—度量分离能否在这一转变中继续成立，是其留下的最重要问题。
