受脑启发的随机噪声预热训练用于不确定性校准

《Nature Machine Intelligence》:Brain-inspired warm-up training with random noise for uncertainty calibration

【字体: 大 中 小 】 时间:2026年04月10日 来源:Nature Machine Intelligence 23.9

编辑推荐:

  不确定性校准(uncertainty calibration),即预测置信度与准确度之间的对齐,对于机器学习系统在实际应用中的可靠部署至关重要。然而,当前模型往往未能实现这一目标,产生过度自信、不准确甚至虚构的响应。本研究表明,深度学习中广泛采用的初始化方法—

  
不确定性校准(uncertainty calibration),即预测置信度与准确度之间的对齐,对于机器学习系统在实际应用中的可靠部署至关重要。然而,当前模型往往未能实现这一目标,产生过度自信、不准确甚至虚构的响应。本研究表明,深度学习中广泛采用的初始化方法——长期以来被视为标准实践——实际上是过度自信的主要来源。为解决这一问题,研究人员引入了一种受神经发育启发的预热策略,其内在地解决与不确定性相关的问题,而无需预处理或后处理。在该方法中,网络在接触真实数据之前,首先在随机噪声和随机标签上进行简短训练。该预热阶段实现了最佳校准,确保置信度在随后的训练过程中与准确度保持良好对齐。此外,所得网络在识别"未知"输入方面表现出高能力,为分布内(in-distribution, ID)和分布外(out-of-distribution, OOD)上下文中的不确定性校准提供了鲁棒解决方案。
**研究背景与问题**

近年来,深度神经网络(deep neural networks, DNNs)在学习准确度方面取得了显著提升,例如在自然图像分类任务中已达到人类水平。然而,在实际应用如自动驾驶、医疗诊断和金融工程等高风险决策场景中,仅推断正确答案是不够的;模型还需要提供能够准确反映正确概率的校准置信度。现代深度神经网络在置信度估计方面往往校准不良,模型容量的增加虽提升了性能,却常常对置信度校准产生负面影响。具体而言,许多近期模型即使面对分布外(OOD)样本时也频繁表现出过度自信,尽管对这些样本缺乏了解。这种校准失误导致实际应用中的决策失误,例如大型语言模型(large language models, LLMs)中的幻觉现象——即模型自信地产生虚假和未经证实的输出。

**研究动机与核心发现**

研究人员探究了深度神经网络中置信度校准失误的根本成因。与人类智能自然表现出的元认知(meta-cognition)能力——即估计不确定性并意识到"已知"与"未知"的能力——不同,人工神经网络缺乏这种内在机制。研究人员基于此前关于生物产前阶段启发初始训练阶段的工作,假设这些初始预校准能够促进校准不确定性的学习。

本研究的核心发现是:深度学习中常用的随机初始化方法——长期被视为标准技术——实际上是网络不确定性校准失误的根本原因。解决方案可通过偏离传统实践的初始化策略实现:即在随机噪声和随机标签上进行预热训练,无需额外的预处理或后处理方法。

**关键技术方法**

研究人员采用的技术方法主要包括:(1)随机噪声预热训练算法:网络首先在服从高斯分布的随机输入和从均匀分布采样的随机标签上进行训练,随后再暴露于真实数据;(2)可靠性图(reliability diagram)与期望校准误差(expected calibration error, ECE)评估:用于量化置信度与实际准确度之间的匹配程度;(3)二维玩具模型可视化:构建具有二维输入空间的简化网络,以直观展示输入特征空间中的置信度分布;(4)激活模式与Logit分布分析:探究随机初始化网络中SoftMax函数饱和导致的过度自信机制,以及随机噪声训练如何通过重塑Logit分布来缓解此问题;(5)损失景观(loss landscape)可视化:分析随机噪声预热如何稳定梯度、平滑初始化时的损失景观;(6)OOD检测框架:基于原始置信度值设定阈值区分ID与OOD样本,采用受试者工作特征(receiver operating characteristic, ROC)曲线和曲线下面积(area under the ROC curve, AUROC)评估检测性能。样本队列来源包括:CIFAR-10作为ID数据集,SVHN作为OOD数据集,以及ImageNet用于大规模预训练。

**研究结果**

**深度神经网络中置信度校准的失败**:研究人员首先使用针对三通道自然图像(32×32×3)十类分类任务设计的前馈神经网络进行实验。通过构建可靠性图和计算ECE,发现模型准确度普遍低于其置信度水平,表明存在过度自信倾向。校准失误程度随训练数据量减少和网络复杂度增加而加剧,揭示了状态前沿模型因容量增加而面临的置信度与准确度不匹配问题。

**随机噪声预热训练实现置信度校准**:受生物大脑在出生前通过自发神经活动进行学习过程的启发,研究人员提出了随机噪声预热训练算法。在预热阶段,网络接收高斯随机输入和均匀采样的随机标签;进入真实数据训练后,测试损失显著低于无预热训练的网络。可靠性图显示,随机噪声训练使网络输出更接近理想校准,ECE显著降低。该效果在图像分类、图像分割和语言生成等多种任务中均得到验证,且在生物合理的反馈对齐(feedback alignment)算法中同样有效。研究进一步在ResNet、DenseNet和视觉变换器(vision transformers)等架构中确认了随机噪声预热对校准的改善作用,其效果可与甚至超越传统的后校准技术,且无需保留数据集。此外,随机噪声预热可与现有前沿算法结合以实现更优校准,且对噪声分布类型不敏感。

**随机噪声初始化用于不确定性校准**:通过二维玩具模型,研究人员观察到传统随机初始化的未训练网络在输入空间上呈现高度偏置的置信度分布,而随机噪声训练使置信度分布更加均匀,校准至偶然水平。深入分析表明,随机初始化网络中广泛分布的Logit值因高方差导致SoftMax函数饱和,使输出概率集中于0和1附近,产生过度自信;而随机噪声训练通过将Logit值集中于SoftMax函数的线性区域,抑制大值Logit的长尾,使输出概率峰值接近偶然水平。重要的是,随机噪声训练并未显著改变权重分布,而是实质性地改变了网络层次结构中的激活模式。在更高维输入空间的模型中,结果与玩具模型一致。研究还发现,预热过程中真实数据的置信度被适当校准至偶然水平,而准确度保持于偶然水平,从而校准误差显著降低。此外,随机噪声预热稳定了梯度、平滑了损失景观,使网络在更平坦的极小值处收敛,且这些获益并非源于有效学习率或权重分布的改变。

**置信度水平与实际准确度的对齐**:通过分析准确度和损失构成的二维平面上的训练轨迹,研究人员发现具有相同准确度的前提下,随机噪声预热训练的网络表现出更低的损失。在相同准确度或相同训练轮数条件下,预热网络的置信度校准均优于未预热网络。在训练过程中,预热网络的置信度与准确度保持良好对齐,始终沿对角线分布;而无预热网络则存在显著的置信度与准确度差距,该差距在随机噪声预热阶段即快速消失。

**利用校准网络置信度检测OOD样本**:在CIFAR-10上训练后评估对未见SVHN数据的响应,无预热网络对OOD样本表现出高置信度,而预热网络的置信度显著降低,更接近偶然水平——这对未知数据而言是理想的。基于原始置信度值设定阈值进行OOD检测,随机噪声预热显著提升了检测性能(以AUROC衡量)。该效果在ResNet、DenseNet和视觉变换器家族中均得到验证,且不受训练数据量影响。除基于置信度的OOD检测外,预热网络在温度缩放、ODIN和能量分数等前沿OOD检测框架中亦显著超越传统初始化网络,并能在共形预测(conformal prediction)框架内降低预测不确定性、实现更优OOD检测。

**讨论与结论**

估算不确定性和识别未知的能力对实际智能系统至关重要。人类智能自然表现出元认知能力,即评估概率置信度并区分已知与未知,这在复杂决策行为中扮演关键角色。深度神经网络尽管性能不断提升,却持续面临不确定性校准困境,这对将人工智能融入日常生活构成严峻挑战。LLM中的幻觉现象即是校准失误导致系统不可靠的突出例证;自动驾驶和医疗诊断等领域中的过度自信错误同样威胁安全。这些例子凸显了校准失误如何导致灾难性决策错误。

研究人员的结果表明,现代深度神经网络的不确定误校准具有必然性,且随模型复杂度提升而加剧。数据集规模和模型复杂度系统性影响校准质量:数据不足时,大型复杂模型遭遇严重校准误差。然而,获取高质量训练数据代价高昂,某些领域数据天然受限,因此单纯扩大数据集规模不可行。本研究提出的随机噪声预热方法通过将校准问题与数据集规模和模型复杂度解耦,为日益增长的复杂深度神经网络提供了简便而有效的策略。

长期以来,机器学习领域关注如何适当初始化神经网络以实现高效学习。传统随机初始化虽有助于收敛准确度,却可能导致置信度校准问题——过度自信和特定输出的偏置。研究表明,广泛采用的随机初始化实践实际上是网络不确定误校准的关键因素;而以随机噪声训练替代之,则提出了一种有效的初始化替代方案。与依赖辅助计算或后处理的传统不确定性校准方法不同,仅需改变学习初始化方式即可实质性改变学习动态,实现置信度与准确度的对齐。

该工作受生物大脑产前发育过程的启发。尽管自发神经活动对发育的重要性已被认识,但其功能角色尚不明晰。研究结果不仅为机器学习模型中的校准问题提供了实用解决方案,也为生物发育过程提供了洞见。除反向传播外,研究还在反馈对齐等生物合理学习规则中验证了随机噪声训练的益处。这些发现表明,生物大脑的产前感官学习过程可能涉及在通过感官经验获取知识之前先学习"未知",这可能是迈向元认知的关键发育步骤。

当前研究的局限性在于尚未通过实际部署或大规模基准测试进行验证,实验主要在相对简单的任务和小规模网络上进行。尽管如此,鉴于各架构和任务域的共同特征在于其输出最终均采取概率分布形式,该预热训练方法具有广泛适用性。未来研究应将此方法应用于各类商业AI系统以进一步验证和完善。

综上所述,随机噪声预热训练有效预校准了网络不确定性,使后续学习能够实现准确度与置信度的对齐。这些结果凸显了神经网络初始状态对于有效数据学习的重要性,以及遇到数据之前早期发育过程的意义。本研究为不确定性校准提供了洞见,为应对校准问题带来的挑战提供了潜在解决方案。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号