综述：贝叶斯推断在统计学习中的良好实践

《Current Opinion in Neurobiology》：Good practices for Bayesian inference in statistical learning

　　

贝叶斯推断为建模学习提供了一个原则性框架。贝叶斯模型在不同抽象层次上捕捉统计学习。研究人员提出了用于严格贝叶斯模型验证的标准化流程。

引言

统计学习是一种在无监督或显式奖励情况下从环境中自动提取规律的基本学习机制，涵盖多个认知领域、模态和物种。学习本质上涉及“潜变量”，即世界中未被完全知晓或最初未知的量。贝叶斯统计提供了形式化数学语言，描述经验提供的附加信息如何用于最优地改变对这些未知量的信念（推断），贝叶斯后验分布形式化了推断中不可避免且动态变化的不确定性。研究人员简要回顾了作为贝叶斯推断的学习 vignette 模型在不同抽象层次上的表现，然后重点讨论了此类模型的验证。

建模统计学习与贝叶斯推断

将数学框架的贝叶斯推断应用于建模认知和神经计算的最著名领域集中在知觉决策和感觉运动控制。同样的原则被用于制定学习理论。这些理论使用贝叶斯推断建模内部模型的学习，抽象层次 successively 更高：学习参数、学习结构、学习结构“形式”以及学习生成内部模型和观察的概率程序。较低抽象层次的建模基于较高层次的特定假设。以下回顾该抽象层次中一些代表性 vignette。

学习模型参数

一个显著的例子是将Rescorla-Wagner模型（动物学习的经典模型）广义化，将联想权重视为潜变量，通过在线递归贝叶斯更新规则（修正的卡尔曼滤波）推断后验概率分布。后验方差导出动态学习率，为动物学习中的选择性注意提供规范性解释。类似的基于卡尔曼滤波的理论也发展于人类运动学习领域，解释了到达任务中的感觉运动适应。

学习模型结构

视觉统计学习研究从经验中学习对象或组块等结构。贝叶斯组块学习器（BCL）在抽象层次的多水平上执行推断：知觉变量、参数和结构。人类表现出模型结构贝叶斯学习中固有的“自动奥卡姆剃刀”，学习统计最优的组块目录。相同原则也解释了原始基于词分割的统计学习范式中的词汇学习。情境推断和学习被建模为跨领域的模型结构推断，提供对课程相关现象的统合解释。

学习概率形式与程序

在更高抽象层次，学习涉及推断支配观察的底层规则。形式定义“生长”特定结构的规则集，程序以更灵活的命题方式定义结构。贝叶斯程序学习器（BPL）解释了手写字符识别与生成中的概念学习，通过反转生成过程从观察推断生成规则，其性能匹配人类行为，突显了学习到学习和组合性等贝叶斯推断关键特征的重要性。

概率建模流程

贝叶斯推断为建模不同抽象层次的学习过程提供强大概念框架，但实践中需要数值模拟和定量拟合行为。由于复杂性，模拟和拟合存在技术困难，因此必须采用标准化流程的稳健方法。本节概述该方法的关键组成部分。

模型模拟

为对假设模型作出可信主张，必须首先验证每个模型行为符合预期，即执行贝叶斯工作流的先验预测检查。模拟不同模型和条件组合，评估预测是否充分区分，并用于微调实验范式。使用现实和极端参数值测试鲁棒性和数值稳定性。通过实验力的初始检查是进行模型验证的先决条件。

推断验证

模型构建后，第一个验证步骤（特定于基于贝叶斯推断的模型）是推断验证，测试贝叶斯模型推断的后验是否是正确的生成模型反演。由于基于贝叶斯推断的模型旨在代表推断或学习问题的最优解，所有基于此前提的主张都依赖于最优性是否成立。推荐“基于模拟的校准检验”，包括计算概率积分变换（PIT）。该检验通过模拟试验，计算潜变量的PIT，并检查其分布是否在0和1之间均匀。对于多维潜变量，可分别对每个分量进行条件分布变换。

拟合验证：参数恢复

通常将模型拟合到行为是因为最佳拟合参数值具有科学意义。但只有相同程序能从合成数据恢复模拟被试的参数时，结果才可信任。推荐系统方法：设置参数的真值，生成合成数据，拟合模型，重复多次。需尽可能模仿真实数据分析。成功诊断可通过绘制最佳拟合值与真值的关系图，点靠近对角线表示可靠恢复。参数拟合有四种主要失败模式：目标函数无意义、未找到最优参数、局部最优、参数部分或完全不可识别。针对每种模式有相应的诊断和修复方法。

拟合验证：模型恢复

从数据识别认知过程常需比较多个结构不同模型类的拟合能力。常用度量包括交叉验证似然、边际似然、贝叶斯信息准则（BIC）、赤池信息准则（AIC）、Watanabe-Akaike信息准则（WAIC）、偏差信息准则（DIC）等，均需控制过拟合。提倡基于模型恢复的方法：为每个模型类生成合成数据，用每个模型类拟合，应用提出的模型比较度量。评估真正生成模型是否在比较中胜出，提供模型可识别性的证据。

拟合验证：汇总统计、定性模型比较和健全性检查

比较汇总统计（如心理测量曲线、时间测量曲线）是更一般但启发式的诊断方法，类比贝叶斯工作流的后验预测检查。比较模型预测与观察数据的残差是否与假设响应噪声模型一致，提供有用诊断。

结论

贝叶斯模型为将各种统计学习形式化为不同抽象层次的推断提供了强大框架。尽管概念简单，其使用需要严格方法。执行良好实践虽增加开销，但可减轻错误风险。计算成本可通过高效数值包（如贝叶斯自适应直接搜索）缓解，大型语言模型也为自动化和扩展模型构建-实现-验证-拟合循环提供前所未有的机会。