pyhgf：面向预测编码的神经网络库

《PLOS Computational Biology》：pyhgf: A neural network library for predictive coding

　　

贝叶斯认知模型在计算神经科学和精神病学领域已获得相当广泛的关注。目前，其应用范围预计将在人工智能领域迅速扩展，为具身、自适应且节能的自主智能体提供通用推断框架。该领域的核心理论之一是预测编码（Predictive Coding），该理论假定学习与行为由关于感觉输入成因的分层概率推断所驱动。生物现实主义约束这些网络依赖简单局部计算形式的精度加权预测（precision-weighted predictions）与预测误差（prediction errors）。这一特性可使该框架具备高度效率，但其在软件开发层面的实现却面临独特挑战。将此类模型嵌入标准神经网络库往往会受到限制，因为这些库的编译和微分后端可能强制优化算法与被优化系统之间产生概念性分离。这一做法与其他生物学原理（如自我监控、自组织、细胞生长和功能可塑性）存在关键性偏离。在本文中，研究人员介绍了pyhgf：一个基于JAX和Rust的Python软件包，用于创建、操作和采样预测编码的动态网络。相较于其他框架，研究人员通过将网络组件封装为消息传递步骤中透明、模块化和可塑的变量实现了改进。由此生成的图结构可以将任意算法实现为信念传播（belief propagation）。此外，核心变量的透明性还可转化为利用自组织原理的推断过程，将结构学习、元学习或因果发现表达为网络结构对意外输入的适应性调整之结果。该库的主要函数可微分，并无缝集成到采样或优化工作流中。此外，研究人员还提供了广义贝叶斯滤波（generalized Bayesian filtering）和分层高斯滤波器（Hierarchical Gaussian Filter, HGF）作为在库中实现的动态网络的关键示例。源代码、教程和文档托管于主仓库https://github.com/ComputationalPsychiatry/pyhgf。

## 研究背景与问题

贝叶斯认知模型将感知与行为描述为对感觉输入成因的概率推断。将此类模型扩展至从人类行为推断计算参数，或将其嵌入人工智能体，是当前计算神经科学与人工智能交叉领域面临的挑战。然而，当涉及生物有机体时，模型复杂性迅速增加，推断变得尤为困难。尽管某些推断过程可通过闭式解直接描述和实现，但一旦模型包含多信息流、连续输入或生物系统中常见的层级依赖关系，不可计算性便迅速涌现。

预测编码理论提出，支持学习与感知的生成模型可通过层级神经元网络实现，这些网络通过局部消息传递交换预测与预测误差。这一机制可能代表一种更快、更节能且更具生物学合理性的贝叶斯推断近似方法，或神经网络中的基于梯度的学习近似方法。然而，预测编码神经网络在更复杂概率模型中的广泛应用受限于缺乏与现代概率编程和神经网络库兼容的易获取开源工具箱。更为关键的是，生物系统实现学习和灵活行为不仅通过调整内部表征，还借助自我监控、自组织、细胞生长和功能可塑性。现有软件包在编译到低层语言、自动微分等方面存在限制，往往将优化过程与优化系统分离，阻碍了网络对推断本身的推理能力，难以满足生物现实性的更高要求。此外，从观察到的决策和行为中推断认知模型参数（即"观察观察者"）需要暴露内部变量至统计推断工具，这要求似然函数支持自动微分，而多种编程语言无法实现这一点。最后，非专家用户难以从现有方法集合中组合定制解决方案和网络以适应特定领域或任务。

## 研究开展与结论

针对上述问题，研究人员开发了pyhgf——一个用于创建、操作和采样预测编码动态网络的神经网络库。该库以JAX和Rust为后端，实现了对动态神经网络组件的透明、模块化和可塑表示。

pyhgf的核心设计围绕四个透明组件展开：节点属性（attributes）、边连接（edges）、更新函数（update functions）和更新序列（update sequences）。属性为给定节点的参数字典，用于注册局部信息如概率分布的充分统计量及与其他节点的耦合权重；边为节点间的有向连接，可表示多种连接类型（如价值耦合和波动性耦合）；更新函数为作用于网络的确定性局部变换；更新序列则控制信息在网络中的传播顺序。这一设计使网络组件在消息传递过程中可被推断过程所作用，从而实现标准推断、结构学习、因果推断和元学习等功能。该库原生支持广义分层高斯滤波器（gHGF），一种完全节点化的神经网络结构，其中信念节点可灵活添加或移除而无需额外推导。

研究人员利用该库开展了标准工作流程验证：构建了三层二元HGF模型，实现了正向拟合、多响应模型、参数恢复和模型比较。在参数推断方面，pyhgf可与PyMC等库集成，支持马尔可夫链蒙特卡罗（MCMC）采样和变分方法，包括用于高维问题的哈密顿蒙特卡罗方法如No-U-Turn采样器（NUTS）。研究还展示了多层建模能力，通过为个体参数设置超先验实现群体水平推断，这对计算精神病学研究尤为重要。

该研究的重要意义在于：pyhgf降低了构建预测编码模型的技术门槛，为计算精神病学研究提供了实用框架，同时打开了人工智能领域生物启发式混合认知模型设计的新方向。论文发表于《PLOS Computational Biology》。

## 关键技术方法

pyhgf基于JAX（支持即时编译JIT和自动微分的张量库）和Rust（面向性能与并发的通用编程语言）双后端实现。用户可根据应用类型选择后端。方法层面采用纯函数式编程框架，所有网络更新为就地（in-place）程序性纯函数，操作网络的属性、边、更新函数和更新序列四元组。该库实现广义贝叶斯滤波和广义分层高斯滤波器作为动态网络实例，前者为任意指数族分布的滤波提供框架，后者为层级动态系统的预测编码方案。推断层面支持与现代概率编程工具PyMC及可视化诊断工具ArviZ的集成，可实现多级贝叶斯模型和自动微分。样本队列来源方面，研究使用了来自联想学习实验的二元观察数据（标记为u）和二元决策响应数据（标记为y），涉及50名模拟被试。

## 研究结果

**标准工作流程与生成模型构建**：pyhgf通过Network类定义网络结构，存储节点、参数、边和信念更新序列。以三层二元HGF为例，网络包含二元状态节点和连续状态节点，通过价值和波动性耦合连接。观察输入插入首节点，其推断均值对应观测类别1的概率，由第二层节点（logit转换概率）预测，第三层节点通过波动性耦合控制第二层波动。模型拟合通过迭代信念传播实现：预测从叶节点传播至根节点，新观察被整合后，预测误差向上传播以更新后验信念。

**参数推断与优化**：研究人员使用响应函数将信念映射至行动以评估模型拟合，计算观察响应的贝叶斯惊奇（surprise）即数据在模型下的负对数概率。通过HGFDistribution类创建自定义分布，可在PyMC模型中进行MCMC采样，推断如第二层张力波动性（tonic volatility, ω₂）和响应函数逆温度参数（t）等参数。后验均值用于重新拟合模型，恢复与观察行为最一致的信念轨迹。

**多层建模、参数恢复与模型比较**：利用50名模拟被试的数据，研究人员展示了单水平和多水平贝叶斯建模。参数恢复显示模拟值与推断值高度一致。模型比较方面，通过留一交叉验证（LOO）和期望对数逐点预测密度（ELPD）比较了固定逆温度与自由推断逆温度两种响应函数模型，后者获得更高ELPD。群体水平推断通过多层模型实现，个体参数从群体分布中抽取，可估计群体参数并增强统计效力。

## 讨论与结论

研究人员在讨论部分指出，预测编码模型可视为动态贝叶斯网络实现，其中信念更新通过预测误差驱动的消息传递进行。即使网络结构固定，这一表述仍可为复杂生成模型中的变分推断提供灵活近似。pyhgf支持的静态网络可沿多维度扩展：水平扩展（增加输入节点）、垂直扩展（增加父节点）或使用多变量依赖。这为多元数据流建模提供了可能，例如分别建模生理信号和行为结果同时共享高层波动性估计。

动态网络方面，pyhgf允许在信念传播期间修改结构变量。当预测误差过大时，网络可通过调整结构而非强制现有信念适应意外观察，这包括：(1) 节点增删实现非参数模型增长；(2) 边调整实现因果发现；(3) 更新序列和函数修改实现元学习。此外，库还支持响应函数的模块化扩展，这对强化学习应用尤为重要。

**结论部分翻译**：在本文中，研究人员介绍了pyhgf——一个面向预测编码的神经网络库，重点关注广义贝叶斯滤波和广义分层高斯滤波器（HGF）。研究人员描述了支持更新步骤调度的神经网络模块化定义如何能够作为通用框架，服务于依赖简单局部计算通过层级层传播预测误差和更新的模型，如预测编码神经网络。应用程序接口的一部分致力于动态网络的灵活开发，另一部分面向高级使用和参数推断，正如计算神经科学研究通常所要求的那样。研究人员希望该工具箱将有助于加强预测神经网络在计算精神病学中的应用，并在人工智能领域开创混合复杂认知模型的新设计，这些模型建立于从预测编码推导出的原理化计算之上。pyhgf可从Python包索引安装，源代码托管于GitHub公开仓库。最新版本文档可访问相应链接，其中包含信号处理、强化学习和计算精神病学应用的广泛教程、示例和用例。