综述：利用人工神经网络建模决策的自然神经网络

本综述系统探讨了如何利用人工神经网络（ANN），特别是循环神经网络（RNN）来建模大脑皮层在决策过程中的神经回路。文章重点介绍了RNN在模拟前额叶皮层（PFC）和后顶叶皮层（PPC）功能中的应用，涵盖了短期记忆、知觉决策和基于价值的决策等任务，并前瞻性地提出了整合真实神经元与人工单元的“虚实混合神经网络”（HNN）新范式，为神经科学与人工智能（AI）的交叉融合提供了新视角。

　　

1. 引言

系统神经科学的一个主要焦点是理解不同脑区在学习与决策中的架构。随着人工智能（AI）的发展，研究人员开始利用机器学习方法，特别是人工神经网络（ANN），来模拟大脑皮层、小脑和基底节等区域的神经回路。本文重点回顾了循环神经网络（RNN）在模拟大脑皮层决策功能中的应用，涵盖了从基本架构到前沿混合网络的最新进展。

2. 循环神经网络（RNN）基础

RNN是建模神经动力学的核心工具之一，其基本数学表达通常采用基于发放率的模型。核心公式描述了隐藏层状态h_t+1的更新过程：h_t+1 = Wf(h_t) + W_inx_t + W_fby_t，其中f为激活函数（如Sigmoid或ReLU）。在生物建模中更常使用连续时间形式：τdh(t)/dt = -h(t) + Wf(h(t)) + W_inx(t) + W_fby(t)。

随机RNN理论揭示了当权重矩阵W的谱半径超过临界值时，网络会进入混沌状态，这种状态虽然能表示复杂函数，但也可能导致梯度消失或爆炸问题。因此，将网络调节在"混沌边缘"往往能获得最佳计算性能。

RNN的训练面临特殊挑战，需要通过时间反向传播（BPTT）计算梯度，但长时程依赖会导致梯度问题。为解决这一问题，研究者开发了多种生物可塑性训练方案，如预测编码、平衡传播和eligibility propagation（e-prop）等。此外，Hopfield网络通过引入能量函数确保系统收敛到吸引子状态，而回声状态网络（ESN）则通过固定随机循环权重、仅训练读出权重来避免梯度问题。

3. 自然与人工神经网络的比较

研究人员通常通过比较生物大脑与ANN的活动和回路来阐明决策的神经机制。在系统神经科学中，研究者记录动物执行任务时的神经活动，分析单个神经元功能和群体水平的低维动力学结构。类似地，对ANN的分析也采用编码和解码方法，首先训练ANN复制动物或人类在决策任务中的选择行为，然后比较其单元活动或群体动力学与生物数据的相似性。

4. 模拟皮层短期记忆的RNN

RNN已被成功用于模拟猴和人类大脑皮层在短期记忆任务中的活动。在延迟匹配样本（DMS）任务中，猴子需要记住第一个刺激并在几秒延迟后判断第二个刺激是否相同；在延迟反应（工作记忆）任务中，猴子需要在延迟后对先前提示的位置做出眼动反应。这些研究发现，大脑皮层神经元在延迟期间表现出持续活动，RNN通过吸引子动力学成功模拟了这种持续活动模式。

最近对小鼠的研究发现，后顶叶皮层（PPC）神经元在工作记忆决策任务的延迟阶段表现出序列性群体活动。Rajan等人提出的部分网络训练（PINning）方法证明，随机网络在接收外部感觉输入时，能将混沌状态活动转变为特定序列活动。这表明RNN能够模拟皮层回路中短期记忆的持续和序列放电模式。

5. 用于知觉决策的RNN

RNN已被用于模拟知觉决策任务中的皮层回路，这些任务要求动物或人类基于不确定的感觉刺激做出选择。经典例子是随机点运动（RDM）任务，猴子需要检测相干运动方向。研究发现，中颞叶视觉皮层（MT）神经元编码运动方向，而侧顶内区（LIP）神经元整合视觉刺激方向信息形成决策。

Wang等人使用RNN模拟LIP神经活动和漂移扩散模型，该网络包含两个锥体神经元群体，通过 recurrent兴奋性连接和反馈抑制竞争。RNN成功捕获了LIP中观察到的缓慢累积活动，表明由NMDA受体介导的 recurrent连接可能参与整合机制。

Mante等人引入了情境线索，开发了情境依赖性知觉决策任务。研究发现前额叶皮层（PFC）神经元活动在群体水平上与RNN单元活动相似，表明RNN能够捕捉情境依赖决策的神经机制。

6. 用于基于价值决策的RNN

基于价值的决策指受试者根据候选行动的预期奖励（行动价值）做出选择的过程。这些策略通常分为模型无关和模型相关，分别与习惯性和目标导向行为相关。

大量研究表明，基底节回路（包括纹状体和多巴胺神经元）在模型无关强化学习（RL）中表示行动价值和奖励预测误差（RPE）。背外侧纹状体对模型无关习惯形成至关重要，而背内侧纹状体和前边缘皮层对模型相关策略至关重要。

Wang等人提出了元强化学习（meta-RL）框架来模拟PFC的功能和回路。meta-RL假设循环网络中的突触权重受多巴胺能RPE调节，该网络本身通过内部动力学执行基于价值的决策，无需调整突触权重。研究发现meta-RL不仅能复制模型无关策略行为，也能捕获推理或模型相关策略行为。

小鼠眶额叶皮层（OFC）的生理证据支持了meta-RL模型，OFC突触可塑性的光遗传抑制导致跨会话任务学习缺陷，表明meta-RL、OFC和模型相关决策之间存在联系。

7. 开发类脑AI的虚实混合神经网络

传统方法先独立设计ANN执行特定任务，然后比较其与大脑的活动模式。与之不同，我们提出了虚实混合神经网络（HNN），整合大脑和AI的真实与人工单元。

在Ueoka等人的研究中，我们将小鼠神经元活动作为RNN输入，用真实神经信号约束网络动力学。研究发现HNN优于不使用小鼠神经元活动的传统RNN，且人工单元的时间活动模式与小鼠神经元相似。当从小鼠输入中移除声音响应神经元时，人工单元补偿了声音相关活动，表明HNN比传统RNN更能近似小鼠大脑的神经动力学。

另一项研究实现了大脑与AI之间的整合反馈循环，以识别激活小鼠初级视觉皮层神经元的最佳视觉刺激。在小鼠视觉皮层大规模数据集上训练的ANN提供了视觉皮层神经元对感觉刺激反应的基础模型。

8. 结论与其他ANN脑模型简要总结

本综述总结了基于AI的方法如何用于阐明决策的神经基础，特别是RNN如何复制短期记忆、知觉决策和基于价值决策任务中的皮层回路。从计算角度看，有研究假设皮层可能实现无监督学习、稀疏编码或基于贝叶斯计算的预测编码。

未来的重要研究方向是探索预测编码与RNN之间的相互作用。预测编码框架通常假设结构化的皮层柱和层具有特定功能，而本文讨论的RNN模型通常采用随机连接性。一些现有模型已经包含了皮层回路的微观结构，包括特定的抑制性神经元亚型。

对神经科学家来说，继续评估RNN是否是皮层网络最合适的模型至关重要。近期AI发展提示Transformer架构与海马回路之间可能存在联系，或胶质-神经元网络与新型计算模型之间存在关联。实验学家与理论学家之间的合作现在对于进一步理解决策的神经机制至关重要。