数据驱动的类人奖赏学习建模转变：从假设驱动到自动发现

《Current Opinion in Behavioral Sciences》：The data-driven shift in modeling human reward learning

　　

理解奖赏学习的计算基础对于解释人类在复杂多变环境中达成目标的能力至关重要。尽管认知科学长期依赖强化学习（Reinforcement Learning, RL）框架研究人类学习，但近来向数据驱动方法的转变正在挑战这一范式。近期研究结果对长期存在的解释机制（包括人类学习的误差驱动、增量特性）提出了质疑，新方法正在革新研究途径：数据驱动方法能够自动化模型设计、构建更强大的算法，并更全面地搜索候选机制。然而，尽管这些方法已产生高度预测性且通常可解释的模型，并常常揭示新颖的认知机制，它们本身也存在缺陷。因此，未来研究需要结合假设驱动的模型设计与数据驱动发现的各自优势。

数据驱动的类人奖赏学习建模转变：从假设驱动到自动发现

一、研究背景与问题

奖赏引导的学习是人类最强大的认知资源之一，其计算基础长期由强化学习（Reinforcement Learning, RL）理论提供概念框架。经典的认知RL模型基于误差驱动的增量更新，通常采用delta规则，例如Q-learning的简化形式：Q值根据奖励预测误差和学习率逐步更新。然而，仅靠这一核心方程通常只能解释人类选择行为中很小一部分可解释方差。为弥补这一不足，经典模型常需手工添加各种认知扩展机制，如遗忘、决策噪声、选择重复、定向探索、基于特征的注意、额外记忆系统、模型化RL、内在奖励、不确定性表征、层级结构、分布性表征和学习偏差等。这种手工设计扩展的方式虽然取得了一定成功，但也面临明显局限：设计过程缓慢、费力且易错；扩展机制必然简单，难以捕捉复杂人类行为的细微之处；多成分模型容易错误设定；研究者自身的创造力和偏差限制了候选机制的范围；模型拟合通常仅与少数手工竞争模型进行相对比较，缺乏绝对评价；且难以整合领域内提出的众多不同认知机制。

近年来，数据驱动的机器学习工具——包括神经网络、符号模型发现和基础模型——开始深刻改变这一领域。研究人员认为，数据驱动方法通过更好地拟合经验数据、部分自动化模型设计中困难环节、提出更强大的认知机制（且通常不牺牲简洁性），推动了人类学习研究。更重要的是，数据驱动方法将研究范式从假设驱动、迭代式手工建模，转向对整个假设空间的穷举式搜索以及从行为数据中自动蒸馏可解释模型。然而，数据驱动方法自身也存在可解释性下降、对训练数据敏感、内隐归纳偏差等问题。因此，未来研究需要综合经典假设驱动建模与数据驱动发现各自的优势。

二、研究内容与主要结论

该观点文章系统梳理了从经典RL建模到数据驱动建模的转变过程，分析了不同建模策略的优缺点，并提出人类奖赏学习的本质可能更接近元学习（meta-learning）机制。

研究人员首先回顾了经典范式。经典认知RL模型以delta规则为核心，通过手工添加扩展机制来提高拟合度。虽然经典模型具有可解释性强、假设明确、与脑机制联系紧密等优点，但其局限日益凸显。为应对这些局限，研究开始引入人工神经网络（Artificial Neural Network, ANN）作为认知模型。作为通用函数逼近器，ANN能捕获输入到输出的任意映射；特别是循环神经网络（Recurrent Neural Network, RNN）能够通过隐藏状态动态累积复杂历史信息，非常适合研究学习过程。当RNN被拟合到人类奖赏学习行为时，其预测性能通常大幅超过经典模型，即使不经精细调参也是如此。然而，标准ANN通常是“黑箱”，缺乏经典模型的关键特性——可解释性。

为在利用数据驱动优势的同时保持可解释性，研究人员探索了多种中间路径。一种策略是在经典RL核心上使用ANN设计扩展机制，例如DynamicRL用RNN动态调整Q-learning的参数（如学习率α），成功捕获被试在波动环境中的学习动态，并揭示了一种类似策略梯度的机制。另一项研究用深度编码器-解码器ANN扩展策略梯度学习器，建模被试对任务刺激的潜在表征构建。此外，也有研究通过ANN构建“理性”认知模型，如Jensen等人设计的基于RNN的元RL智能体能够在内部世界模型模拟行动和物理环境实际行动之间选择，不仅重现了人类思考时间，还表现出类似啮齿动物海马回放在导航中的内部激活。Russin等人利用大型语言模型（LLM）的启发，设计了一种同时具备权重内学习（in-weights learning, IWL）和上下文内学习（in-context learning, ICL）的RNN，成功捕获人类既慢速增量学习又快速规则推断的行为。已有多种扩展机制得到研究，包括动作预测误差、策略压缩、分布式特征学习、贝叶斯式信念表征等。但这些复杂模型也带来新问题：模型空间急剧膨胀，识别性下降，过拟合风险增加。

为进一步解决这些问题，研究人员开发了自动化模型搜索的“数据驱动模型发现”方法。例如，研究人员用ANN定义一个覆盖所有可能的增量、马尔可夫、delta规则学习变体的Q-learning模型类，发现该模型类在预测人类行为方面明显不如简单无约束RNN；随后构建一个增加记忆容量、将选择偏好与学习表征解耦的模型类，其预测水平与RNN相当且保持可解释。另一种方法使用符号发现技术直接从人类行为中推导RL模型，如稀疏非线性动力学识别（Sparse Identification of Nonlinear Dynamics, SINDy）算法在给定Q-learning基本构件库后，发现了一个新颖的二次Q-learning模型，其预测人类选择的能力优于标准模型。这些研究有时对经典RL的核心机制——基于预测误差的增量价值学习——提出质疑：全面模型类被其他模型在预测上超越，被发现的模型可能缺乏类似奖励预测误差（RPE）的项，推断过程与标准Q-learning定性不一致。类似结果也在经典建模中出现，提示增量式误差更新在人类奖赏学习中的作用可能比通常假设的更小。

最彻底的转变是构建“无理论”模型，即不对具体认知机制作任何明确假设，仅受行为数据约束。例如“Centaur”是一个在大量心理学任务的人类行为上微调的通用LLM，其表现优于多种经典认知模型。为提升可解释性，新一代工作致力于发现更简单或更结构化的模型：TinyRNN仅有1-4个隐藏单元，却能在拟合人类行为时胜过经典认知模型并匹配更大规模RNN，且其简单结构适于动力系统分析以揭示可解释机制；DisRNN通过高斯噪声瓶颈解耦低维RNN动力学，可发现无理论偏见且拟合良好的新颖认知模型。另一条路径是回归符号语言：DataDIVER结合LLM代码合成与进化搜索，直接演化出可读的Python代码形式的认知模型，其拟合优度超过经典符号模型并接近黑箱RNN，同时输出简短可解释的程序。SINDy也被用于将RNN模型的动力学综合为可解释的符号方程。

然而，“无理论”模型面临解释性差和训练数据敏感两大主要限制。为此，近期工作将数据驱动模型发现与实验设计直接耦合，形成闭环系统，自动开发新任务范式以裁决现有理论争论、在人类被试上测试、基于数据创建新模型，并设计后续实验。这种“主动学习”循环有望产生更通用的认知模型和更具信息量的实验任务。同时，每种数据驱动方法都携带自身的归纳偏差（如TinyRNN的低维偏好、DisRNN的正交偏好、SINDy的原始函数库、DataDIVER的LLM偏差），研究者应将其明确表述，就像明确承诺RL理论框架一样。

三、主要关键技术方法

该综述涉及的关键技术方法包括：（1）人工神经网络（ANN），特别是循环神经网络（RNN），作为强化学习的灵活函数逼近器，可替代或扩展经典δ规则模型；（2）以数据驱动的模型类搜索（例如以ANN定义包含所有增量马尔可夫δ规则变体的模型类）进行自动化模型发现；（3）符号回归方法，如稀疏非线性动力学识别（SINDy），从行为数据中直接提取符号形式的学习规则；（4）结合了大语言模型（LLM）的代码合成与进化搜索，例如DataDIVER系统可自动演化出可读的Python代码形式的可解释模型；（5）面向闭环实验设计的主动学习方法，将模型发现与自动化任务生成耦合。文中涉及的样本队列主要来自对人类被试在强化学习任务中的行为数据（如Ref. [8]的再分析），以及跨任务、跨物种的重复验证研究。

四、研究结果概览

（1）经典范式及其局限：经典δ规则模型仅能解释部分行为方差，手工扩展虽能改善拟合，但存在速度慢、易出错、受研究者偏差限制等根本问题。

（2）ANN作为认知模型的优势与黑箱问题：RNN拟合人类奖赏学习行为时显著优于经典模型，但可解释性不足；以ANN扩展经典RL核心可在一定程度上兼顾拟合与可解释性。

（3）规模化复杂度：RNN扩展模型能捕获多种复杂学习机制，例如动态学习率调整、潜在表征构建、内部世界模拟、IWL与ICL并存等，但模型识别性下降、过拟合风险上升。

（4）自动化模型发现：通过限定模型类并进行彻底搜索，发现全面Q-learning模型类表现不佳，而具有记忆容量、解耦偏好与表征的模型类能兼顾预测性与可解释性；SINDy发现的新符号模型也优于标准形式。

（5）无理论前沿：Centaur等LLM模型可超越经典模型；TinyRNN和DisRNN通过简单结构或解耦瓶颈获得可解释性；DataDIVER以符号程序形式提供可读模型。这些方法均可在拟合优度上达到或超过黑箱RNN。

（6）综合：不同研究发现人类学习具有任务特异性，模型迁移性差，但这一现象本身暗示人类具备出色的任务校准能力，即元学习。人类可能并非执行一个固定算法，而是同时在不同抽象层次上调整该算法，实现“学会学习”。

五、讨论与结论

讨论部分指出，现有文献中的结果常常具有任务特异性，使得研究发现难以跨研究泛化。研究人员认为这一模式本身揭示了一个重要特征：人类具备对新任务进行出色校准的能力。结合多项研究发现——包括对增量学习普遍性的质疑、突然的行为切换、不依赖奖励的复杂机制、跨多个时间尺度的信息整合——一幅强调元学习机制的画面浮现出来。与其研究某一个特定任务上人类使用的具体策略（“学习”），更应解释人类如何灵活地为任意新任务推导合适策略（“学会学习”或元学习）。采用新型机器学习工具可为实现这一目标提供所需灵活性：数据驱动认知模型能够捕获元学习涉及的“非马尔可夫”交织记忆过程，程序化任务生成则可将研究从“一任务一模型”范式推进到任务空间领域，提供观察元学习所需的广度和多样性。

研究结论可概括为：将经典的假设驱动建模、数据驱动模型发现和程序化任务设计三者成熟地综合起来，可能使我们识别出人类奖赏学习背后的通用算法，从而在全部可能环境的谱系上理解和预测人类学习。经典建模在认知可解释性上仍具优势，数据驱动方法擅长发现新机制，未来研究需利用整个模型连续谱系，用数据驱动方法发现新机制、用经典方法简化并解释它们，两者相辅相成，而非相互替代。