人类强化学习中策略仲裁的可靠性整合与个体异质性研究

《Nature Communications》：Reliability-based arbitration reveals heterogeneous model-based and model-free reinforcement learning strategies linked to compulsivity and impulsivity

　　

摘要

人类如何在不同强化学习策略之间进行权衡选择，其机制至今仍知之甚少，且这些策略的本质近来也引发了争议。本文通过两项独立样本（N = 452 和 N = 226）中的一项改良版两步决策任务，揭示了人类在控制权的仲裁中会整合三种可靠性信息：状态转换可靠性、无模型奖励预测可靠性，以及有模型奖励预测可靠性。这些机制在不同个体之间的部署方式各不相同，呈现出以无模型、有模型、混合以及非强化学习为主的行为特征模式，而这些模式又分别与不同的强迫性和冲动性特征相关联。值得注意的是，个体之间还存在仲裁对象上的差异：一部分人在有模型控制和无模型控制之间进行切换，而另一部分人则在保持有模型控制的同时，对不同的任务表征进行权衡。综上所述，这些发现揭示了人类强化学习中广泛存在的异质性，并为我们深入了解个体间认知差异及神经精神疾病的易感性提供了更深刻的洞见。