区分强化学习中学习不对称与选择持续性的统计检验方法

《Nature Communications》：Distinguishing learning asymmetry from perseveration in behavioral models

　　

摘要

认知科学中的一个核心挑战在于区分多种可能导致相似行为的心理过程。在强化学习中，一个突出的例子涉及选择重复的两种潜在驱动因素：学习不对称性，即智能体根据结果的效价和/或是否确认选择而以不同方式学习结果；以及选择持续性，一种与结果无关的重复过去选择的倾向。不对称学习的证据通常依赖于控制持续性的计算模型或特定的行为标记。在此，我们表明这两种方法都存在严重缺陷，即使在具有持续性且学习对称的智能体中，也可能虚假地检测到学习不对称性。为解决这一问题，我们提出了一种统计检验方法，可区分真实的学习不对称性与虚假效应。将该检验应用于涵盖四项研究中十个已发表实验的大型数据集，我们发现一些先前报告的确认偏差是脆弱的，尽管其他确认偏差甚至在跨研究水平上仍然保持稳健。最后，我们提出了一种任务设计，可产生更有效的确认偏差定性特征。我们的方法为区分选择重复行为背后的心理过程提供了一个可靠的框架，同时为更广泛的研究社区提供了工具，可最小化由过程模仿和有偏参数估计引起的潜在虚假效应。