强化训练的循环网络复现了人类节拍同步动力学

《Communications Psychology》：Reinforcement-trained recurrent networks reproduce human beat-synchronization dynamics

　　

摘要

大多数成年人都能随节奏音乐移动身体，但这种能力是如何发展的知之甚少。随音乐移动通常是愉快的，这表明一个内在奖励系统在引导这一发展过程。在此，我们探究什么样的奖励系统能够支持人类式同步的稳健发展。我们在一个循环神经网络模型中探索这一问题，该模型的输入是一系列以不同速度发出的节拍器提示，输出是一系列带有短暂延迟执行的"手指敲击"。该网络通过强化学习在四种不同的方案下进行训练，这四种方案以不同方式激励敲击/提示的同步性。我们发现，最成功的方案对早敲比晚敲给予更多奖励，并额外激励速度匹配。训练后的智能体表现出敲击误差修正能力，能够捕捉人类误差修正数据的关键定性和定量特征，包括一种不对称性——晚到比早到被修正得更多。当在训练或测试中引入计时抖动时，智能体表现出人类倾向于提前于提示敲击（"负平均异步性"）的特点，其在抖动缩放和训练量方面的表现与人类数据非常相似。智能体在敲击延续阶段还保持了准确的敲击间计时，展示了人类式的速度内化，尽管该条件并未包含在其训练中。神经活动表现出在猴子同步训练中所观察到的模式，以及主观节奏化的迹象——人类将节拍器咔嗒声分组为两组来感知的倾向。这些结果表明，内在强化早期行为和模仿可能对听觉运动同步的发展很重要，并提供了一个模型系统来探索同步学习。