内在奖励通过强化学习引导视觉资源分配：来自运动方向估计与神经资源归一化模型的证据

《Nature Human Behaviour》：Intrinsic rewards guide visual resource allocation via reinforcement learning

　　

人类及其他动物会优先对预示奖励的视觉刺激进行加工。既往研究多关注金钱或食物等外在激励，而内在激励（如感知胜任感）的影响尚不清楚。研究人员在一系列视觉估计实验中，通过欺骗性试次反馈或刺激可靠性真实差异来操纵观察者的主观判断信心。研究人员发现，观察者会优先编码与较低不确定性或误差相关的刺激，使原本估计准确的刺激表现更好，同时进一步损害估计较差刺激的表现。这些奖励驱动偏差虽可能具有适应性，却使资源分配偏离最小化误差策略，从而损害整体准确率。为解释上述结果，研究人员在神经资源分配归一化模型（neural resource allocation normalization model）中引入简单强化学习（reinforcement learning, RL）规则：内在奖励与外在奖励累积塑造模型对各刺激的价值赋值，由此产生的价值差异偏见化资源分配并改变估计误差，定量匹配数据。这些发现揭示内在奖励信号如何以既适应又适得其反的方式塑造资源分配，并为认知表现背后的动机偏见提供计算基础。

研究背景方面，大脑受有限加工容量限制，需优先处理预示潜在奖励的环境线索。外在奖励（如点数、金钱）对注意与工作记忆资源分配的影响已有大量证据；但内在奖励（intrinsic reward，与满意感和胜任感相关的正向动机状态）如何影响感觉加工仍不清楚。许多日常行为缺乏即时外在反馈，内部生成的信心相关信号可能成为同等重要的学习驱动。因此，研究人员开展本研究，以明确内在奖励是否及如何引导视觉资源分配。该研究发表于《Nature Human Behaviour》。

主要关键技术方法方面，研究人员采用改良类比报告任务（analogue report task），让观察者复现一对运动刺激中由颜色线索指示的刺激运动方向；通过外部点数奖励、试次级欺骗反馈放大或缩小误差、随机点运动（random dot kinematogram, RDK）一致性操纵客观难度三类操纵建立刺激身份与奖励/难度的联结；使用基于群体编码与分裂归一化（divisive normalization）的神经资源模型（neural resource model）以增益参数 α 量化资源分配；并构建强化学习账户，将外在点数、反馈误差与内部信心整合为复合奖励 Δ_t，更新颜色相对价值 ν，经指数映射得到后续试次增益 α。样本为实验室及在线招募的健康观察者队列，无临床患者队列。

研究结果方面，Differential rewards bias resource allocation：实验1中两种颜色分别关联15点与5点外部奖励，研究人员发现高奖励色刺激复现精度更高，神经资源模型显示资源向高奖励项倾斜（低/高分配比0.695），但观察者未采用最大化总点数策略（最优低/高比0.34），说明外在奖励可梯度化偏向编码而非全或无。

Perceived accuracy biases resource allocation：实验2a通过放大/缩小反馈误差使某色显得更容易，结果显示误差缩小项获得更多资源（1.18:1），且该偏向在顺序呈现的实验2b中消失，说明其依赖编码期注意竞争；实验2c表明仅“误差缩小”操纵即足以产生偏向，“误差放大”不足。

Estimation difficulty biases resource allocation：实验3用RDK一致性创建客观难度差异，同时在多数试次外设等一致性试次；观察者在等难度试次仍对“高一致性色”更精确，顺序呈现时效应消失；实验室眼动固定实验3b复制该结果，证明内部信心作为内在奖励可跨情境绑定刺激特征。

RL model of resource allocation：研究人员将外在/内在奖励历史汇入RL模型，相对价值 ν 经指数映射控制下一试次 α；模型推断的资源分配与自由拟合分配高度相关（实验1 r=0.976，实验2 r=0.911，实验3a r=0.833，实验3b r=0.843），且低预测资源试次对应更大绝对误差，说明累计奖励历史足以解释估计表现差异。

讨论与结论翻译方面，研究人员在讨论中指出，外部与内在奖励均使观察者对不同刺激形成差异化估计精度；该效应由编码期注意资源竞争而非工作记忆资源竞争驱动；仅依累计奖励历史的资源分配机制即可解释内在与外在奖励下的表现差异。结论部分可归纳为：跨三项心理物理实验与计算建模的关键发现是，仅基于累计奖励历史的资源分配机制，足以解释由外在及内在奖励导致的估计表现差异；内在奖励通过强化学习式价值更新偏见化注意资源分配，这种动机偏见虽可能适应，却常使整体误差大于均等分配策略，为认知表现的动机偏见提供神经计算解释。