特质焦虑选择性增强不确定性下的奖赏学习而N3睡眠削弱该效应

《iScience》：Trait anxiety selectively amplifies reward learning under uncertainty, while N3 sleep attenuates it

　　

在不确定性条件下进行适应性学习，需要区分随机变异性（stochasticity）与真实的环境变化（volatility），然而特质焦虑与睡眠如何共同影响这一过程尚不清楚。研究人员通过两项预注册实验，让参与者完成一项概率反转学习任务（probabilistic reversal-learning task），该任务独立操纵了波动性和随机性。分层贝叶斯建模（Hierarchical Bayesian modeling）显示，在稳定但噪声较高的环境中，特质焦虑较高的个体倾向于将随机波动视为真实变化的信号，导致过度更新（over updating）和较低的证据积累（evidence accumulation），但在波动性高的环境中仍保留了规范性趋势。在第二项实验中，研究人员将任务表现与过夜睡眠脑电图相结合，发现对于特质焦虑较高的个体，更多的N3睡眠（N3 sleep）与稳定环境中更新的减少和证据积累的增加相关。这些发现表明，特质焦虑选择性地改变了不确定性在计算层面的表征方式，而N3睡眠似乎能够削弱这种效应。综上，这些发现提供了一个连接焦虑、睡眠与不确定性下适应性学习的计算框架。

研究背景与问题提出

在不确定性条件下进行适应性学习，关键在于区分两类不同的不确定性来源：一是随机性（stochasticity），即稳定环境下结果本身的随机变异；二是波动性（volatility），即环境真实状态的变化。规范性学习模型预测，学习率应在高波动性环境中升高，以便快速跟踪变化，而在高随机性环境中则应降低，以避免对噪声的过度拟合。然而，个体的内部状态，尤其是特质焦虑（trait anxiety），会显著影响信念更新和学习率的调节。已有研究表明，焦虑个体对模糊信息高度敏感，可能将随机结果波动错误地归因于环境变化，从而导致过度更新。与此同时，睡眠与焦虑密切相关：睡眠紊乱加剧焦虑，而焦虑又破坏睡眠结构，其中非快速眼动第三阶段睡眠（N3 sleep，即深睡眠）被认为有助于突触可塑性和情绪调节。然而，特质焦虑究竟是通过全局性增高学习率还是选择性误判随机性来影响学习，以及N3睡眠能否特异性调节这一过程，此前尚未明确。为此，研究人员设计了两项预注册实验，旨在分离随机性与波动性的影响，揭示特质焦虑改变学习计算的机制，并检验N3睡眠是否能够缓解焦虑相关的学习偏差。

研究方法概述

研究人员采用三项选项的概率反转学习任务（three-option probabilistic reversal-learning task），独立操纵随机性（低、中、高，对应最优选项奖励概率分别为80%、70%、60%）和波动性（慢速每25试次反转一次，快速每10试次反转一次）。实验一纳入50名参与者（最终有效样本48人，来自印度理工学院坎普尔校区，100%亚洲人群），采用3×2被试内设计，测量特质焦虑（STAI-Y量表）。实验二纳入40名参与者，采用2×2×2被试内设计，分别在睡前和睡后完成任务，并使用Hypnodyne ZMax可穿戴EEG设备记录整夜睡眠，依据AASM标准通过YASA工具进行睡眠分期。数据分析采用分层贝叶斯强化学习模型（hierarchical Bayesian reinforcement-learning model，hBayesDM包）估计学习率参数，以及分层漂移扩散模型（hierarchical drift-diffusion model，HDDM包）量化证据积累速度（drift rate）、决策边界（boundary separation）等过程参数。模型拟合优度通过后验预测检查和留一法信息准则（LOOIC）评估。

研究结果

高特质焦虑在随机环境中降低奖赏积累

非参数方差分析显示，奖赏积累随随机性和波动性增加而下降。特质焦虑与波动性存在交互作用：在高特质焦虑（HTA）个体中，慢速波动条件下的奖赏积累显著低于低特质焦虑（LTA）个体，而这种差异特异性地出现在高随机性-慢速波动环境中。贝叶斯零一膨胀beta回归进一步证实，HTA个体在慢速波动条件下识别最优选项的学习准确性更低，尤其在中等和高随机性环境中。

高特质焦虑与随机环境中升高的奖赏学习率相关

分层贝叶斯强化学习模型显示，在慢速波动条件下，HTA个体的奖赏学习率（reward learning rate）在中度和高度随机性环境中显著升高，且这一效应在特质焦虑作为连续变量时依然稳健。相反，惩罚学习率（punishment learning rate）在两组间无显著差异。与任务最优基准比较发现，HTA个体的奖赏学习率在慢速波动-高随机性环境中显著超过最优值，而LTA个体则未偏离最优值。分层漂移扩散模型进一步揭示，在该条件下，HTA个体的漂移率（drift rate）趋近于零，表明证据积累缓慢，同时决策边界更高，反映更谨慎的决策策略。

N3睡眠与高特质焦虑个体较低的晨间状态焦虑和更好的睡后表现相关

实验二中，更多N3睡眠与更大的晚间至晨间状态焦虑下降幅度相关，且该效应在HTA个体中最强。线性混合模型显示，更多N3睡眠显著预测HTA个体睡后更高的奖赏积累，尤其是在慢速波动条件下改善了对最优选项的识别。

N3睡眠削弱高特质焦虑个体升高的奖赏学习率

分层贝叶斯强化学习模型显示，整体上睡后奖赏学习率在高随机性条件下下降。更重要的是，更多N3睡眠与HTA个体在所有环境中奖赏学习率的降低显著相关，特别是在实验一中表现出过度更新的慢速波动-高随机性环境中。与任务最优基准比较发现，更多N3睡眠使HTA和LTA个体的学习率均接近最优值，而较少N3睡眠者的学习率仍显著偏离最优值。分层漂移扩散模型显示，睡后所有环境中的漂移率均显著提高，且更多N3睡眠显著增加了HTA个体在慢速波动条件下的漂移率，表明睡眠增强了HTA个体对最优选项的证据积累。

讨论与结论

本研究表明，高特质焦虑个体在稳定但噪声较高的环境中表现出选择性的学习偏差：他们将随机结果波动错误地视为环境变化的信号，导致奖赏学习率过高、证据积累不足，从而损害行为表现。这种偏差并非由惩罚敏感性增强驱动，而是源于对奖赏信息的过度更新。值得注意的是，N3睡眠能够有效削弱这一偏差：更多N3睡眠与HTA个体晨间状态焦虑的更大程度缓解、学习率向任务最优值的回归以及证据积累的增强相关联。研究人员认为，这些发现揭示了特质焦虑通过改变对特定不确定性形式的计算表征来影响学习，而非通过全局性学习缺陷；N3睡眠则作为一种状态依赖性机制，能够重新校准学习率调节过程。由于随机性-波动性权衡广泛存在于现实世界的学习问题中，本研究为理解焦虑、睡眠与不确定性下决策的关系提供了重要的计算框架。