估计不确定性如何影响有无学习机会下的决策行为

本研究探讨了估计不确定性(estimation-uncertainty)在强化学习及后续无反馈测试阶段对决策的持续影响。研究人员通过概率性强化学习任务结合计算建模，发现采样率差异导致的估计不确定性会独立于预期价值持续影响决策，特别是对"坏选项"(Bad options)的规避行为。该研究为理解人类决策机制提供了新视角，对精神病理学相关的强化学习偏差研究具有重要启示意义。

　　

在人类决策领域，一个长期存在的核心问题是：当我们面对不确定性时，大脑如何权衡探索与利用？特别是在强化学习过程中，那些较少被选择的选项往往伴随着更大的估计不确定性(estimation-uncertainty)，这种不确定性是否会持续影响后续决策，即使在没有进一步学习机会的情况下？这个问题对于理解从基础认知过程到精神疾病相关的决策异常都具有重要意义。

来自魏茨曼科学研究所(Weizmann Institute of Science)的Kristoffer C. Aberg、Levi Antle和Rony Paz团队在《Nature Communications》发表的研究，通过精巧的行为实验设计和计算建模方法，揭示了估计不确定性在决策中的持久影响。研究人员发现，即使在无法通过选择获得新信息的测试阶段，先前学习阶段形成的估计不确定性仍会显著影响决策策略，特别是导致对高不确定性"坏选项"的系统性规避。

研究采用了三个独立的实验数据集，主要运用了以下关键技术方法：(1)多条件概率性强化学习任务设计，包含五个不同奖励概率的情境(p_Appetitive=1.0至0.0)；(2)分阶段实验范式(学习阶段与无反馈测试阶段)；(3)基于Kalman滤波器的计算建模方法(Kalman:QU模型)；(4)分层贝叶斯推断(HBI)模型比较和参数恢复技术；(5)两组公开数据集验证分析。

学习阶段估计不确定性的作用
研究设计了包含五个条件的概率性强化学习任务，每个条件包含一对"好选项"(Good option，奖励概率0.75)和"坏选项"(Bad option，奖励概率0.25)。通过比较不同计算模型的拟合优度，发现包含估计不确定性参数的Kalman:QU模型(保护性超越概率=0.806)最能解释学习行为。该模型包含两个决策权重：β_Q用于预期价值，β_U用于估计不确定性。参数恢复分析证实这两个参数都能被准确估计(r_βQ-βQ=0.962，r_βU-βU=0.973)。

学习后估计不确定性的持续影响
测试阶段结果显示，参与者不仅能够区分"好选项"和"坏选项"(选择率显著高于随机水平)，而且在"好选项"间比较时更倾向于选择高预期价值选项，而在"坏选项"间比较时则表现出对高不确定性选项的规避。模型无关分析发现，学习阶段的采样率(对"坏选项"为1-学习表现)与测试阶段的选择偏差显著相关：学习表现越好，测试阶段对应"坏选项"的选择率越低(r=-0.281)。

计算建模验证
Kalman:QU模型同样最适合测试阶段行为(保护性超越概率=0.602)，特别是显著改善了"坏选项"间比较的拟合效果(与Kalman:Q模型相比，平均相关系数差异Δr=0.214，p<0.001)。这表明决策策略存在不对称性："好选项"选择主要依赖预期价值，而"坏选项"处理则更多受估计不确定性影响。

独立数据集验证
研究结果在两个公开数据集中得到重复验证。在第一个数据集中，Kalman:QU模型对学习阶段(保护性超越概率=0.983)和测试阶段(保护性超越概率=0.997)都提供了最佳拟合，特别是在包含"坏选项"的比较中表现突出(如B2C2比较中Δr=0.482)。第二个数据集同样支持主要发现，显示估计不确定性对决策的持续影响。

这项研究的重要发现在于揭示了估计不确定性作为独立于预期价值的决策因素，会在缺乏学习机会时持续影响行为。这种影响表现出明显的不对称性：对高不确定性"坏选项"的规避比对低不确定性"好选项"的偏好更为显著。研究结果提示，在解释强化学习任务中的决策偏差时，特别是在涉及"坏选项"的情境下，必须考虑估计不确定性的作用。这一发现对理解正常和异常的决策机制具有重要意义，特别是与焦虑、抑郁等精神疾病相关的强化学习偏差研究。此外，研究采用的Kalman滤波方法为行为建模提供了新思路，其动态学习率机制可能比传统的双学习率模型更能准确捕捉人类学习过程。