鸽子顺序学习中海马–纹状体信息流伴随行为策略转换：一项初步研究

《Animals》：Dynamic Hippocampal–Striatal Information Flow Accompanies Behavioral Strategy Transitions During Sequential Learning in Pigeons: A Preliminary Study

　　

顺序决策要求动物灵活平衡基于模型（Model-based, MB）与无模型（Model-free, MF）的策略，以适应不断变化的环境。海马（Hippocampus, Hp）与纹状体（Striatum, ST）是支持上述过程的广泛神经网络中两个重要组成部分；然而，二者间的动态交互如何在依赖学习（learning-dependent）的策略转换过程中发生重组，目前仍知之甚少。本研究训练鸽子执行两步顺序决策任务，同时记录其Hp和ST的局部场电位（Local Field Potentials, LFPs）。研究人员采用动态强化学习框架结合滑动窗口方法表征行为策略的时间变化，并应用相位传递熵（Phase Transfer Entropy, PTE）估计Hp与ST之间在theta、beta及宽频gamma（30–80 Hz）频带上的定向信息流。行为建模揭示，随着学习推进，行为呈现从早期类似MB、对环境结构敏感的控制，向后期类似MF、由价值引导的行为的逐渐转换。PTE分析显示，在任务习得期间，所有分析频带上均存在一致的Hp至ST（Hp→ST）方向偏置。值得注意的是，gamma频带的Hp→ST信息流随训练推进呈现一致下降，而theta和beta频带的交互变化在个体间一致性较低。进一步分析显示，相对MB模型证据与gamma频带Hp→ST信息流在学习过程中协同变化，但在控制学习进度后，这一关联不再显著，表明二者呈平行变化而非独立耦合。上述初步发现表明，海马–纹状体通讯在顺序学习期间发生频率特异性重组；gamma频带Hp→ST信息流的减弱伴随而非独立预测行为策略转换，提示随任务需求变化，学习相关的区域间协调受到调节。

**题目解读：鸽子顺序学习中海马–纹状体信息流伴随行为策略转换**

**一、研究背景与科学问题**

在复杂且不确定的环境中，动物需要整合当前线索与既往经验以做出适应性决策。顺序决策任务要求个体同时评估即时结果并学习不同决策阶段间的状态转换关系，因而同时涉及基于模型的灵活规划与基于价值的习惯化选择两种过程。强化学习理论将这两种过程分别形式化为基于模型（MB）控制与无模型（MF）控制：前者依赖对环境状态转换和结果的内容模型进行灵活规划，后者则依据累积的行动价值估计指导高效选择。大量哺乳动物研究表明，海马（Hp）参与情景记忆、状态表征与认知地图构建，而纹状体（ST）则参与奖赏预测、价值更新与行动选择，二者构成支持学习与决策的双系统神经基础。然而，在顺序学习过程中，Hp与ST之间的动态交互如何随行为策略的转换而重组，是否具有频率特异性，以及这种交互变化与MB-MF策略转换之间的具体关系，仍是尚未解决的关键问题。鸽子作为经典学习与记忆研究的模式动物，其端脑结构虽与哺乳动物存在差异，但高度发达的前脑网络为探究上述问题提供了理想的比较模型。

**二、研究内容概述**

研究人员训练4只成年家鸽（Columba livia，来源：中国河南省郑州市共创鸽场，常规家系）执行两步顺序决策任务，同时使用32通道钨丝微电极阵列（16通道Hp + 16通道ST）慢性记录局部场电位（LFP）。行为层面采用动态强化学习模型结合滑动窗口（窗口200 trials，50%重叠）追踪策略的时间演变；神经层面采用相位传递熵（PTE）在theta（4–8 Hz）、beta（12–30 Hz）和宽频gamma（30–80 Hz）三个频带上估计Hp→ST与ST→Hp的定向信息流。研究揭示行为策略从早期MB样控制向后期MF样控制的逐渐转换，以及gamma频带Hp→ST信息流随学习推进的一致性减弱，该成果发表于《Animals》期刊。

**三、主要关键技术方法**

本研究涉及的关键技术方法包括：（1）慢性电极植入术：在立体定位手术下将两束16通道钨丝微电极阵列分别植入鸽Hp（AP +5.5 mm, ML ±1.0 mm, DV 1.0 mm）和ST（AP +10.5 mm, ML ±1.0 mm, DV 7.5 mm），术后进行组织学验证；（2）两步顺序决策行为范式：包含状态转换阶段与奖赏阶段，通过预设的状态转换概率和奖赏概率分离转换信息与奖赏结果的学习过程；（3）动态强化学习建模：采用Rescorla–Wagner模型的MF算法和基于转换概率的MB算法，结合滑动窗口与贝叶斯信息准则（BIC）比较，追踪策略随学习的动态变化；（4）相位传递熵分析：基于希尔伯特变换提取瞬时相位，计算跨频带定向信息流，并用滑动窗口（25 trials）追踪其时间演变；（5）统计方法：Wilcoxon符号秩检验、线性回归、Benjamini–Hochberg FDR校正及偏相关分析。

**四、研究结果**

**4.1 行为绩效：任务习得的渐进性提升。** 对4只鸽子的行为分析显示，奖励率和最优第一阶段选择率（S1+选择率）均随学习进度呈总体上升趋势。早期（0–20%）与晚期（80–100%）比较中，平均奖励率从0.475增至0.674（Δ = 0.199），S1+选择率从0.464增至0.923（Δ = 0.458），尽管配对检验未达常规显著性阈值，但两种指标均表现出较大的效应量（Hedges' gz分别为1.87和2.01），表明任务习得伴随明显的奖赏获取改善和最优选择行为的逐步稳定。

**4.2 动态行为策略转换：从MB样控制到MF样控制。** 动态RL模型拟合结果显示，早期学习阶段MB样模型BIC值较低，而后期MF样模型拟合更优，表明行为最初对任务转换结构敏感，后期逐渐转向基于累积价值的稳定选择。MF模型的学习率随S1+选择率增加而下降，逆温度参数升高，反映了逐试次更新减少和价值导向选择的稳定化；MB模型的折扣因子和逆温度均随表现提升而增加，提示对未来结果权重的增加和选择一致性的提高。模型预测的S1+选择率与观察轨迹高度吻合。

**4.3 Hp→ST定向信息流的主导性。** PTE分析显示，在theta、beta、gamma三个频带上，Hp→ST信息流均显著强于ST→Hp方向，这一方向性偏置在任务的两个阶段均存在，并在个体水平上得到4只鸽子的一致性证实，表明Hp–ST通讯在顺序决策中呈现稳健的Hp→ST方向不对称性。

**4.4 gamma频带Hp→ST信息流随学习的减弱。** 线性回归分析显示，所有4只鸽子的Hp→ST gamma频带PTE强度在Stage 1和Stage 2中均随滑动窗口进度显著下降（8个回归检验经FDR校正后均显著，q值范围0.0008–0.0357）。相比之下，theta和beta频带的Hp→ST信息流时间变化在个体间一致性较低，仅部分鸽子呈现显著趋势。这表明学习相关的Hp–ST通讯重组具有频率特异性，gamma频带减弱是最稳健的神经关联指标。

**4.5 行为模型证据与gamma信息流的关系。** 相对MB模型证据（ΔBIC）与gamma频带Hp→ST PTE在学习过程中表现出平行的下降趋势，未经控制时在两个阶段均呈显著正相关（Stage 1: r = 0.63, p = 0.003; Stage 2: r = 0.50, p = 0.024）。然而，在控制学习进度后，偏相关不再显著（Stage 1: r = 0.15, p = 0.56; Stage 2: r = 0.11, p = 0.67），加入二次项后的敏感性分析得出相同结论。这说明二者与学习进程平行变化，而非存在独立于训练进程的耦合关系。

**五、讨论与结论**

讨论部分指出，行为层面观察到的MB样向MF样策略转换与强化学习双系统框架一致，但不应将两种过程视为互斥状态，且由于任务未包含结果贬值或偶然性消退操作，后期行为模式应解释为MF样价值导向表现而非严格意义上的习惯形成。神经层面，Hp→ST方向偏置提示Hp向ST传递状态表征和情境关系信息，ST整合奖赏预测并驱动行动选择，二者形成功能互补的环路组织。gamma频带信息流的减弱可能反映随任务结构习得和表现稳定，局部处理与区域间协调需求的变化，但不宜将其视为单纯的"效率提高"，也不能据此推断Hp对ST的因果控制。值得注意的是，PTE估计的是方向性统计预测关系而非解剖连接或因果影响；体积传导、共同输入和信噪比差异等混杂因素可能影响结果。行为与神经指标的平行变化说明gamma减弱伴随学习进程而非特异性编码MB-MF策略转换。该研究的样本量仅4只，属于初步研究，Hp和ST只是参与学习决策的广泛分布式网络中的两个节点，未来需结合更大样本、因果调控手段（如可逆失活或光遗传）和更精细的计算模型加以验证。研究结论指出，鸽子顺序学习伴随行为策略的渐进转换和Hp→ST通讯的频率特异性重组，gamma频带Hp→ST信息流随学习推进逐渐减弱，然而这些发现基于有限样本和LFP来源的PTE，应视为学习相关Hp–ST重组的初步证据，其功能角色和普适性有待更大规模队列和因果环路操纵研究确证。