《Hormones and Behavior》：Prepubertal ovariectomy alters dorsomedial striatum indirect pathway neuron excitability and explore/exploit balance in female mice
编辑推荐：
•假手术雌性小鼠在逆转学习期间转向利用策略•青春期前卵巢切除（pOVX）增加逆转学习期间的探索性选择•pOVX 增加纹状体 D2R(+) 棘状投射神经元的内在兴奋性•激活 D2R(+) 神经元促进完整雌性小鼠的探索性选择•强化学习模型将青春期状态与探索/利用选择策略联系起来引
- •
假手术雌性小鼠在逆转学习期间转向利用策略
- •
青春期前卵巢切除（pOVX）增加逆转学习期间的探索性选择
- •
pOVX 增加纹状体 D2R(+) 棘状投射神经元的内在兴奋性
- •
激活 D2R(+) 神经元促进完整雌性小鼠的探索性选择
- •
强化学习模型将青春期状态与探索/利用选择策略联系起来
引言
动物在与环境互动的过程中，为了获取食物、水、配偶等形式的奖励，通过试错来学习，以指导未来的选择。这一过程涉及从正反馈和负反馈中学习，更重要的是，决定已学到的信息应如何影响选择，这被称为选择策略。强化学习（RL）模型（Sutton and Barto, 2020）提供了一个有用的框架，用于理解和量化试错学习的各个方面，包括选择策略。一个经典的RL问题，即依赖于选择策略的探索/利用权衡。如果一个动物（或者任何智能体）采用利用策略，它将 consistently 选择估计价值最高的选项，但可能会错过更好的替代选项。另一方面，如果一个动物倾向于更具探索性的选择策略，其特征是较少依赖价值、更具随机性的选择行为，它可能更容易发现新的和更好的选项（Daw et al., 2006; Sutton and Barto, 2020）。重要的是，探索和利用的最优平衡可能取决于环境的统计特性和/或动物由其特定的生理或发育状态所定义的自身需求（Addicott et al., 2017; Cohen et al., 2007; Frank et al., 2009; Gopnik, 2020; Humphreys et al., 2015; Lenow et al., 2017; Wilbrecht and Davidow, 2024）。在人类中，选择行为在从童年向成年过渡期间通常会变得不那么具有探索性而更具利用性（Eckstein et al., 2022; Gopnik, 2020; Nussenbaum and Hartley, 2019; Xia et al., 2021）。卵巢激素在动情周期中的自然波动或外源性雌二醇给药已被证明可以调节雌性啮齿类动物基于价值的决策的某些方面（Golden et al., 2025; Orsini et al., 2021; Uban et al., 2012），包括探索/利用平衡（Verharen et al., 2019b）。这些数据表明，青春期卵巢激素的上升可能促成了雌性青春期期间选择策略的发育转变。在以往的工作中，我们观察到 pOVX 改变了成年 C57BL/6 小鼠在多选逆转任务中的表现（Delevich et al., 2020a）。与完整雌性相比，pOVX 雌性小鼠在逆转学习期间表现出较低的固执错误与回归错误之比，但导致这一行为效应的潜在生物过程尚不清楚。
DMS（背侧纹状体中部）参与目标导向动作选择的调节（Balleine et al., 2021; Matamales et al., 2020; Nonomura et al., 2018; Peak et al., 2020; Tai et al., 2012）和选择策略（Collins and Frank, 2014），此前的研究表明，增强背侧纹状体中 D2R(+) SPNs 的活动会使选择行为更加具有探索性（Delevich et al., 2022; Lee et al., 2015），但参见（Verharen et al., 2019a）。尽管在成年期背侧纹状体中明显缺乏核内雌激素受体（Krentzel et al., 2021），但核外雌激素受体（ERα、ERβ 和 GPER1）定位于成年雌性大鼠的 SPNs、胶质细胞和纹状体 GABA 能和胆碱能中间神经元的突触前末梢（Almey et al., 2012）。在神经元水平上，已有研究表明动情周期可以调节位于啮齿类动物纹状体内的 SPNs 的内在兴奋性（Alonso-Caraballo and Ferrario, 2019; Proa?o et al., 2018）。研究动情周期对 SPN 生理影响的实验主要在大鼠中进行，在这些实验中未区分 SPN 细胞类型，但参见（Tansey et al., 1983）。综上所述，这些发现提出了一个问题：青春期状态是否通过调节纹状体 SPN 生理功能来影响雌性所采用的选择策略。在本研究中，我们聚焦于 DMS 中不直接通路的 D2R(+) SPNs，我们假设其活动调节决策中的探索/利用平衡，这是基于理论预测（Collins and Frank, 2014; Dunovan and Verstynen, 2016）以及遗传学（Beeler et al., 2010; Kwak et al., 2014）和药理学（Lee et al., 2015; McCoy et al., 2019）证据。
在当前的研究中，在分析原始行为数据后，我们应用 RL 建模来研究 pOVX 如何影响气味逆转学习任务中的学习和选择策略。我们随后研究了 pOVX 对成年雌性小鼠 DMS 中基因鉴定出的 D2R(+) SPNs 内在兴奋性的影响。由于该研究旨在考察 pOVX 的长期后果而非急性动情期效应，因此假手术雌性小鼠作为自然周期对照组，未按动情周期分期。最后，我们通过化学遗传学方法激活雌性小鼠 DMS 中的 D2R(+) 神经元，并在逆转学习期间应用 RL 模型，以确定这种操作是否能重现 pOVX 雌性小鼠所观察到的选择策略表型。我们发现，完整的成年雌性小鼠能够灵活地根据任务阶段调整其选择策略，在辨别阶段采用相对探索性的策略，而在逆转阶段转向更具利用性的策略，这由逆温度参数（β）在不同阶段之间的显著增加所捕捉。相比之下，pOVX 雌性小鼠没有表现出这种依赖于任务阶段的转变，在逆转阶段保持了相对探索性的选择策略。在另一组小鼠中，pOVX 雌性小鼠 DMS 中的 D2R(+) SPNs 比假手术雌性小鼠具有更高的内在兴奋性。最后，在完整雌性小鼠的逆转学习过程中，化学遗传学激活 DMS 中的 D2R(+) SPNs 促进了更具探索性的选择策略，类似于 pOVX 雌性小鼠的行为。
章节片段
动物
雌性 C57BL/6NCR（Charles River）、Drd2-eGFP BAC（GENSAT）和 D2-Cre ER43（MMRC）小鼠在本室内繁殖。Drd2-eGFP BAC 和 D2-Cre ER43 小鼠至少经 5 代与 C57BL/6NCR 背景小鼠杂交。所有小鼠在出生后第 21 天（P21）断奶，以 2–3 只同性别兄弟姐妹为一组饲养，采用 12:12 小时反转光暗周期（22:00 开灯）。除限食期间外，LabDiet 5001（Purina）饲料和水自由摄取，所有小鼠均提供筑巢材料。
青春期前卵巢切除增加逆转学习期间的探索性选择
我们在出生后第 25 天（P25），即青春期开始前，对雌性 C57BL/6 小鼠进行假手术或 pOVX 手术，并在 P60–70 期间训练它们进行气味逆转任务（图 1A）。气味逆转任务包括两个主要阶段：1）辨别阶段，在此期间小鼠通过试错学习到四个装有带香味的木屑的盆中有一个埋藏了食物奖励；2）逆转阶段，在此期间气味与奖励的关联被反转（图 1B）。假手术雌性小鼠……
讨论
我们发现 pOVX 改变了雌性小鼠解决逆转学习任务的方式。使用逐试次行为数据拟合的 RL 模型，我们发现完整雌性小鼠能够随着任务的进展灵活地调整其选择策略：它们在初始辨别学习阶段采用相对探索性的策略，并在逆转阶段转向更具利用性的策略，这由逆温度参数（β）的阶段性增加所捕捉。相比之下，pOVX 雌性小鼠保持了……
CRediT 作者贡献声明
Christopher D. Hall：撰写——审阅与编辑，调查，形式分析，数据整理。Linda Wilbrecht：撰写——审阅与编辑，监督，资源，项目管理，概念化。Kristen Delevich：撰写——初稿，可视化，监督，方法论，调查，形式分析，数据整理，概念化。
动物受试者
本研究按照 ARRIVE（动物研究：体内实验报告）指南进行。
本研究已获 IACUC 批准。
致谢
感谢 Yuting Zhang、Kenechukwu Okwuosa 和 Weihang Chen 在小鼠行为测试方面提供的技术帮助。感谢 Helen Bateup 博士对稿件的反馈，以及 Anne Collins 博士和 Wilbrecht 实验室成员进行的有益讨论。本研究由 Tourette 综合征协会 [143292001] 和美国国家心理健康研究所 [F32MH110184] 资助 KD。
Christopher D. Hall|Linda Wilbrecht|Kristen Delevich
