皮层-纹状体预测网络：用于时间序列预测中基于未来条件专家混合模型的风险敏感强化路由机制

《Expert Systems with Applications》：Cortico-striatal forecast network: risk-sensitive reinforcement routing for horizon-conditioned mixture-of-experts in time series forecasting

　　摘要：在制度异质性及非对称运营成本条件下进行多时段预测极具挑战性，因为模型需在不同时间尺度上进行调整，同时还要考虑阈值突破与罕见事件。我们提出了皮层-纹状体预测网络（CSFN），该网络将专家选择问题转化为受时间范围约束的情境式强盗问题。固定的皮层上下文编码器可生成多尺度传感器表征，这些表征会与重建的生物物理化学信号结合；而演员-评论家路由器则通过条件风险价值（CVaR）加权奖励来学习对风险敏感的专家选择策略。CSFN在存在显著春夏季制度转变的实地ZIPGEM水过滤数据集上进行了验证，在1至24小时的预测时段内，其对铵盐和硝酸盐的预测均保持正R2值，1小时时NH4+的R2值为0.952，24小时时NO3?的R2值为0.436，而DLinear在24小时时对NO3?的预测R2值则为-38.062。若去掉评论家模块或CVaR机制，NH4+在24小时的预测R2值将分别从0.449降至0.087和0.085，且无法实现事件检测（F1值为0）。特征与专家之间的关联表明，路由决策会响应可解释的生物物理化学状态变量，氧化还原电位则决定了不同氧化还原环境下的专家偏好。这些结果表明，基于风险敏感的强化学习路由方法是处理分布变化情况下多时段预测的一种稳健且可解释的方案。

引言：多时段预测是环境监测与控制中的核心需求，操作人员必须预判短期波动与长期制度转变，以便确保符合监管要求并制定相应干预措施。在用于调控富营养化流域氮循环的水生物过滤系统中，受暴雨影响或季节更替的作用，处理后出水中的铵盐（NH4+）和硝酸盐（NO3?）浓度可能在多个时间尺度上发生急剧变化。这类非线性且非平稳的动态特性给固定参数的预测模型带来了很大挑战。近期在时间序列预测领域取得了诸多进展，包括用于长时段预测的基于变换器的架构（Vaswani等人，2017年；Wu等人，2021年；Zhou等人，2021年；Nie等人，2023年；Wu等人，2023年；Liu等人，2024a年），针对分布变化与非平稳性设计的算法（Kim等人，2022年；Liu等人，2022年），以及新兴的时间序列基础模型（Garza和Mergenthaler-Canseco，2023年；Rasul等人，2023年；Ansari等人，2024年；Das等人，2024年；Woo等人，2024年）。深度学习在预测不同营养状况与水文条件下的水质方面也展现出巨大潜力（Jeon等人，2021年；Gao等人，2023年；Li和Li，2023年；Ali和Ahmed，2024年；Hu等人，2024年；Zhi等人，2024年；Li等人，2024a年）。

然而，用于运营控制的预测往往并非仅追求平均误差的最小化。在受监管的水系统里，接近阈值的预测误差会带来非对称的成本：若低估超标情况，可能导致违规并延误应对措施；而高估则往往会导致过于保守的运营方式。这促使人们采用概率预测方法并进行校准以估计不确定性，但仅靠校准并不能解决关键的操作问题：在当前的制度与环境及预测时段下，应选择哪种预测策略？这本质上是一个决策支持问题，而非单纯的预测问题。近期的大量研究越来越倾向于将数据驱动的环境模型和时间序列预测流程视为能为操作人员提供实用信息、有助于理解现状并支持明智决策的工具（Bahramian等人，2023年；Rinaldi等人，2025年）。正因如此，CSFN应运而生，旨在解决在严重制度转变背景下复杂的受监管生物地球化学预测难题。多时段预测的需求进一步增加了决策的复杂性，因为在短时段内，系统的持续性与昼夜变化模式通常起主导作用；而在长时段内，则是以生物物理化学转化过程和质量平衡约束为主导（Lim等人，2021年）。仅靠表征能力是不够的，即便是在分布发生变化的情况下，简单的线性模型也能比那些结构更为复杂的预测模型表现得更好甚至更优。如果没有一种机制能够根据当前的制度与环境及预测时段选择合适的策略，那么更高的模型复杂度并不能保证其具有可靠的预测优势（Zeng等人，2023年）。

在现有的研究中，仍存在一个重要的方法论缺口：大多数专家混合（MoE）预测模型都是利用经过梯度训练的门控机制来处理输入数据，这些门控机制是为优化预测误差而设计的，并非用于学习一种能够根据环境条件变化来权衡准确性、稳定性与运营风险的路由策略（Shazeer等人，2017年；Fedus等人，2022年；Shi等人，2025年）。以决策为导向的学习理念强调，预测流程应着眼于下游的运营目标，而不仅仅是为了降低替代性预测误差（Donti等人，2017年）。在本研究中，我们从路由层面采用了这一理念，将专家选择问题转化为一个受时间范围约束、对风险敏感的决策问题。由此产生的系统能够通过奖励反馈学习路由策略，从而决定在当前环境、预测时段及运营后果约束下应如何进行预测。这一路由问题在神经科学领域也有类似的对应概念。哺乳动物的大脑能够在保持相对稳定的世界模型的同时，实现灵活的行为适应。皮层-纹状体系统为这种分离提供了某种计算范式：皮层表征负责编码包含丰富上下文信息的状态信息，而纹状体机制则负责支持认知感知（通常包括感觉运动整合、上下文线索识别与认知调控）、动作选择以及强化学习过程（Schultz等人，1997年；Graybiel，1998年；Doya，1999年；Frank，2005年）。多巴胺能系统的奖励预测误差会根据实际结果是否超出预期来增强或减弱相应的动作选择路径。这一原理表明，稳定的状态表征与适应性路由策略在架构上是相互独立的。在CSFN中，皮层上下文编码器负责提供稳定的状态表征，而纹状体决策层则负责确定在不同的时间范围与制度环境下应优先采用哪种专家策略。

CSFN将上述原理应用于多时段时间序列预测中。生物组成部分与架构设计之间的对应关系十分直接：前额叶皮层对应于皮层上下文编码器（CCE），它负责生成稳定的多尺度状态表征以及重建的生物物理化学替代指标；纹状体对应于专家库以及负责动作选择的演员网络；多巴胺神经元对应于评论家模块以及负责计算奖励预测误差以实现策略更新的模块；持续性的多巴胺信号则负责通过熵正则化机制来维持系统的探索能力；而softmax路由机制则通过竞争机制来实现专家的选择。这项工作扩展了受大脑启发的计算框架在环境监测与控制领域的应用，解决了此前两项研究——即皮层间隙网络（CGN）和皮层间隙融合网络（CGFN）——中所处理的数据插补以及从稀疏数据到密集的生物物理化学数据重建之后的预测与决策问题。前者通过基于皮层原理的并行处理路径来提升传感器级的数据质量（Gudla和Chang，2025年）；后者则通过从稀疏的监督数据中估算潜在的生物物理化学变量，实现了对溶解有机氮的分子特征描述以及微生物功能基因丰度的分析（Gudla和Chang，2026年）。这些由CGFN重建得到的信号能够提供生物物理化学背景信息，使得CSFN在做出路由决策时能够依据推断出的过程状态，而不仅仅是传感器读数。

为了验证这一新框架的有效性，我们进行了系统的实证研究，旨在探讨在传统基于梯度的路由方法无法有效工作的严重分布变化情况下，基于风险敏感性的策略梯度路由方法能否保持系统的运行稳健性。评估模型性能时，我们采用了处于春夏季明显制度转变阶段的实地水过滤数据集，评估标准不仅包括平均预测精度，还包括避免阈值突破、事件检测的可靠性、不确定性的表现以及路由决策的机制可解释性。本研究共取得了七项成果：（1）在专家混合模型框架下，提出了一种基于情境式强盗问题的、受时间范围约束的专家路由方法；（2）设计了基于条件风险价值加权奖励的风险敏感型策略梯度路由方法；（3）构建了一个具有生物地球化学基础归纳偏好的专家库，该专家库处于帕累托最优状态；（4）提出了一种受时间范围约束的路由方法，该方法允许在不同预测时段采用不同的预测策略；（5）在分布发生变化的情况下，该模型仍能保持良好的稳健性，即使在其他基准模型性能急剧下降的情况下仍能维持正R2值；（6）采用了均方根误差、平均绝对误差、CVaR-MAE指标、事件检测方法以及校准指标，对模型的运营性能进行了全面一致的评估；（7）通过特征与专家之间的关联分析，揭示了影响路由决策的可解释因素。

本文的其余部分结构如下：第2节回顾了时间序列基础模型、专家混合模型预测、风险敏感学习、强化学习路由、水质预测以及可解释决策支持系统方面的相关研究；第3节介绍了ZIPGEM实地系统、数据收集方法以及预测任务的具体内容；第4节阐述了CSFN的架构，包括专家库、受时间范围约束的路由策略、不确定性建模方法以及风险敏感型奖励设计；第5节介绍了该方法的理论依据与实验设置；第6节报告了预测结果、消融实验结果、路由决策结果、可解释性分析结果以及不确定性分析结果；第7节讨论了研究中的假设、实际应用前景与局限性；第8节对全文进行了总结。

相关研究：基础模型通过证明在大型时间序列数据集上进行预训练能够提升模型的零样本预测能力与迁移学习性能，从而彻底改变了预测领域的面貌。基于分词技术、仅使用解码器以及支持多种变量类型的注意力架构，进一步拓展了通用时间序列建模的应用范围（Ansari等人，2024年；Das等人，2024年；Woo等人，2024年）。专家混合模型则通过稀疏激活或专门化的专家模块，提供了一种互补的扩展策略。

ZIPGEM系统与氮循环动态：该实地水过滤系统填充了绿色吸附介质混合物——ZIPGEM（由零价铁与珍珠岩构成的绿色吸附介质混合物），位于佛罗里达州的圣卢西河流域。在处理河水的同时，过滤介质表面形成的生物膜中还存在着微生物群落，这些微生物包括但不限于能够将NH4+转化为NO2?的氨氧化细菌（AOB）、能够将NO2?转化为NO3?的亚硝酸盐氧化细菌（NOB）等。

复合架构：CSFN整合了两个功能各异的组件，从而实现了皮层-纹状体原理的应用（见图1）。皮层组件由皮层上下文编码器（CCE）构成，它是CSFN的输入处理模块，能够从原始传感器数据中生成多尺度的潜在表征。在我们的训练流程中，CCE会在预训练阶段完成训练，之后在专家预训练及策略学习阶段保持不变，从而为系统提供稳定的状态表征，与此同时演员-评论家模块则负责调整路由策略。

情境式强盗结构与问题简化：CSFN的路由问题具有较高的结构简化潜力，因为底层物理系统的演化过程与所选择的专家类型无关，而且路由决策也不会影响系统的状态转换。这一特性使得专家选择方法能够自然地与情境式强盗模型相契合——在这种模型中，每个决策都会根据当前的上下文与时间范围来确定，且训练过程中会依据预先定义的运营目标来设定奖励，无需对不同时间序列之间的贡献度进行分配。正是由于专家选择与系统状态演化之间的这种独立性，才使得情境式强盗模型能够应用于CSFN的路由问题分析中。

多时段预测性能：表4展示了夏季测试集上的R2值，由于测试环境与春季训练环境存在显著的分布差异，这一测试结果能够很好地反映模型的稳健性。CSFN在所有预测时段以及两种目标指标上均保持了正R2值，而其他基准模型则表现出逐渐恶化的性能趋势，最终在长时段预测时会出现彻底失效的情况（见图3）。负R2值意味着模型的预测结果整体上远差于直接预测平均值。DLinear在预测NO3?时的R2值为-38.062，这一数值表明其在24小时内的预测结果偏差极大。

研究结果综合分析：总体而言，这些研究结果阐明了CSFN是如何通过将风险敏感型的策略梯度路由方法与基于生物地球化学原理构建的专家库相结合，从而在春夏季制度转变的情况下依然保持良好的预测性能的。与基于梯度的路由方法相比，策略梯度路由方法在事件检测方面有着显著的优势，同时还能根据氮循环的过程时间尺度，学习到适合不同时间范围的预测策略。通过组件消融实验可以发现，模型性能的优化存在一定的层次结构：目标条件与时间范围条件是影响模型性能的关键因素。

结论：CSFN证明了皮层-纹状体计算原理——该原理通过多巴胺能系统的预测误差机制来实现灵活的策略学习——是一种在面临严重非平稳性挑战时进行风险敏感型预测的有效框架。该架构通过一系列具体的设计选择实现了这一原理：在策略学习阶段，预训练好的CCE编码器以及由CGFN重建得到的特征参数保持不变，从而确保皮层部分的稳定性；同时通过基于优势值的策略更新机制来实现类似多巴胺能调节的功能；此外还通过熵正则化机制来进一步优化模型性能。

CRediT作者贡献说明：Rohan Gudla：负责方法设计、实验研究以及数据整理工作。Ni-Bin Chang：负责概念构思、方法设计、项目监督、项目管理、资金筹集、资源协调以及论文的审阅与编辑工作。

未引用参考文献：Daw等人，2005年。

利益冲突声明：作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：衷心感谢佛罗里达州环境保护局提供的财政支持（资助编号：INV 008）。

Rohan Gudla | Ni-Bin Chang