一种校准框架，用于通过混合动态模型改进机制性预测

《Methods in Ecology and Evolution》：A calibration framework to improve mechanistic forecasts with hybrid dynamic models

本文提出一种结合分段策略、参数变换、微分编程和批处理的校准框架，用于解决动态生态模型参数估计困难的问题，并通过开源Julia包HybridDynamicModels.jl实现。该框架有效提升梯度下降和蒙特卡洛采样方法的收敛性，支持复杂生态模型的高效校准，并成功将神经网络用于参数化捕食率与环境驱动生长率，展示混合模型在生态预测中的潜力。

　　生态系统的动态变化正受到全球变化的严重影响，这需要能够超越当前趋势并预测生物多样性如何响应这些变化的模型。然而，由于校准模型与数据之间的困难以及数学建模中固有的结构性不准确，这类模型在实际应用中仍有很大局限性。虽然生态时间序列原则上可用于直接估计模型参数并改进模型结构，但生态数据集中的大噪声水平和生态动力学的强非线性使得传统校准方法难以应对这些挑战。

为了解决这些问题，我们提出了一种稳健且可扩展的校准框架，该框架结合了科学计算和深度学习技术。我们的方法采用了一种分段策略，其中状态变量独立估计；利用可微编程技术高效计算模型对参数的梯度；通过参数变换确保模型模拟的可行性和稳定性；并采用小批量处理以适应大规模数据集。通过使用模拟食物网动态进行广泛的基准测试，我们展示了该框架显著提高了梯度下降算法和蒙特卡洛采样方法的收敛性，适用于具有噪声和部分观测的现实场景。这使得参数估计和预测在模式估计和完整后验分布的背景下都能得到改进。

更重要的是，我们展示了该校准框架能够有效扩展到参数和状态变量数量的增加。改进的收敛性和可扩展性使得混合建模方法成为可能，其中神经网络用于参数化复杂的生态过程。特别是，我们证明了神经网络可以有效捕捉环境依赖性在种群增长率和控制捕食者-猎物相互作用的功能响应中。

基于神经网络的参数化方法能够改善模型的结构性不准确，同时通过后验分析保持生态的可解释性。我们提供了校准框架的实现和其他关键工具作为开源的Julia包“HybridDynamicModels.jl”，并希望该包能促进定量生态学及相关领域的混合建模方法的发展。

在这一背景下，我们探讨了多种校准方法。这些方法通常分为无梯度和有梯度两种，可以用于计算参数的点估计（如最大似然估计或最大后验估计）或估计完整的后验分布。基于蒙特卡洛采样的贝叶斯推断方法能够通过估计参数的完整后验概率分布来量化不确定性，但这种方法需要对参数空间进行全局探索，计算成本较高。蒙特卡洛采样方法特别容易受到维度灾难的影响，参数空间的体积随着参数数量呈指数增长，需要增加采样次数。然而，通过利用梯度信息，哈密顿蒙特卡洛采样方法可以提高采样效率，尽管它们在计算上仍然比点估计方法更加昂贵。

无梯度的点估计方法，如模拟退火和遗传算法，不依赖于后验梯度，但它们同样受到维度灾难的限制，需要大量的模型评估。相比之下，梯度方法，如梯度下降算法，通常是最具计算效率的，需要显著较少的模型评估。这解释了为什么它们在海洋生态系统模型的校准中被广泛采用。在深度学习中，这些方法也广泛用于训练高度参数化的模型。

我们提出了一种校准框架，该框架通过分段策略、参数变换、小批量处理和可微编程技术，解决了校准中的收敛和数值不稳定性问题。该框架通过分段策略和独立估计初始条件，改进了参数估计和预测的准确性。参数变换通过定义生物可行的参数空间，确保了模型的数值稳定性。通过将逆问题重新表述为小批量处理的分段问题，我们展示了如何有效处理噪声和部分观测的数据。这种方法不仅提高了优化或采样方法的收敛性，还通过分段策略减少了残差过程误差。

我们还展示了该框架在不同模型复杂度下的可扩展性，证明其在不同参数和状态变量数量下均能保持相似的参数和预测误差。这表明，分段策略在复杂模型中的应用仍然具有优势。通过实验，我们发现校准过程中的计算开销随着分段数量的增加而线性增长，但可以通过增加小批量大小来缓解这一问题，代价是增加内存需求。对于高维模型，我们建议使用梯度下降方法进行模式估计，而蒙特卡洛采样方法更适合简单机制模型的不确定性量化。

在实验中，我们使用了三种不同复杂度的食物网模型，模拟了3、5和7个物种的动态，分别有9、18和24个参数。这些模型被广泛用作生态系统预测方法的基准测试，其动态具有混沌或周期性特征，这使得预测变得具有挑战性。我们采用生物学合理的参数值，并引入观测误差，模拟了生态系统的动态变化。实验结果表明，合理选择分段长度和独立初始条件估计可以显著提高参数估计的准确性，同时保持计算开销在可接受范围内。

通过实验，我们发现校准框架在不同参数和状态变量数量下均能保持相似的参数和预测误差。这表明，分段策略在复杂模型中的应用仍然具有优势。通过实验，我们发现校准过程中的计算开销随着分段数量的增加而线性增长，但可以通过增加小批量大小来缓解这一问题，代价是增加内存需求。对于高维模型，我们建议使用梯度下降方法进行模式估计，而蒙特卡洛采样方法更适合简单机制模型的不确定性量化。

此外，我们展示了神经网络如何用于参数化复杂的生态过程，特别是在食物网模型中。通过实验，我们发现使用神经网络参数化捕食者和消费者种群的捕食率以及初级生产者的生长率，能够显著提高预测性能。这表明，神经网络能够有效捕捉环境依赖性和功能响应，同时保持模型的可解释性。我们还讨论了混合建模的潜在应用，包括模型选择和假设检验，以快速将机制模型与实证数据进行对比。

在讨论部分，我们强调了该校准框架如何解决了生态数据集中的实际限制。通过独立估计状态变量，该方法能够处理不完整和噪声较大的观测数据。此外，由于分段处理，该框架自然地扩展到多个独立的时间序列。这在生态研究中尤为重要，因为生态调查通常时间较短，但包含大量空间或时间重复数据。我们的框架特别适用于模型选择和假设检验，使得研究人员能够快速将机制模型与实证数据进行对比。

我们还讨论了混合建模的前景，指出其在提高机制模型对生态过程的表示能力方面的潜力。虽然混合建模的概念在几十年前就已被提出，但其广泛应用受到动态模型校准计算挑战的限制。我们提出的框架通过减少计算障碍，使得混合建模方法的应用更加可行。从传统的多项式和样条插值转向神经网络，为表示复杂的生态过程打开了新的可能性。神经网络在高维环境中表现出色，能够自动从多模态数据流中构建高阶特征，这使得它们在整合大量环境协变量或结构化数据（如卫星图像）方面具有特别价值。

成功的混合建模需要仔细考虑多个因素。神经网络的设计，包括输入选择、架构和输出整合，必须避免与其他模型组件的共线性，以保持模型的归纳偏差和可解释性。例如，我们发现将神经网络参数化限制在非零捕食率上是关键的，尤其是在建模功能响应时。在解释神经网络的输出之前，我们建议通过交叉验证将混合模型与空模型进行对比，以确保学习到的表示是具有意义的，并且受到数据的支持。

尽管我们的分段逆问题方法提高了推断方法的收敛性，但仍存在一些局限性。首先，分段策略通过减少后验分布的曲率引入了精度损失。我们预期可以通过迭代训练策略来克服这一限制，即先使用短段识别可能的参数区域，然后逐步增加段长度并降低学习率以细化估计。其次，参数可识别性仍然是保持机制可解释性的基本挑战，尤其是在可用数据不足以约束模型行为的情况下。使用合成数据进行预实验模拟可以帮助评估采样充分性。此外，模型复杂性可能需要减少，以与可用时间序列的信息量相匹配。第三，当前框架假设参数值在时间序列中是恒定的，而实际系统可能表现出时间或空间变化。这一限制可以通过部分池化方法或根据不同时间序列的特定协变量参数化模型组件来解决。最后，当参数解释至关重要时，结合我们的训练策略与蒙特卡洛采样方法可以提供全面的不确定性量化。然而，这些方法在参数空间维度上扩展性较差，导致复杂模型的计算成本极高。自动微分变分推断等近似贝叶斯推断方法是可行的替代方案，它们与“HybridDynamicModels.jl”包的“Turing.jl”接口兼容，尽管我们尚未探索这一途径。

总之，随着生态监测技术的快速发展，包括环境DNA、遥感、生物声学和公民科学计划，生态时间序列正变得越来越丰富。尽管这些数据主要促进了完全数据驱动的方法，如基于深度学习的物种分布模型，但这些方法在预测新环境条件时缺乏可解释性和鲁棒性。我们的校准框架通过混合建模方法，为生态预测提供了一种更可解释和鲁棒的途径。未来的关键挑战在于设计能够平衡预测性能与可解释性的模型，同时充分利用现有数据。这需要仔细考虑哪些模型组件应被机制编码，哪些应通过神经网络进行参数化。标准化的基准测试可以帮助指导混合建模方法的发展，并加速这一领域的进展。我们期待在未来展示该框架在实际生态系统动态中的应用，以揭示生态动力学的不变机制基础。