物理模型是否应该被机器学习所取代？一种经过物理校正的概率预测框架

《Physica A: Statistical Mechanics and its Applications》：Should physical models be replaced by machine learning? A physics-corrected probabilistic forecasting framework

　　摘要
近期机器学习的进步使得人们声称，纯粹基于数据的模型在预测复杂动态系统方面可以超越传统的物理模型。这种矛盾在数值天气预报中尤为明显，因为在这一领域中，物理派生模型和深度学习方法都被积极应用。这引发了一个根本性问题：现有数据是否包含足够的信息，使基于经验的模型能够优于基于仿真的模型？如果确实如此，那么其更广泛的影响是什么？物理模型是否应该被完全取代？为了解答这个问题，首先基于经典的Lorenz63系统构建了一个受控的模型环境。引入了一种物理校正方法，该方法训练数据驱动模型以概率方式纠正不完美物理模型输出中的系统性错误，从而使这两个组成部分能够互补。与在学习过程中直接施加控制方程约束不同，所提出的方法将不完美物理模型的输出视为需要通过观测数据来纠正的易出错预测成分。此外，它与传统残差校正方法的不同之处在于，它以概率方式来制定校正策略：不是学习单一的逐点调整，而是使用混合密度网络（Mixture Density Network）来学习物理模型预测误差的条件分布。物理模型集合也通过核包装（kernel dressing）以概率方式表示，从而允许在统一的概率框架内评估所有预测方法。在包括不同观测噪声水平、物理模型不完善程度和预测提前时间在内的多种条件下进行了广泛的实验。基于概率预测指标的评估表明，物理校正模型在一致性上始终优于单独的物理模型和纯粹的数据驱动模型，且改进幅度在不同环境下有所差异。这些结果强调了整合物理和数据驱动视角的更大价值，为构建鲁棒、可解释且具有不确定性意识的预测系统提供了通用方法。

引言
预测复杂动态系统是气象学、工程学等学科中的一个基本挑战。历史上，预测主要依赖于经验和统计方法[1][2]。随着现代计算技术的发展，基于第一原理（如守恒定律和微分方程）的物理数值模型成为预测复杂动态系统的核心。尽管这些模型在数值天气预报（NWP）、核管理、高能物理学和地震学等高风险领域占据主导地位，因为这些领域需要可解释性、外推能力和物理一致性，但所有模型不可避免地存在结构缺陷、参数化粗糙、数据同化能力有限以及计算成本高昂的问题。近年来，尤其是深度学习的兴起，为这一领域带来了范式转变的可能性。数据驱动模型直接从历史观测中学习映射关系，在多种预测任务中表现出色，其在灵活性、可扩展性和计算效率方面具有优势。然而，像所有基于经验的模型一样，它们在数据稀缺、观测噪声或混沌动态的情况下难以泛化；而且它们缺乏物理可解释性，这可能限制了实际应用中的可信度。尽管如此，最近的研究越来越多地表明，这类模型可以与甚至超越传统的物理系统相媲美。例如，Pangu-Weather[3]和GraphCast[4]在全球天气预报中的表现与ECMWF-HRES相当。MetNet-3[5]被报道可以在美国大陆24小时预报中胜过最好的NWP模型。最近，GenCast[6]这种基于概率扩散的模型被认为在预测极端天气事件方面优于ECMWF的集合系统。物理驱动方法与数据驱动方法之间的这种紧张关系引发了激烈的讨论：在深度学习时代，物理模型应该被取代、增强还是保持不变？本研究通过在存在模型结构缺陷（没有完美参数）的受控测试环境中系统地比较物理模型、数据驱动模型和混合模型策略来探讨这一问题，同时该系统实际上是某种程度上反映了实际应用中的挑战。本文提出了并展示了在这种测试环境中应用的物理校正混合方法。物理洞察与机器学习的结合已经朝着多个相关方向发展。一种突出的方法是物理信息驱动的机器学习，特别是物理信息驱动的神经网络（PINNs），其中将控制方程、守恒定律或其他物理约束纳入学习目标或模型架构[7][8][9]。这些方法为结合观测数据和物理洞察提供了强大手段，并在逆问题、参数选择和数据稀缺环境中显示出特别的前景。然而，它们作为通用数值模拟器的替代品的有效性取决于具体问题。训练和优化可能具有挑战性，性能可能对网络架构、激活函数和控制方程的特性敏感[10]。更根本的是，施加物理约束的好处取决于所施加的物理洞察的充分性。在实际预测问题中，现有的物理模型本身由于物理理解不足、未解决的问题、参数化和数学简化而存在结构缺陷。因此，详细强制这种不完美的物理信息可能会以不期望的方式限制数据驱动模型。这里提出的方法采取了互补的观点：不是在学习过程中强制使用物理模型，而是将物理模型视为一个易出错的预测成分，并使用观测数据来概率纠正其预测误差。这种观点建立在混合建模和模型差异校正的更广泛传统之上。人们早就认识到，即使经过校准的模拟器也可能与现实存在系统性偏差，这在不确定性量化及其计算机模型校准中有着悠久的历史[11][12]。最近，混合预测方法将不完美的基于知识的模型与机器学习相结合，以改善非线性动态系统的预测[13]，同时各种应用环境中也开发了残差学习方法。例如，Gijón等人[14]将受物理启发的风力涡轮机功率模型与其残差误差上的非参数模型结合起来，并结合了单独的不确定性量化程序。这里开发的框架在精神上最接近这类混合方法。其独特之处在于，学习到的校正直接以预测分布的形式呈现，而不是单一的确定性残差。因此，物理模型既没有被丢弃，也没有被作为精确的约束强加；相反，其预测被视为不完美的信息，其系统性误差可以从观测中概率学习得到。

鲁棒的不确定性量化对于有效利用复杂动态系统的预测结果至关重要，特别是那些受非线性动态影响且受观测噪声干扰的系统[12]。在实际应用中，预测的可靠性不仅取决于其准确性[1]，还取决于其以信息丰富且校准的方式量化不确定性的能力。点预测看似易于理解，但在最好用非线性模型描述的系统中，它们无法传达相关可能的结果范围，这对实际决策至关重要。可以说，真正的预测从来不是一个点值，而是一个分布。为了确保原理性的不确定性量化，所有预测模型都被调整以产生概率输出：通过核包装[16]将物理模型的集合转换为分布，并为神经网络配备混合密度网络（MDN）[17]输出层。采用了一种混合策略[16]，将基于模型的分布与气候基线相结合，以提高预测能力和鲁棒性。使用Lorenz63系统[18]作为受控测试平台，通过引入可调的结构误差到系统方程中、通过调整初始条件不确定性来模拟数据同化的效果以及改变观测噪声水平，构建了一系列实验设置。这种设置使得可以系统地比较不同模型不完善程度、预测提前时间和数据质量的物理模型、数据驱动模型和物理校正模型。对数分数[15]是唯一的适用于概率预测的局部适当评分规则，用于量化预测中的信息；它提供了统一的评估指标，并确保了训练和评估之间的一致性。

实验结果表明，物理校正模型在大多数设置中都一致性地优于单独的物理模型和数据驱动模型。有趣的是，物理校正模型的性能对物理模型质量的变化具有一定的鲁棒性，并且似乎显著受益于改进的初始条件估计。也许概率校正为整合物理和数据驱动视角提供了可靠且可解释的途径，并为在不确定性条件下预测复杂系统提供了通用策略。

本文的贡献包括：(i) 它发展了一种混合模型校正的概率表述方法，其中数据驱动模型学习与不完美物理模型相关的预测误差的条件分布，而不仅仅是逐点校正；(ii) 它引入了一个测试平台框架，使用Lorenz63系统作为示例，该框架具有可调的结构模型误差、观测噪声和数据同化保真度，以系统地评估物理模型、数据驱动模型和混合预测策略；(iii) 它证明了在这种测试环境下，概率混合方法在广泛条件下优于单独的物理模型和数据驱动模型，并且明显优于基于MSE的逐点残差校正；(iv) 它强调了改进整个预测引擎的实际重要性，并展示了数据同化在实现物理模型精细化好处中的关键作用，从而为整合物理模型和数据驱动模型以应对复杂动态系统提供了通用的指导。

**物理模型**
随着数字计算的兴起，预测复杂动态系统越来越依赖于基于第一原理的物理模型，并通过参数化和简化进行增强。这些物理模型通常以基于基本物理定律（如质量守恒、动量守恒和能量守恒）的偏微分方程或常微分方程的形式存在。这些模型长期以来一直是科学理解和预测建模的基础。

**数据驱动模型**
在另一端的是数据驱动的统计和经验模型，它们直接从观测中学习预测关系，而不依赖于对物理定律的显式知识。这类模型包括长期的回归和其他统计时间序列模型[1][2]。最近，机器学习的进步产生了高度表达力的数据驱动模型，这些模型能够利用大量历史数据，有时甚至可以挑战传统方法。

**概率预测**
尽管物理驱动和数据驱动的预测模型变得越来越复杂，但在大多数文献中仍然普遍使用点预测（即为未来系统状态产生单个点估计）。虽然这样的预测易于生成，但它们未能考虑任何形式的不确定性，因此在实际应用中具有误导性和不可靠性。预测中的不确定性来源于多种来源，包括测量误差等。

**物理校正的混合方法**
物理信息驱动的机器学习提供了一种重要的途径，通过将控制方程、守恒定律或其他物理约束嵌入学习过程中来结合物理洞察和数据[7][8][9]。当控制方程足够明确且观测数据有限时，这些方法特别有价值。然而，它们的有效性部分取决于所施加的物理信息的充分性，以及...

**评估指标**
在本研究中，模型训练和评估均使用对数分数进行，这是一种适用于概率预测的适当评分规则。适当的评分规则因能够减少对冲而受到赞誉。如果实际的数据生成分布可用，它将获得最佳预期分数，但在无限预测结果档案的极限情况下，只能保证不会被超越。对数分数是对数概率的负值。

**实验结果**
为了评估物理模型、数据驱动模型和物理校正模型的性能，使用Lorenz63系统进行了一系列受控实验。根据Lorenz[18]的方法，通过使用经典的四阶Runge-Kutta方法[52]和0.01的模拟时间步长对系统进行数值积分来定义真实轨迹。每0.05时间单位采样一次观测值。下面报告的结果集中在x的边际概率预测上。

**结论**
本研究基于Lorenz63系统，在受控环境中调查了物理模型、数据驱动模型和混合（物理校正）模型的比较预测能力。提出了一种物理校正方法，其中数据驱动模型作为LSTM实现，并配备MDN输出层，用于概率纠正不完美物理模型的系统性错误。通过将物理模型视为一个可能需要纠正的先验而不是硬性约束，所提出的方法...

**CRediT作者贡献声明**
Tianlin Yang：写作——审阅与编辑、写作——原始草稿、可视化、验证、方法论、调查、正式分析、数据管理。杜海亮：写作——审稿与编辑、写作——初稿撰写、验证、指导、项目管理工作、方法论研究、调查、资金筹集、概念构思；
阿斯莱特·路易斯（Louis Aslett）：写作——审稿与编辑、指导；
史密斯·伦纳德（Leonard Smith）：写作——审稿与编辑、指导。

**利益冲突声明**
作者声明：他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

作者名单：
杨天霖（Tianlin Yang）、杜海亮（Hailiang Du）、阿斯莱特·路易斯（Louis Aslett）、史密斯·伦纳德（Leonard Smith）
英国及其北爱尔兰地区的达勒姆大学（Durham University）