当变压器遵循物理定律：一种基于物理原理并运用符号回归技术的变压器，用于实时监测井底压力变化

《Engineering Applications of Artificial Intelligence》：When transformers obey physics: A physics-guided transformer with symbolic regression for real time monitoring of flowing bottom-hole pressure

　　卡斯帕·丹尼尔·阿德努齐|尼·索瓦·拉里耶-阿杰伊|塔希鲁·阿卜杜勒-穆明|夸梅·萨科迪|塞缪尔·埃尔祖阿加纳库马西夸梅·恩克鲁玛科技大学土木与地质工程学院石油工程系摘要大多数用于预测流动井底压力（FBHP）的机器学习模型要么是黑箱模型，虽精度高但缺乏可解释性；要么是白箱模型，虽具有透明度，但往往缺乏捕捉数据细微差别的灵活性和预测能力。这类模型主要以数据为驱动，常常忽视物理定律，从而导致预测结果虽准确却与物理事实不符。为弥补这一缺陷，本文提出了一种基于物理原理的变换器模型，用于预测倾斜生产井中的FBHP，从而在精度与可解释性之间取得平衡。该模型采用双输入架构，结合物理变量与连续的生产数据，并通过基于领域知识的损失函数确保物理一致性。在来自4口生产井的1329个样本上经过训练和测试后，该模型的平均绝对误差为38.31磅/平方英寸绝对值，均方根误差为77.19磅/平方英寸绝对值，平均绝对百分比误差为1.10%。为提升可解释性，研究人员采用符号回归方法推导出能反映物理规律的封闭形式表达式，并通过敏感性分析进行验证，其对应的平均绝对误差为158.03磅/平方英寸绝对值，均方根误差为233.37磅/平方英寸绝对值，平均绝对百分比误差为3.83%。此外，还通过蒙特卡洛丢弃法对预测结果的不确定性进行了量化，得出预测值的下限到上限（P10–P90）范围约为135磅/平方英寸绝对值，且95%预测区间校准良好（校准误差为0.030）。趋势分析表明，基于物理原理的变换器模型与符号回归方程均能得到符合物理规律的趋势结果。该框架提供了一种高性能且具有可解释性的模型，能够在预测FBHP时保持物理合理性。引言当流体（油、气及水）从石油储层及附近含水层持续流入生产井时，生产层深度处的压力，即流动井底压力（FBHP），是评估储层性能、优化生产作业、设计举升系统、控制每桶原油成本、规划水力压裂处理以及量化修井作业所需的关键参数（Agwu等人，2025；Muravyova等人，2020；Nashed和Moghanloo，2025；Tariq，2018）。FBHP决定了储层与井筒之间的压力差，直接影响烃类的流动性和生产效率。因此，在从初始完井到后期优化乃至废弃处理的整个井生命周期中，准确及时地确定FBHP至关重要。尽管FBHP非常重要，但由于技术、经济及操作方面的限制，要获得精确的实时FBHP测量值仍然面临挑战。历史上，石油天然气行业一直依赖永久性井下压力计来实时直接测量FBHP（Gonzalez等人，2015）。这类压力计能够提供高分辨率的压力数据，对于生产监测、井试及压力瞬态分析极为重要（Gustafsson和Noble，2013；Mahrooqi等人，2013；Mirza等人，2009；Toelsie等人，2014）。然而，这类设备的部署需要大量资金投入，且需专业安装并频繁校准才能保持精度（Agwu等人，2025）。此外，传感器漂移、设备故障以及恶劣的井下环境往往会影响数据可靠性，而进行维护或更换操作则会导致生产中断、相关风险及经济损失（Awadalla和Yousef，2016；Tariq，2018）。鉴于这些问题，人们尝试通过机理模型或经验关联式来获取准确的FBHP数值。经验关联式，如Duns Jr和Ros（1963）、Hagedorn和Brown（1965）、Aziz等人（1972）、Beggs和Brill（1973）、Mukherjee和Brill（1985）所提出的方法，是基于实验室或实验以及现场测量数据，建立表面参数与FBHP之间的数学关系；而机理模型，如Kabir和Hasan（1986）、Ansari等人（1994）、Chokshi等人（1996）以及Gomez等人（2000）提出的方法，则是基于描述井下流体流动物理行为的理论原理，构建预测FBHP的方程式（Yahaya和Gahtani，2010）。尽管经验关联式和机理模型都取得了不错的成果，但它们也存在明显的局限性。例如，经验关联式：（1）通常仅在其开发所依据的实验或实验室数据范围内有效，因此当应用到实际现场条件时往往会产生不准确的预测结果；（2）缺乏通用性，因为它们通常是针对特定的流动状态、条件或参数设计的；（3）需要诸多假设，如稳态流动、粘度恒定、理想气体状态以及可压缩性效应可忽略等。而机理模型则存在以下问题：（1）计算复杂且耗时；（2）可能需要大量的输入数据，而这些数据并非总能获得或易于测量；（3）基于理想化假设，因此在复杂的现实条件下精度会下降；（4）对新条件的适应能力有限，也无法普遍适用（Agwu等人，2025；Ahmadi和Chen，2019；Awadalla和Yousef，2016；Pucknell等人，1993；Takacs，2001；Tariq，2018）。鉴于井下压力计部署过程中存在的固有测量难题，以及经验关联式和机理模型所具有的局限性，机器学习与人工智能逐渐成为无需频繁干预生产井或做过多假设即可获得准确FBHP值的有效途径。计算智能领域的进步使得黑箱机器学习模型成为估算FBHP的强大工具。人工神经网络因其无需明确考虑流体力学原理，就能模拟多个输入参数与FBHP之间的高度非线性关系，而备受青睐（Ashena等人，2010；Firouzi和Rathnayake，2019；Jin等人，2024；Osman等人，2005）。例如，Spesivtsev等人（2018）开发并训练了一个包含两层隐藏层的神经网络模型，用于预测FBHP。在该研究中涉及的众多流动系统及井型中，该预测模型的预测结果与标准化均方根误差相比，偏差在5%以内。其他用于预测FBHP的黑箱机器学习算法还包括自适应神经模糊推理系统（ANFIS）（Al-Shammari，2011）、支持向量机（Adebayo等人，2013；Di等人，2016）、支持向量回归（SVR）（Nait Amar和Zeraibi，2019；Zhang等人，2020）、径向基神经网络（Memon等人，2015；Yin和Zhang，2021）、随机森林（Ignatov等人，2018）、极端梯度提升算法（XGBoost）（Ignatov等人，2018；Terminiello等人，2022）等。Al-Shammari（2011）利用795个数据样本来开发并评估了一个ANFIS模型，其平均绝对误差为4.9%。Di等人（2016）使用121个数据点训练并测试了支持向量机模型，结果显示其平均绝对误差和平均绝对相对误差分别为0.27兆帕和2.29%。Ignatov等人（2018）利用数值模拟器中的3500个数据点，开发了基于树的集成模型，即随机森林和XGBoost，用于预测FBHP。Yin和Zhang（2021）比较了反向传播神经网络（BPNN）与径向基神经网络（RBNN）的性能，他们使用了1074个数据点，结果表明RBNN的性能更优，其均方根误差为6.5兆帕，平均绝对百分比误差为13.6%。Zhang等人（2023）开发了一种融合卷积神经网络（CNN）与门控循环单元（GRU）的混合模型，该模型被命名为CNN-attention-GRU，通过贝叶斯优化算法进行优化，其性能表现良好，平均绝对百分比误差仅为0.025%。尽管黑箱模型有所改进，但它们缺乏可解释性，这使得工程师难以理解其中的物理机制，也无法将模型结果推广到训练数据之外的场景。这种“黑箱”特性阻碍了这类模型在需要透明度和物理验证的决策流程中的应用。为提升可解释性，研究人员开始探索白箱机器学习以及基于物理原理的机器学习方法。Tariq（2018）使用206个数据点比较了普通神经网络与经过粒子群优化算法优化的神经网络在预测FBHP时的性能，结果表明PSO-ANN模型的平均绝对百分比误差为3.1%，决定系数为0.97，性能优于普通神经网络。随后，Tariq等人（2019）在超过30,000个数据点的基础上，采用了类似的方法，并额外加入了趋势分析环节。Al Shehri等人（2020）分析了功能神经网络（FNN）、长短期记忆网络（LSTM）以及普通神经网络在FBHP估算方面的预测能力，研究发现普通神经网络的性能优于其他算法，这促使人们进一步开发相应的白箱模型。Zolfagharroshan和Khamehchi（2021）利用遗传编程技术，基于伊朗某油田的450个数据点，开发出了用于预测FBHP的显式方程式。Nwanwe等人（2023）将普通神经网络从黑箱模型转变为可实时预测FBHP的可视化数学模型，这种可视化模型在性能上优于机理模型和经验关联式。Nwanwe和Duru（2023）使用包含1001个样本的数据集，其中80%用于训练，20%用于测试，开发了一个ANFIS黑箱模型，随后将该优化后的黑箱模型转化为复杂的白箱模型。最近，Agwu等人（2025）成功利用多元自适应回归样条技术开发出了FBHP估算模型，其精度较现有的黑箱模型有所提升，该模型的均方根误差、平均绝对百分比误差以及相关系数分别仅为130、4.2%和0.92。其他常用的白箱机器学习模型还包括群组数据处理方法（GMDH）（Ayoub等人，2015）、遗传编程（Zolfagharroshan和Khamehchi，2021）、ANFIS（Nwanwe和Duru，2023）以及经过遗传算法优化的神经网络（GA-ANN）（Adenutsi等人，2026）。虽然白箱模型具有透明性和可解释性，但其对应的显式数学表达式极为复杂（Agwu等人，2025）。此外，目前所讨论的所有模型均为纯数据驱动型，没有物理约束来引导学习过程。也有少数研究人员将基于物理原理的学习方法融入数据驱动型算法中，以引导学习过程（Jin等人，2024；Molinari和Sankaran，2021）。这类模型将物理约束、守恒定律或已知的流动关系纳入数据驱动型算法中，从而提升模型的稳健性和通用性。Jin等人（2024）的研究表明，无论是基于数据的神经网络模型还是基于物理原理的神经网络模型，都能利用现场数据预测FBHP，其标准化平均绝对误差约为10%。不过研究也显示，基于物理原理的神经网络模型在预测FBHP方面的表现更好。尽管这类模型的性能更优，但它依然属于黑箱模型，缺乏透明度和可解释性。尽管目前在利用黑箱模型和白箱模型预测FBHP方面已经取得了一些进展，但机器学习领域仍在致力于开发能够让计算机系统无需明确编程即可执行特定任务的算法和统计模型（Pandey等人，2019）。从本质上讲，机器学习旨在回答一个根本性问题：计算机能否超越预先设定的指令，自主探索出完成某项任务的方法？（Chollet，2021）。在那些需要分析随时间变化的模式的应用场景中，比如模拟石油天然气井中FBHP的时空变化规律，这种从数据中学习的能力显得尤为重要。因此，有必要采用具备从序列数据中学习能力的模型。当顺序性是学习任务的核心要素时，比如在预测FBHP这类问题上，使用序列模型是十分合理的。这类模型旨在按顺序处理数据（Huang等人，2022），即将数据视为分布相同的观测值。其中一种核心架构就是循环神经网络（RNN），它具有会随时间变化的隐藏状态，这使得模型能够保留过去时间步的信息，并将其应用于当前的预测中。Antonelo等人（2017）证明，经过单层回声状态网络（ESN）训练的RNN，在估算传统气举采油井的井底压力方面具有更好的性能。然而，传统RNN仍存在诸多缺陷，如梯度消失或爆炸问题、短期记忆效应、对输入顺序和初始化条件的敏感度过高、难以处理长距离依赖关系、倾向于依赖最新数据、序列计算方式限制了并行化应用等，这些因素都制约了其性能提升。门控循环单元（GRU）和长短期记忆网络（LSTM）曾被视为解决这些问题的替代方案，但这些架构也无法完全消除相关问题（Chung等人，2014）。Fernandes等人（2024年）、Zhang等人（2023年）、Zhu等人（2022年）以及Olamigoke和Onyeali（2022年）展示了利用GRU和LSTM预测FBHP的应用。由于GRU和LSTM并未完全解决RNN存在的问题，因此人们开始引入变换器来改进现有的序列模型架构，尤其是解决梯度消失问题（Vaswani等人，2017年）。变换器最初是在自然语言处理领域被提出的，它无需递归结构，而是依靠自注意力机制同时学习序列中所有元素之间的关系，这一特点对于捕捉数据中的时间动态非常有利，比如那些影响FBHP的因素。尤其当变换器通过将物理定律和约束条件嵌入学习过程来遵循物理规律时，模型的泛化能力会得到提升，从而实现符合物理原理的预测。正是这种能力使得变换器成为FBHP预测领域的新的发展方向。不过，与其他深度学习模型一样，变换器也可能成为“黑箱”，限制决策过程的透明度。因此，只有解决了其“黑箱”问题，变换器在FBHP预测中才能发挥真正的作用。符号回归通过发现描述输入变量与FBHP之间关系的显式数学表达式，来弥补这一缺陷。将符号回归与基于物理原理的变换器模型相结合，可以从学习到的时间特征中提取出符合物理规律的分析公式，从而有效连接数据驱动的学习与领域物理知识。这种方法能够生成可解释的模型，为井筒行为提供更深入的洞察。这样的框架有望通过提供快速、准确且具有物理可解释性的预测，彻底改变实时FBHP监测的方式，同时也有助于优化现代石油作业中的生产流程并实现更主动的储层管理。尽管机器学习模型在FBHP预测中的应用越来越广泛，但大多数模型本质上都是“黑箱”，缺乏透明性和可解释性；而那些“白箱”模型虽然具备透明度，却往往缺乏捕捉数据细微差别的灵活性和预测能力。此外，现有文献中的几乎所有机器学习模型都完全是数据驱动的，没有融入储层和井筒中流体流动的物理原理和约束条件。这可能导致预测结果在数值上准确，但在物理上却不合理，尤其是在复杂场景中。少数试图纳入物理约束的研究仍然依赖“黑箱”架构，因此可解释性问题仍未得到解决。本研究通过训练一种遵循物理规律的变换器模型来填补这一空白，该模型既能够从历史生产数据中学习，又以领域原理为基础，并通过符号回归实现可解释性。这种基于物理原理的变换器模型是通过双输入路径实现的，它结合了基于物理和基于序列的输入，同时还运用了受领域约束的损失函数。通过嵌入具有物理意识的表示形式并强制遵循现实关系，所提出的模型满足了实现准确、符合物理原理且可解释的FBHP预测的关键需求。该模型与作为基准的标准变换器模型进行了比较。为了解决可解释性问题，本研究在基于物理的模型之外还采用了符号回归，该方法从模型的输入输出行为中提取出封闭形式的数学表达式，从而得出与已知储层物理原理相一致的可解释方程。随后通过一阶偏导数敏感性分析来验证符号回归方程的物理一致性，再利用该方程对未知井的数据进行测试，以评估模型的泛化能力。此外，还采用了蒙特卡洛 Dropout采样法作为不确定性量化手段，在推理过程中通过对训练好的模型进行随机前向传播，来评估模型的预测可靠性。所提出的框架不仅具备出色的预测性能，还能弥合“黑箱”模型预测与可解方程之间的差距。

数据获取与预处理
本研究使用了从四口倾斜生产的井中收集的1329个样本构成的综合数据集，以此构建FBHP预测模型。这些井位于西非几内亚湾的一个油田中。表1列出了研究中所用井的各项参数，包括井的倾角、油管尺寸、总测量深度以及实际垂直深度。此外还研究了产出流体的储层流体性质。

结果与讨论
在本研究中，1329个数据点被分为两组，比例为80:20。训练集包含1063个样本，测试集包含266个样本。为了预测FBHP，研究人员开发并评估了两种深度学习架构：(1)标准变换器模型；(2)所提出的PGT模型。标准变换器作为纯粹数据驱动的基准模型，而PGT模型则将特定领域的物理信息融入学习过程之中。

结论
本研究提出了一种基于物理原理的变换器（PGT）模型，该模型能够根据井的生产数据预测流动底孔压力（FBHP），并将特定领域的知识融入变换器结构中。随后通过符号回归对该模型的输出进行建模，从而生成数学表达式，显著提升了FBHP预测的准确性。此外，还采用了蒙特卡洛 Dropout采样法作为不确定性量化手段，通过在对训练好的模型进行随机推理的过程，来评估PGT模型的预测可靠性。

CRediT作者贡献声明
Caspar Daniel Adenutsi：概念设计、数据整理、形式分析、研究调查、方法设计、项目管理、资源协调。Nii Sowah Laryea-Adjei：概念设计、形式分析、方法设计、可视化、初稿撰写、修订编辑。Tahiru Abdul-Mumin：研究调查、软件应用、可视化。Kwame Sarkodie：模型验证、修订编辑。Samuel Erzuah：修订编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
作者感谢广大研究社区提供的有益讨论和见解，这些都对本文的完成起到了间接推动作用。本研究未获得任何资金支持。