深水钻井隔水导管系统的主动时延反冲控制:一种基于Q学习的方法
《Ocean Engineering》:Active time-delay recoil control for deepwater drilling riser systems: A Q-learning-based approach
【字体:
大
中
小
】
时间:2026年02月11日
来源:Ocean Engineering 6.3
编辑推荐:
艾志东|严守祥|张宝林
中国山东省青岛市266061,青岛科技大学自动化与电子工程学院
摘要
紧急断开后深水钻井隔水管的后坐力控制对海洋工程安全至关重要。为解决现有研究的局限性,即张力器非线性特性耦合不足以及固定时间延迟无法适应系统动态变化的问题,本文提出了一种基于
艾志东|严守祥|张宝林
中国山东省青岛市266061,青岛科技大学自动化与电子工程学院
摘要
紧急断开后深水钻井隔水管的后坐力控制对海洋工程安全至关重要。为解决现有研究的局限性,即张力器非线性特性耦合不足以及固定时间延迟无法适应系统动态变化的问题,本文提出了一种基于Q学习优化主动时间延迟的智能反馈控制方法。首先,通过考虑平台起伏运动、流体摩擦阻力,并分析非线性活塞摩擦、压力损失和偏转角,建立了隔水管-张力器-排出流体耦合系统的非线性后坐力模型,提升了动态描述的准确性。其次,构建了具有前馈补偿的时间延迟依赖型反馈控制器以抑制隔水管后坐力。第三,在Q学习框架下,根据平衡系统性能和控制成本的奖励函数,智能调整最优时间延迟参数。仿真结果表明,所提方法不仅显著提升了后坐力抑制效果,还实现了控制成本降低、稳态性能提升以及响应时间缩短的多目标最优平衡。
引言
深水钻井隔水管系统是连接钻井平台与海底井口的关键设备,它在将钻井泥浆从平台安全高效地输送到井口的同时,还能将系统与外部海水隔离开来(Liu等人,2021)。当钻井平台遭遇恶劣海洋环境或失去动态定位控制时,就需要在下部海洋隔水管组件与防喷器之间进行紧急断开。紧急断开后,由于剩余的拉力作用,隔水管系统会向上位移,这种后坐力现象可能引发灾难性故障。如果没有有效的控制策略,这种后坐力运动可能会损坏钻井设备,甚至导致海洋环境污染。因此,开发有效的后坐力控制方法以确保隔水管安全,已成为海洋工程领域的研究热点之一(Liu等人,2022a;Liu等人,2021;Wang等人,2022b;Zhang等人,2023a;Zhang等人,2024a;Zhang等人,2024b;Zhang等人,2025a;Zhang等人,2023b;Zhang等人,2023c;Zhao等人,2025)。自1992年“Discovery 534”号钻井平台在墨西哥湾进行首次全尺寸隔水管后坐力测试以来,许多学者从不同角度研究了隔水管的后坐力响应(Chen等人,2019;Lang等人,2009;Li等人,2016;Li等人,2024;Liu等人,2018;Liu等人,2022b;Meng等人,2018;Meng等人,2020;Gr?nevik,2013;Pestana等人,2016;Wang等人,2021;Wang和Gao,2021)。近年来,隔水管系统的动态建模以及高性能后坐力控制方法的设计取得了显著进展。研究表明,隔水管的后坐力响应表现出耦合动力学行为,涉及张力器、隔水管本身、平台起伏运动以及流体排出产生的摩擦阻力等关键要素。在Zhang等人(2024b)的研究中,建立了质量-阻尼器-弹簧模型和有限元离散模型,通常假设隔水管为刚性结构,且简化了张力作用力。在此基础上,Zhang等人(2024a)通过引入张力力的高阶非线性项,提出了隔水管的非线性后坐力模型。需要指出的是,如Wang等人(2022a)所讨论的,张力器活塞的非线性摩擦、压力损失以及偏转角也应纳入后坐力分析中。相关研究显示,这些非线性模型与基于线性弹簧的张力器模型之间存在显著差异。随着钻井作业向深水及超深水区域发展,张力器、隔水管和泥浆排出的耦合效应愈发突出。然而,关于液压气动张力器系统的关键非线性特性(内摩擦和压力损失)对耦合后坐力响应的影响,相关研究仍较为匮乏。本文的研究动机之一,就是建立更为精确的液压气动张力器非线性模型,并将其与隔水管模型和泥浆排出模型相结合,从而研究更一般的多体耦合系统的后坐力控制问题。
众所周知,时间延迟在现实世界的控制系统中普遍存在,包括网络控制系统(Ai等人,2025;Sun等人,2021)、车辆悬架系统(Chen等人,2024)以及电力系统(Gu等人,2025)。通常情况下,时间延迟会降低系统性能,甚至导致系统不稳定或崩溃。因此,与时间延迟系统相关的稳定性分析和控制综合问题受到了广泛关注。虽然时间延迟通常会对控制系统性能产生不利影响,但在某些系统中,它也可能有助于系统稳定性和性能的提升,即产生积极影响。例如,在Zhang等人(2023b)的研究中,人们有意在控制通道中引入时间延迟,以此开发出主动控制器。此外,还有研究探讨了通过时间延迟反馈来控制后坐力,进而探索减轻钻井隔水管系统后坐力响应的潜力。值得注意的是,相关研究中考虑的时间延迟均为恒定值,无法灵活适应系统动态和外部条件的变化。研究多个或时变延迟显然更具通用性,也能更有效地提升系统性能,这也是本文的另一个重要研究动机。作为一种无模型强化学习框架,Q学习已在众多工程和科学领域得到广泛应用(Wang等人,2023;Xiang等人,2025)。Q学习在优化控制器中的时变延迟方面展现出良好的可行性和优越性。一方面,时间延迟参数可以自然地作为Q学习框架中的动作空间,通过动态更新动作价值函数(Q函数)来跟踪延迟变化并实现延迟调整的智能优化。另一方面,通过设计能够平衡控制性能和控制成本的适当奖励函数,再结合试错学习对整个动作空间的探索,进一步提升了该方法的全局优化能力。
基于上述考虑,本文旨在考虑张力器活塞的非线性摩擦、压力损失和偏转角对隔水管后坐力响应的影响,进而基于主动时间延迟和Q学习算法,为钻井隔水管开发一种智能反馈控制器。本文的主要贡献如下:
•通过纳入非线性摩擦、压力损失和偏转角对后坐力动态的影响,建立了隔水管-张力器-排出流体耦合系统的非线性后坐力模型,同时考虑了平台运动和流体摩擦阻力的影响。
•与现有的先进后坐力控制器设计相比,所提出的Q学习优化时间延迟方法在抑制隔水管后坐力方面效果显著,且在降低控制成本、提升稳态性能以及缩短响应时间之间实现了良好的平衡。
•提出了一种具有前馈补偿的比例积分式后坐力控制器,其中采用基于径向基函数神经网络(RBFNN)的预测器,通过建立当前系统状态与预测扰动值之间的直接映射,来估计系统扰动。
章节节选
张力器的理论模型
典型的直动式张力器(DAT)由高压空气容器(HPAV)、低压氮气容器(LPNV)、液压油管道、液压缸、蓄能器以及防后坐力控制阀(ARCV)组成。紧急断开后,隔水管所需的变化顶张力主要由液压缸两侧的压力差提供。基于这些组件,本节建立了耦合张力理论模型。
图1 隔水管后坐力控制的问题描述
本节旨在描述紧急断开后隔水管的后坐力行为,为此建立了隔水管-张力器系统的非线性后坐力控制模型。此外,还提出了一种具有前馈补偿的比例积分式后坐力控制器,其中采用基于RBFNN的预测器来估计系统扰动。
后坐力控制系统的稳定性分析
将式(22)代入式(17),可得闭环控制系统表达式为:
z˙(t)=(A+BK1)z(t)+BK2z(t?τ)+BK3∫t?τtz(s)ds+BK4ξ^(t)+Dξ(t)
此外,根据式(26)和式(28),可从扰动到输出的传递函数可表示为:
G(s)=C[sI?A?BK1?e?τsBK2?(1?e?τs)BK3/s]?1(BK4+D)
需要指出的是,如果满足条件C[A+BK1+BK2+BK3]?1(BK4+D)=0,则前馈控制增益K4可通过以下公式计算:
C(A+BK1+BK2+BK3)?1BK4=?C(A+BK1+BK2+BK3)
基于Q学习的时间延迟优化
现有文献(Zhang等人,2023b)采用固定时间延迟来设计后坐力控制器,由此可知,不同的人工时间延迟值会导致不同的防后坐力动态响应。实际上,从控制器实现的视角来看,为不同的状态空间和/或特定后坐力区间设置最优时间延迟值是一种有效方法。因此,本文提出了一种基于Q学习的控制算法。
数值仿真
本节通过数值仿真模拟隔水管的后坐力动态响应,以验证所提出的具有时间延迟和前馈补偿的比例积分式后坐力控制器的有效性和优越性能。首先,根据隔水管-张力器系统推导出后坐力动态的系统矩阵,然后通过第3节中提出的RBFNN来估算作用于后坐力系统的总扰动。接着,对四种不同控制器方案进行了比较分析。
结论
本文提出了一种用于深水钻井隔水管后坐力控制的新型时间延迟控制策略。基于对非线性活塞摩擦、压力损失和偏转角的全面考虑,建立了新的广义非线性后坐力模型,并据此推导出了严格的渐近稳定性准则以及涉及时间延迟参数的控制器设计条件。为优化系统性能与控制能耗之间的平衡,本文采用了Q学习算法。
CRediT作者贡献声明
艾志东:方法论,原始稿撰写,审稿与编辑。
严守祥:概念构思,软件应用,原始稿撰写。
张宝林:研究实施,项目监督,审稿与编辑。
利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。
致谢
本研究部分得到了国家自然科学基金项目(编号62473221)、山东省自然科学基金项目(编号ZR2024MF006和ZR2025MS988)以及青岛市自然科学基金项目(编号24-4-4-zrjj-165-jch)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号