关于液压支架支撑动力学及自适应智能控制方法的研究 陆旭亮、 张琳、 魏东

《Machines》:Research on the Supporting Dynamics and Adaptive Intelligent Control Method for Hydraulic Support Xuliang Lu, Lin Zhang and Dong Wei

【字体: 大 中 小 】 时间:2026年05月02日 来源:Machines 2.5

编辑推荐:

  摘要 液压支护的智能化水平直接影响整个全机械化采煤工作面的安全开采能力和效率。为了适应煤层复杂的、不断变化的地质条件以及顶板特性的变化,对其支撑姿态进行自适应智能控制对于实现智能化采矿至关重要。本文提出并验证了一种新的自适应调整方法,该方法利用液压支护的动

  摘要 液压支护的智能化水平直接影响整个全机械化采煤工作面的安全开采能力和效率。为了适应煤层复杂的、不断变化的地质条件以及顶板特性的变化,对其支撑姿态进行自适应智能控制对于实现智能化采矿至关重要。本文提出并验证了一种新的自适应调整方法,该方法利用液压支护的动力学特性和迁移强化学习来调整支撑姿态。首先,分析了基于液压支护与煤层围岩之间耦合关系的支撑动力学,并设计了一个基于马尔可夫决策过程的支撑强化学习模型。在此基础上,提出了一种梯度优化的近端策略优化方法,并构建了一个虚拟动态模拟器来训练支撑姿态控制策略。为了将虚拟训练的策略应用到实际的液压支护中,并弥合支撑策略模拟与现实之间的差距,引入了一种渐进式神经网络架构来减少在实际条件下的执行差异。实验结果表明,所提出的方法能够有效地自主调整支撑姿态,以适应复杂多变煤层顶板的变化。此外,这项工作为煤矿中智能支护机器人的发展提供了理论基础和实际工程应用。

1. 引言
目前,煤矿智能化已成为中国实现安全、高效和绿色煤炭生产的一条必然途径。然而,由于煤层分布的复杂性和恶劣的采矿环境[1],采矿设备的智能化水平和可靠性仍然有限。随着人工智能的发展,煤炭采矿业正逐渐将智能化技术融入煤炭生产和运营中,以提高采矿作业的自动化和智能化水平[2]。作为智能采煤工作面的核心组成部分,液压支护主要通过其顶板结构来稳定煤层围岩,从而为工人和其他采矿设备提供安全的工作空间[3]。近几十年来,随着开采深度的增加,地质环境变得越来越复杂,这对液压支护适应不断变化的煤层顶板提出了重大挑战[4,5]。
近年来,学者和研究机构一直在努力通过监测液压支护的支撑力和姿态,结合液压支护的运动学特性[6],来解决支撑围岩顶板的问题。液压支护的动力学特性,包括正向运动学、逆向运动学和静力学,是其姿态感知和调节的基础。支撑力学监测主要集中在分析顶板状态、顶板运动模式以及确定合理液压支护阻力的方法[7]。WELSON估计方法[8]表明,通过采用合理的支撑技术来加强岩石并重新分配高应力,可以提高顶板的稳定性。支持强度的经验公式[9]为设计支撑围岩的机制奠定了基础。中国提出的理论方法[10]定性地研究了液压支护与煤层围岩顶板之间的耦合关系。当前的姿态监测研究分为两个领域:使用接触传感器测量液压支护的姿态[11],以及使用虚拟现实技术建模虚拟原型[12,13]。这包括通过数字孪生技术[14]从液压支护获取关键传感器数据,以虚拟监控其运动状态[15]。在液压支护姿态调节和预测方面,参考文献[16]提出了一种基于LSTM的方法来预测尾梁倾角,解决了在电液系统中自适应顶板垮落时的控制问题。在参考文献[3]中,开发了使用牛顿-拉夫森法、割线法和布罗伊登法的改进算法,以实现快速控制和智能管理。对于姿态检测和模型预测,参考文献[17]基于空间三点平面原理建立了自位置和相对位置的模型。在实践中,液压支护的顶板结构直接与围岩顶板接触并相互作用,以维持动态平衡。因此,仅分析支撑运动学或力学特性无法解决支撑姿态的自适应调整问题。然而,液压支护与围岩顶板之间的交互信息可以促进支撑姿态的自主调整,以适应不断变化的顶板条件。
强化学习主要用于解决与环境交互过程中的自主决策和控制问题[18],为液压支护在与煤层顶板交互时自主调整支撑姿态提供了一种新方法。它已广泛应用于自动驾驶[19,20]、机器人控制[21,22]、游戏竞赛[23,24]、工业自动化[25,26]和无人机协作[27]等领域。同时,为了解决实际机器人控制领域数据样本不足的问题,采用了基于仿真到现实技术的迁移学习方法,使得在仿真中通过强化学习训练出的策略能够转移到现实世界场景中[28]。例如,Rabinowitz引入了渐进式神经网络,这是一种专门设计用于促进跨序列任务迁移的新架构。这种方法允许在真实机器人上快速进行策略学习[29],为液压支护姿态的仿真到现实自主调整提供了实际支持。
现有的液压支护姿态控制研究大多依赖于在单一操作条件下的固定策略或模型,对动态顶板变化的适应性有限,且对仿真到现实的迁移关注不足。为了解决这个问题,本文提出了一种基于迁移强化学习的支撑控制方法[30,31],该方法能够在仿真到现实的框架内进行策略学习和部署。构建了一个基于动力学的虚拟环境进行策略训练,然后将学到的策略转移到实际液压支护中。与现有方法相比,所提出的方法能够更好地适应复杂条件,提高姿态控制的稳定性和泛化能力。
本文的其余部分组织如下:第2节分析液压支护及其支撑环境的运动学特性。第3节基于马尔可夫决策过程建立支撑姿态的强化学习模型。第4节提出了一种自主决策和控制支撑姿态的方法。第5节开发了一个支撑虚拟动态模拟器进行策略训练,并分析了实验结果。最后,第6节对本文进行了总结。

2. 液压支护及其支撑环境的运动学分析
在智能化的煤矿工作面中,液压支护作为主要结构,通过支撑顶板和保护煤壁来确保安全的生产空间,同时依赖于工作面的底板。然而,液压支护作为一个动态平衡系统的一部分运行,其特征是与围岩的相互作用和相互制约。此外,支撑姿态会不断调整以适应煤层顶板的变化,确保对围岩环境的适应性。支撑姿态大致可以分为三种状态:抬头姿态、水平姿态和低头姿态,如图1所示。
2.1. 液压支护的运动学分析
液压支护保持顶板稳定的工作原理包括一个固定的基座,而顶板的姿态则通过支腿和稳定杆进行调整。液压支护在支撑过程中的运动可以建模为一个平面多连杆机构。该机构的运动学图如图2所示,具有两个自由度。在这个框架中,基座作为框架,支腿和稳定杆作为平面连杆的驱动器,顶板结构作为从动件。支撑姿态的解可以用函数表示为:
(1)
其中 y = [h θ φ β] 表示支撑姿态变量;s = [s1, s2] 表示驱动变量;:2→4 是一个非线性向量运算符,表示液压支护的运动学模型。
图2. 液压支护机构的运动学图:(a) 描述液压支护机构各部件位置关系的闭环向量方程示意图;(b) 液压支护机构拓扑和连接关系示意图。
根据图2中所示的液压支护的向量环模型,可以推导出向量环方程:
(2)
向量环方程的复数形式如方程(2)所示:
(3)
设 θ1 = α1 ? φ, θ11 = α2, θ5 = α3 + θ12, θ8 = α4 + θ12, θ4 = α5 + θ12, θ9 = α6 + β, 和 θ6 = α7 + β,其中 α1, α2, α3, α4, α5, α6 和 α7 是可以根据液压支护结构的几何尺寸计算出的已知量。因此,方程(3)可以表示为:
(4)
使用欧拉方程 ej? = cos? + jsin? 来求解方程(4)。此外,通过分离实部和虚部,可以得出液压支护各部件之间的位置关系。这种方法得出了液压支护位置和方向的运动学数学模型,表示为:
(5)
最后,根据其几何关系确定液压支护的支撑高度,如方程(6)所示:
(6)
假设支腿和稳定杆的长度 LIJ = s2 和 LDB = s1 是独立运动变量,方程(5)表示一个非线性超越方程,其中 (θ2, θ3, θ7, θ10, θ12, β, φ) 是需要确定的变量。因此,可以通过改变支腿的长度 s2 和稳定杆的长度 s1 来调整支撑姿态 β 和支撑高度 h;然而,这些参数之间的关系是非线性的。但是,支腿和稳定杆的长度不能根据支撑姿态角和液压支护的支撑高度来明确计算。

2.2. 液压支护的支撑环境
液压支护的支撑环境是指由液压支护与煤层顶板之间的耦合相互作用形成的动态平衡系统。这个环境可以量化为表示液压支护与煤层顶板在支撑过程中相应相互作用和相互约束的机械耦合关系。基于液压支护与围岩之间的耦合关系,将煤壁、液压支护和采空区中的垮落岩石视为弹性体。这使得可以使用无限承载梁模型来确定支腿支撑力和顶板沉降。然后,通过整合Qian等人[32]提出的液压支护与围岩的合力模型,可以建立支撑姿态与围岩的耦合力学关系,如图3所示。
图3. 液压支护与围岩的耦合:(a) 支撑姿态与围岩之间的耦合关系;(b) 顶板与顶板控制区域之间的耦合关系。
在图3所示的机械系统中,对单位宽度的岩梁进行微分分析,得到以下数学模型:
(7)
其中 p(x) 表示液压支护对顶板施加的垂直力;q(x) 表示上覆岩层作用在顶板岩梁上的载荷;E 对应于上覆岩层的弹性模量;I 表示上覆岩层关于中性面的惯性矩;y 是 x 的连续函数。
根据E. Winkler的弹性基础梁假设,在弹性承载压力区域内,承载压力值与每点的沉降量成正比[33]。假设液压支架的相对阻力系数为k,顶板岩石梁的沉降量为y,则液压支架对顶板的支撑力F可以表示为以下公式:(8) 其中β表示支架姿态角,γ表示支腿与垂直方向之间的角度。将公式(8)代入公式(7)并根据图3中所示的机械模型求解微分方程,可以得到液压支架上方顶板岩石梁的挠度曲线:(9) 其中表示液压支架和直接顶板的组合刚度,EI是顶板岩石梁的单位宽度弯曲刚度。公式(9)表明,当支架姿态角与周围岩层顶板的变形趋势角一致时,顶板挠度减小。这种减少的挠度增强了液压支架稳定周围岩层顶板的能力。同样,煤壁上方岩石梁的挠度曲线表示为:(10) 其中和分别对应于煤壁的刚度。对公式(9)和(10)的分析表明,煤壁和液压支架对顶板岩石梁的挠度和应力遵循近似指数函数。为了确保安全有效的顶板支撑,两条挠度曲线必须对齐,即在x = 0时,挠度-应力曲线平滑过渡。否则,如图4b所示,顶板岩石梁容易发生断裂(由黄色曲线表示),这可能对液压支架造成严重损坏。因此,根据y(0) = h(0),液压支架支腿与周围岩石之间的耦合关系可以表示为:(11) 图4. 液压支架和煤壁上方的顶板挠度曲线:(a) 合理的安全挠度曲线;(b) 不理想的危险挠度曲线。基于力学平衡区域理论,顶板岩石梁的不稳定性会使液压支架处于稳定千斤顶的拉伸或压缩工作范围内,从而显著降低其承载能力。假设忽略支腿和连杆机构上不均匀力引起的扭转效应,可以构建液压支架平面连杆系统的机械分析模型,如图5所示。图5. 液压支架的平面杆系机械模型。将顶盖、防片盾和顶盖分别视为力分析的隔离单元。随后,分析点O和A周围的力矩,得到扭矩平衡方程:(12) 其中O表示液压支架的瞬时速度中心,A是顶盖与防片盾之间的铰接点。l2表示从液压支架的套筒到点M的距离,l4是从点O到M的水平距离。b是从点M到稳定千斤顶的距离,即其作用位置。Fq表示作用在液压支架上的外部载荷,x表示该载荷的作用位置。f是顶盖与顶板之间的摩擦系数,而Fg和Fs分别作用在支腿和稳定千斤顶上的力。将稳定千斤顶的最大压力T和最大拉力T代入公式(12),可以得到液压支架的稳定千斤顶与周围岩石之间的耦合关系:(13) 然后从公式(13)得到稳定千斤顶与周围岩石之间的力平衡耦合曲线,如图6所示。图6. 稳定千斤顶与周围岩石之间的力平衡耦合曲线。图中的三条曲线代表液压支架力平衡区域的三个部分,即顶盖的后端到点α1、点α1到点以及点α2到顶盖的前端。3. 基于马尔可夫决策过程的支撑姿态强化学习模型液压支架的过程是其支撑姿态的复杂动态调整。如第2节所分析的,支撑姿态与周围岩石之间的耦合相互作用是使用强化学习训练支撑姿态自控制策略的基础。这种训练可以视为不断优化决策策略的过程。这种优化是通过液压支架与周围岩石环境之间的持续试错互动中的及时反馈来实现的。从积累的经验中得出的支撑动作可以实现最佳支撑姿态,以适应煤层顶板。然而,支撑姿态的状态变化过程遵循马尔可夫性质。本节建立了一个基于马尔可夫决策过程基本元素的支撑姿态强化学习模型以及用于策略训练的模拟器。液压支架支撑姿态的顺序决策过程如图7所示。在每个支撑姿态调节时刻,决策过程包括四个步骤:获取当前支撑状态信息、做出支撑动作决策、获取即时奖励以及更新支撑状态。图7. 液压支架支撑姿态的顺序决策。3.1. 支撑动作空间液压支架的支撑姿态调整主要由支腿和稳定千斤顶的推力控制,每种推力都有三种可能的设置:恒定、增加和减少。这些组合产生了九种基本支撑动作,如表1所示。这些动作分别标记为LCSC、LCSI、LCSD、LISC、LISI、LISD、LSDI和LDSD,对应于动作空间的九个维度。表1. 基本支撑动作。3.2. 支撑状态空间支撑姿态状态信息包括周围岩层顶板状态和液压支架的顶盖状态。顶板状态信息是通过逆向方法从液压支架的支腿和稳定千斤顶的压力数据中得出的。支腿和稳定千斤顶的压力值必须与支撑过程中顶板对液压支架施加的压力相对应。顶盖状态信息包括其前端和后端之间的压力比、姿态角以及支撑高度。图3b展示了液压支架的顶盖与顶板控制区域之间的耦合关系。这里,P表示顶板控制区域对顶盖施加的压力,而Fσ = Pcosβ,Fτ = Psinβ。为了确保顶板控制区域的稳定性,在顶盖与顶板之间的接触摩擦面上必须满足Fτ ≤ Ff = Fσf(其中f表示摩擦系数),即tan β ≤ f,因此β ≤ arctanf。因此,支撑姿态调整的强化学习状态空间定义为s = Fg × Fs × β × h,其中Fg是液压支架的支腿压力,0 ≤ Fg ≤ Fmax,Fmax表示支腿液压缸的最大工作阻力。是稳定千斤顶的压力,其中?T ≤ Fs ≤ T,?T和T分别是稳定千斤顶缸的最大拉力和最大压力。β表示液压支架顶盖的姿态角,其中β ≤ arctanf。h表示支撑高度,其中Hmin ≤ h ≤ Hmax。这里,Hmin和Hmax分别表示液压支架的最小和最大工作高度。液压支架的支撑状态可以表示为一个向量,表示为:s = [Fg Fs β h] (14) 3.3. 支撑奖励函数模糊综合评估方法中的模糊集隶属函数用于定量评估支撑姿态。该函数通过考虑支撑高度、顶盖俯仰角、支撑阻力以及液压支架的合力作用点等因素来帮助设计综合奖励函数。以下奖励函数使用向量和指示函数以矩阵形式表示。(1)支撑高度奖励函数支撑高度必须保持在合理的工作范围内,因为过高或过低的高度都可能导致顶板的过渡性损坏。因此,支撑高度的隶属函数必须符合三角形隶属函数。该函数的中心基于沿智能采矿工作面测量的每个液压支架的平均高度确定。支撑高度越接近平均值,隶属度越高,如图8a所示,支撑高度的奖励越大。支撑高度的奖励函数定义如下:(15) 其中Hmin和Hmax分别表示液压支架的最小和最大工作高度;Have是液压支架在智能采矿工作面上的平均高度,h使用图5中所示的液压支架运动学模型计算得出;Ii(h)是指示函数,I1(h) = 1(0,Hmin)(h),I2(h) = 1[Hmin,Have)(h),I3(h) = 1[Have,Hmax](h),I4(h) = 1(Hmax,∞)(h)。图8. 液压支架过程的奖励函数和隶属度:(a) 支撑高度的奖励;(b) 支撑角度的奖励;(c) 支撑阻力的奖励;(d) 合力作用点的奖励。(2)支撑角度奖励函数液压支架顶盖的俯仰角在正常操作期间通常在0°附近波动。因此,支撑角度的隶属函数也采用三角形隶属函数,支撑角度的奖励表示为:(16) 其中表示顶盖与顶板控制区域之间的摩擦角;Ii(β)是指示函数,I1(β) = 1[?β1,0)(β),I2(β) = 1[0,β1)(β)。此外,考虑到液压支架与周围岩石之间的组合刚度关系,如果支撑角度小于β1或大于β1,系统会施加负惩罚(低于零),这会破坏组合刚度。基于约束的支撑角度奖励定义如下:(17) 其中I3(β) = 1[?π,?β1)(β),I4(β) = 1[β1,π)(β)。综合考虑奖励和惩罚,支撑角度的奖励函数如图8b所示,定义如下:(18) (3)支撑阻力奖励函数根据对液压支架工作周期过程的研究[34],支撑阻力的变化曲线如图9所示。在同一工作周期内,支撑阻力p ∈ [P0, Pm],其中P0表示液压支架支腿的初始设定载荷,Pm表示周期结束时的最大工作阻力。因此,选择梯形隶属函数作为支撑阻力的隶属函数,边界值定义为[0.8P0, 1.1Pm]。支撑阻力的正奖励表示如下:(19) 其中I1(p) = 1(0.8P0,P0)(p),I2(p) = 1[P0,Pm)(p),I3(p) = 1[Pm,1.1Pm](p),I4(p) = 1(1.1Pm,∞)(p)。同样,为了在液压支架工作过程中保持足够的支撑强度,并防止由于支撑失效导致顶板断裂、坍塌或上覆周围岩石的强度不稳定,支撑阻力不得低于临界值。因此,对于不足的支撑阻力设计的惩罚(负奖励)如下:(20) 通过结合正奖励和负奖励,支撑阻力的奖励函数如图8c所示,定义如下:(21) 图9. 支撑工作周期中的支撑阻力曲线。(4)合力作用点奖励函数根据外部载荷合力作用位置与液压支架支撑能力之间的关系,如公式(13)和图6所示,通过归一化得到合力作用点的隶属函数,如图8d所示。因此, canopy 的合力作用点的奖励函数定义如下:(22) 其中 Fq 表示作用在当前作用点上的液压支撑的合力,Fm 表示液压支撑能够承受的最大合力。(5) 综合奖励函数设计受逆强化学习概念的启发,环境反馈的奖励函数是根据代理的学习轨迹数据 [35] 得出的,并表示为状态特征的线性函数。因此,综合奖励函数 R 被定义为支撑高度奖励 (Rh)、支撑角度奖励 (Ra)、支撑阻力奖励 (Rp) 和合力作用点奖励 (Rq) 的线性组合。其表达式如下:(23) 其中 a1、a2、a3 和 a4 是综合奖励函数线性组合中的非负权重系数。然而,它们的贡献并不相同;从工程角度来看,支撑高度的贡献最为关键,并且它们满足以下约束:(24) 其中四个参数值是根据支撑姿态的模糊一致性判断矩阵确定的,如表 2 所示。使用模糊一致性判断矩阵的计算方法,具体来说 a1 = 0.35、a2 = 0.26、a3 = 0.14 和 a4 = 0.25。(25) 表 2. 支撑姿态的判断矩阵。4. 支撑姿态的自主决策与控制方法所提出的支撑姿态控制策略基于第 3 节中描述的马尔可夫决策过程构建的强化学习模型。液压支撑被视为能够感知支撑环境变化的代理。通过与环境的试错学习,代理提高了其在不确定支撑条件下选择适当支撑动作的决策能力。为了解决代理与真实支撑环境之间的试错交互的局限性,使用了一种渐进式神经网络将支撑姿态控制策略从仿真转移到现实。具体来说,本文提出了一种基于近端策略优化 (PPO) 的渐进式神经网络 (PNN) 转移强化学习算法,称为 PPO-PNN。该方法有效地解决了复杂支撑调节序列中的跨任务转移问题。通过网络中的横向连接,将在仿真中训练的支撑控制策略转移到现实环境中进行调节。4.1. 基于策略梯度的近端策略优化近端策略优化是一种离线策略强化学习算法,非常适合解决离散和连续动作空间中的控制问题。PPO 在 Actor–Critic 框架下的网络架构由价值网络 (Critic) 和策略网络 (Actor) 组成。价值网络以环境状态作为输入,即支撑姿态的状态信息,并输出相应的状态价值。策略网络由两个子网络组成:一个负责与液压支撑的环境交互,另一个专门用于更新网络参数。假设代理遵循一个行为策略 πθ 和网络参数 θ,也称为 Actor。这里,πθ 表示从环境状态 s 到代理采取的动作 a 的映射。强化学习中代理的目标是迭代优化其策略以最大化累积奖励 R。R 的期望值作为评估 Actor 性能的指标。因此,构建了策略目标函数 J(θ) 来评估行为策略的性能,其定义如下:(26) 其中 τ = {s1, a1, r1, s2, a2, r2, …, sT, aT, rT} 表示一系列状态、在这些状态下采取的动作和奖励。期望值 Eτ~πθ(τ)[…] 表示有限样本批量的经验平均值。为了提高 PPO 算法的数据采样效率,采用了重要性采样来处理动作分布。使用旧策略 πθold 收集的样本来更新新策略 πθ,从而允许重用收集的数据。此外,PPO 引入了优势函数来替换 (26) 中的原始奖励,使得 (26) 可以重写为:(27) 其中 θ 表示新策略参数的向量,θold 表示旧策略参数的向量。定义了优势函数,用于评估当前动作值相对于平均值的情况。这里, 表示状态-动作价值函数, 是价值函数,r:S? 表示奖励函数, 是折扣因子。此外 表示动作优于平均动作,值越大,在状态 st 中选择的动作越好。在所有情况下,两个分布 πθold 和 πθ 之间的差异不能太大,必须保持在约束值以下,以确保更大的目标函数。为了解决这个问题,采用了剪辑函数作为约束来限制对新策略的更新。基于 (27),最新的替代目标函数重新定义为:(28) 其中 ε 是通常建议赋值为 0.2 的超参数。最小函数内的第一项是 。第二项 ,通过剪辑概率比来修改替代目标,从而消除了将 移动到区间外的激励,有效地限制了旧策略和新策略之间的差异。接下来,使用策略梯度方法计算目标函数的梯度,其中计算策略梯度的估计器并将其纳入随机梯度上升算法。最常用的梯度估计器形式如下:(29) 最后,通过使用优化器迭代更新策略参数来获得最优策略,以最大化期望奖励,如 (28) 中的目标函数和 (29) 中的梯度估计器所定义的。优化器的更新规则,步长为 α,如下所示:(30) 4.2. 基于渐进式神经网络的转移策略渐进式神经网络非常适合在机器人控制领域中从仿真到现实的策略转移。首先,为一个任务学习的特征可以转移到多个新任务中,而不会被微调所干扰。其次,网络内的列可以是异构的,这对于解决多样化的任务和加速转移到真实机器人时的学习非常有益。第三,渐进式神经网络在转移到新任务时通过添加新的输入连接来增加新的容量。这种机制有助于通过适应模拟环境和现实世界传感器之间的不同输入来弥合现实差距。渐进式神经网络利用从源域预训练的一系列模型作为初始化。渐进式网络从一个单列开始,表示为具有 L 层的深度神经网络,隐藏激活为 ,其中 ni 表示第 i 层的单元数 ≤ L,参数 训练至收敛。在适应第二个任务时,参数 被冻结,并使用随机初始化实例化一个具有参数 的新列。在这种设置中,每一层 通过横向连接从 和 接收输入。这种连接机制可以推广到 K 个任务,如下所示:(31) 其中 表示第 k 列中第 i 层的权重矩阵, 表示从第 k 列的第 i 层到第 k 列的第 j 层的横向连接,h0 是网络输入。f 表示逐元素的非线性;我们对所有中间层使用 f(x) = max(0, x)。图 10d 中左侧展示了 k = 3 的渐进式神经网络。图 10. 基于 PPO 的提出的渐进式转移网络算法的详细示意图:(a) 基于 Actor–Critic 架构的 PPO 算法;(b) 用于策略转移的渐进式网络架构;(c) 用于价值转移的渐进式网络架构;(d) 三列渐进式网络(左侧显示)和用于机器人转移学习的修改后的渐进式架构(右侧显示)。总之,渐进式神经网络可以描述如下:每个列或层可以具有任意的网络宽度,以适应不同级别的任务复杂性,并且可以从多个独立网络中组合横向连接以形成集成设置。4.3. 提出算法的网络结构本文提出了一种算法,在 PPO 框架中同时转移 Actor 和 Critic 网络,以确保先前知识的完全重用。渐进式网络允许具有不同结构和容量的列,其中在虚拟环境中训练的列具有足够的深度可以从头开始学习任务,而在现实中训练的列则轻量级,以加速学习并限制参数增长。LSTM 的激活作为输入连接到渐进式列,以解决支撑姿态控制的顺序决策中的时间依赖性。每个 PNN 的列中嵌入了一个 LSTM,作为每个支撑姿态调节任务的时间特征提取器。LSTM 的激活被连接到渐进式列中,以处理时间依赖性。横向连接将来自较旧列的 LSTM 表示传递给较新的列,帮助新任务处理类似的时间结构。为了增强探索能力,使用来自仿真训练列的参数初始化现实训练的列,如图 10 所示。在图 10b 中,encoder1 和 encoder2 表示具有两个隐藏层的全连接层,LSTM 的激活作为输入连接到渐进式列。在图 10d 中,第一列在模拟环境中训练 Task1,第二列在真实环境中训练 Task1,第三列在真实环境中训练 Task2。列的容量可能不同,使用适配器函数(由标记为 ‘a’ 的灰色框表示)来协调输入的差异。5. 实验 5.1. 实验平台构建为支持姿态的自主控制策略学习设计了一个实验平台,该平台具有等比例的减少。该平台包括虚拟训练环境和真实训练环境,如图 11 所示。虚拟环境使用 ROS 系统和 Gazebo 物理引擎建立,用于支撑姿态的仿真训练。如图 11a 所示,真实训练环境中的实验设备包括一个支撑姿态感测系统 [10],用于测量支撑高度和支撑姿态,以及一个压力传感器用于测量液压缸的压力。图 11. 在不同工作条件下从仿真到现实的自适应调整支撑姿态的实验设置:(a) 训练真实液压支撑与弯曲屋顶的交互;(b) 涉及虚拟液压支撑与弯曲屋顶交互的仿真训练;(c) 训练真实液压支撑与平面屋顶交互的仿真训练;(d) 涉及虚拟液压支撑与平面屋顶交互的仿真训练。实验在两种不同的工作条件下进行。在这些条件下,屋顶形状包括不规则的弯曲表面和平坦表面,具有不同的倾斜度。5.2. 仿真训练和现实转移在液压支撑的支撑姿态操纵领域,代理策略通过液压力命令控制两个自由度,这些命令作用于两个棱柱关节。完整的策略表示为 ,由代理学习的两个棱柱关节策略组成。每个棱柱关节策略 i 包含三个离散动作:施加固定的正液压力、固定的负液压力或零液压力。此外,还使用了 softmax 函数和单个价值函数 V(s; θv)。价值函数与前一层和横向层线性连接。使用标准大小的网络训练仿真训练的列,而现实训练的列使用容量减少的网络。第一列在液压支撑物理模拟器中训练,ROS 服务提供观察结果,如图 10a,b 所示。在现实世界中,压力传感器作为输入提供者。实验的重点是实现最佳支撑姿态,以有效支撑煤层屋顶,综合奖励作为反馈。在每个剧集开始时,支撑姿态被初始化为随机起始位置。如果屋顶压力保持在其最大允许值范围内,代理会收到奖励,如 (23) 中定义的那样。每个剧集持续最多 100 步。如果代理破坏了液压支撑与屋顶之间的耦合,超出了支撑姿势、支撑阻力或屋顶压力的限制,那么该 episodes 将终止。在模拟训练中,第一根柱子是使用 PPO 算法进行训练的,如图 10a 所示。使用具有更大容量的网络进行模拟训练以获得最佳性能是直观的。这种直觉通过比较宽网络架构(在模拟中训练,具有 64 个单元的两个隐藏层)和窄网络架构(在现实中训练,具有 16 个单元的两个隐藏层)得到了支持,如图 12a,b 所示。窄网络的表现较差,学习速度也较慢。图 12. 不同工作条件下的支撑姿势训练学习曲线:(a) 实验 1 中使用宽网络和窄网络的训练;(b) 实验 2 中使用宽网络和窄网络的训练;(c) 实验 1 中使用三种不同网络架构的训练;(d) 实验 2 中使用三种不同网络架构的训练。因此,在模拟中训练的柱子策略具有足够的容量来捕获和传递丰富的特征信息,从而支持在真实的液压支撑上的姿势训练。这种性能是在 Gazebo 模拟器中经过大约五百万次交互步骤后实现的——这种经验量是通过在真实的液压支撑上进行训练无法获得的。与现实世界训练相比,模拟要快得多,因为它受益于多线程算法以及无需人工干预即可连续运行的能力。相比之下,在真实的液压支撑上学习这项任务估计需要两个月或更长时间,即使是在连续 24 小时的训练下也是如此。为了促进从模拟到现实的迁移并在真实的液压支撑上进行训练,每五个 episodes 会使用电气柜上的操作按钮手动重新调整支撑姿势——在预定义的支撑范围内。然后根据屋顶支撑条件和支撑姿势与屋顶之间的耦合关系自动分配奖励。实验架构的图示如图 13 所示,它展示了三种训练场景:在现实中从零开始训练、微调第一根柱子(从模拟训练的柱子开始并在液压支撑上继续训练)以及训练渐进的第二根柱子。在不同的工作条件下进行了两组实验:实验 1 涉及液压支撑与弯曲屋顶的交互,而实验 2 涉及与平面屋顶的交互。图 13. 实验中使用的三种方法的模型结构:(a) 在真实环境中从零开始训练的基线模型;(b) 在模拟中预训练支撑姿势并在真实环境中进一步训练(微调)的微调模型;(c) 使用先前柱子参数确定性初始化的两柱渐进架构的 PPO-PNN 模型。在实验 1 中,如图 13c 所示,基线模型(红色曲线)是在真实环境中使用随机初始化的窄网络从零开始训练的。代理在整个训练过程中获得的奖励非常低,表明它未能学会支撑姿势的调整策略。渐进的第二根柱子获得了 90.5 分的成绩,平均比模拟柱子低 5 分。然而,微调后的第一根柱子并没有达到渐进网络的性能。为了更直观地比较这三种方法之间的差异,从三个方面进行了定量分析:性能、收敛速度和样本效率。如图 13c,d 所示,PPO-PNN 不仅在最终回报方面优于从零开始训练和微调(分别提高了 21.27 和 10.57),而且显著减少了达到稳定性能所需的训练步骤数,显示出更高的样本效率。此外,从早期训练性能的角度来看,PPO-PNN 显示出更好的初始策略质量,并在训练过程中表现出更平滑的收敛趋势。在实验 2 中,结果与实验 1 的结果大致一致;然而,学习进展得稍快一些,学习曲线更加平滑和稳定,如图 12b,d 所示。这种差异归因于弯曲屋顶的复杂性,这使得学习比平面屋顶的情况更加困难和缓慢。与微调相比,所提出的从模拟到现实的迁移方法可以适应新的输入模式并适应网络形态的变化,从而提高泛化性能。这一优势使得该方法能够在利用先验知识的同时迁移到新的数据源。为了证明这一点,引入了第三根渐进柱子来训练真实的液压支撑。如图 14 所示,实现了三柱架构。在模拟中采样的状态特征用于训练第一根柱子,在现实中采样的特征用于训练第二根柱子,而在现实中采样的额外特征被用来训练第三根柱子。为了评估这种架构,定义了两项任务:弯曲任务,即真实的液压支撑与弯曲屋顶的交互;平面任务,即它与平面屋顶的交互。实验 1 的结果被用来训练实验 2 中的真实的液压支撑,反之亦然。训练任务的其他方面保持不变。图 14. 使用三柱渐进网络在两种工作条件下的任务迁移架构:(a) 将实验 1 中训练的支撑策略转移到平面任务;(b) 将实验 2 中训练的支撑策略转移到弯曲任务。在实验 1 中,当第二根柱子在平面任务上训练时,学习进展相对较慢(图 15a),在 8000 步后达到全性能。相比之下,当第二根柱子在弯曲任务上训练,然后第三根柱子在平面任务上训练时,迁移学习大约快了三倍达到全性能。在实验 2 中,使用第二根柱子训练的平面任务和弯曲任务之间的比较与实验 1 的发现一致,如图 15b 所示。图 15. 各种网络架构的迁移结果对比:(a) 平面任务;(b) 弯曲任务。这些结果展示了所提出架构立即重用先前学习特征的能力,并突显了其在煤矿机器人领域实际应用中的潜力。5.3 结果分析与讨论通过分析支撑姿势控制策略的学习曲线,可以观察到基于运动学的马尔可夫决策过程(MDP)模型能够准确反映液压支撑支撑煤层屋顶的过程。此外,通过使用在模拟中训练的策略并将其转移到真实的液压支撑上进行进一步训练,可以形成并应用最优的支撑姿势控制策略来适应液压支撑的自适应控制。实验结果表明,所提出算法获得的平均奖励高于其他方法,并且大约等于模拟结果中的奖励。这证实了基于运动学建立的 MDP 的动作空间和基于动力学建立的 MDP 的状态空间是准确的。同时,基于渐进神经网络的支撑姿势控制策略从模拟到现实的迁移使得支撑姿势能够适应屋顶条件的变化;这种方法是可行的,并且取得了良好的应用结果。然而,实验环境与模拟环境之间仍然存在差距。从理论、模拟、实验和算法的角度来看,许多因素影响支撑姿势自适应控制策略的执行准确性。主要因素如下:(1) 支撑姿势的 MDP 的准确性。本文是液压支撑研究领域中首次定义液压支撑过程的 MDP 并提出基于 MDP 的支撑姿势控制模型的论文。支撑动作空间基于液压支撑的运动学理论定义,支撑状态空间基于动力学理论定义,奖励函数根据液压支撑与煤层屋顶之间的动态耦合关系定义。由于这是首次提出,因此未来仍有很大的研究和优化支撑姿势 MDP 的空间。(2) Gazebo 基础上的液压支撑模拟器中的建模错误。在 Gazebo 中建模液压支撑需要简化关键因素,如液压动力学(例如压力-流量耦合和延迟)、结构柔韧性、接触载荷和摩擦。强化学习策略是在这种理想化的模型上优化的,通常利用这些不现实的假设。当转移到真实环境中时,由于非线性、时间延迟、不确定载荷和实际系统中的结构变形等建模错误,策略的控制性能可能会下降,表现为响应滞后、振荡、精度不足甚至支撑不稳定,从而影响安全性和可靠性。为了解决这个问题,本文采用了随机化和鲁棒训练来覆盖训练期间的不确定性,包括摩擦、时间延迟、载荷和屋顶刚度的随机化。然而,实验结果仍然显示出差距。因此,在模拟和训练方法方面仍有进一步探索和改进的空间。(3) PNN 在学习过程中通过横向连接重用现有特征,以补偿真实系统中的差异(如液压滞后、摩擦和载荷不确定性),从而大大减轻了建模错误,并提高了策略在复杂真实工作条件下的适应性和稳定性。然而,液压支撑运行的采矿环境具有高度动态性和复杂性,PPO 在这种环境中的探索效率存在问题。为了解决这个问题,本文主要在训练期间混合了一批预先收集的稳定运行支持数据以减少无效探索。因此,从算法优化的角度来看,仍有通过其他方法提高最终奖励的空间。6. 结论为了实现液压支撑对煤层屋顶的自适应支撑,本文提出了一种新颖的自主决策和控制方法来控制支撑姿势。该方法分析了液压支撑的运动学和动力学以及它们与煤层屋顶的动态平衡耦合关系。在此基础上,液压支撑领域首次将支撑姿势表述为马尔可夫决策过程。动作空间、状态空间和奖励函数分别基于液压支撑的运动学和动力学及其与煤层屋顶的耦合关系进行定义,从而为单代理和多代理液压支撑的马尔可夫决策过程建立了理论基础。同时,使用开源的 3D 动态模拟器 Gazebo 结合物理引擎,开发了一个用于模拟和训练支撑姿势自主调整策略的虚拟动态模拟器。此外,还提出了一种基于 PPO-PNN 的迁移强化学习算法,以解决复杂连续控制序列中的跨任务迁移问题,确保高采样效率和更好的鲁棒性。与传统的基于微调的迁移学习方法相比,这种方法对超参数的敏感性较低,从而提供了更高的稳定性和更好的整体性能。最后,基于动态分析的强化学习实验结果表明,所提出的方法在模拟环境中表现出良好的可行性和有效性,在一定程度上提高了支撑过程的稳定性,并展示了其在确保安全和可靠性方面的应用潜力。结果表明,该方法为液压支撑姿势的智能和自适应调整提供了理论基础,并促进了其在煤矿环境中完全智能控制的实际应用。在实际应用中,这种方法也有局限性:它只能在相同类型的采矿设备和相同的地质条件下进行迁移。尽管它对不同的采矿设备或地质条件具有良好的可扩展性,但它需要更多的训练数据,甚至可能需要调整模拟器参数和重新训练以进行迁移。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号