《Actuators》：Physics Informed Structural Load Aware Work Path Planning for a Tilt-Rotator Excavator Using Multibody Dynamics and Dueling Deep Q-Learning: A Numerical Case Study
编辑推荐：
倾转器（tilt-rotator）扩大了液压挖掘机的可达工作空间，但其构型同时改变了结构载荷传递路径。本研究针对一台14吨级挖掘机，采用名义解析土壤载荷与经实验关联的多体动力学（multibody dynamics, MBD）模型，开发了一种结构载荷感知工作路
倾转器（tilt-rotator）扩大了液压挖掘机的可达工作空间，但其构型同时改变了结构载荷传递路径。本研究针对一台14吨级挖掘机，采用名义解析土壤载荷与经实验关联的多体动力学（multibody dynamics, MBD）模型，开发了一种结构载荷感知工作路径规划器。研究对5个倾转角度、5个旋转角度与9个挖掘位置进行全因子组合，得到225个候选运动。保留的147个运动的预测峰值应力为98.5–149.0 MPa。这些应力被用于构建动作条件对偶深度Q网络（action-conditioned dueling deep Q-network）中的动作特征与奖励惩罚项。被挖掘的栅格变为不可通行的孔洞；规划器引入了原地转向与条件性姿态重复约束。在9 × 9障碍环境中，应力信息智能体所选路径需要44个动作与452 s仿真时间，而其对应对照组（无应力信息）需要47个动作与458 s；累积峰值应力指数分别为3158.0与3361.8 MPa。在5 × 5环境中，其路径需要多一个动作，且指数高4.2%。一个由实际场地导出的21 × 28数值环境在453个动作内完成，其中包括280次挖掘。该方法支持面向施工机械安全性的结构载荷对比评估，并可为未来与机器稳定性准则的集成提供基础。上述单种子比较既不能确立统计优越性，也不能验证机器稳定性。
研究背景方面，液压挖掘机通过机器运动与土壤-工具相互作用的强耦合完成物料移除，自动化研究因此涉及铲斗轨迹生成、挖掘控制、土方调度与覆盖规划等内容。既有强化学习（reinforcement learning, RL）在建筑工程中的系统综述指出泛化性、方法选择与验证仍是持续存在的挑战。倾转器在挖掘机臂与铲斗之间增加独立倾转与连续旋转自由度，可减少载体重新定位需求并实现斜向或侧向挖掘，但同一运动学柔性也扩展了可允许的属具构型集合。由于倾转、旋转与挖掘方向会改变通过属具的载荷传递路径，两个移除同一土体栅格的运动可产生不同的动态应力。仅观测距离、时间或完成度的工作路径规划器因此可能选择运动学可行但结构上不利的运动。现有自主挖掘研究主要优化可行性、覆盖、循环时间、能量或运动质量，构型相关的动态结构响应很少被直接暴露给工作路径策略。作者前期研究建立了此类集成的力学基础，对倾转器挖掘机多体动力学模型进行了振动测量关联，平均主频误差约4.3%，并证明了向RL规划器提供动态应力信息的可行性，但该研究采用简化挖掘载荷、较小的倾转-旋转域与基本5 × 5环境。本研究的实质贡献在于规划公式而非学习算法：将构型相关结构响应用作工作路径规划器中的决策变量，使倾转-旋转构型、挖掘位置与载体路径在结构载荷与剩余土体未来可达性双重约束下共同决策。研究结论表明：研究开发了面向倾转器液压挖掘机的物理信息结构载荷感知规划框架；加载公式定义独立名义分离与贯入工况并采用基于重心（center of gravity, CG）的力与力矩传递，重力作用于经实验关联MBD模型中规定的时变虚拟质量；L25(52)全因子倾转-旋转设计与9个相对挖掘位置组合产生225个候选，其中147个保留为可允许运动，最大动态应力为98.5–149.0 MPa，表明构型与挖掘方向实质性改变结构响应。应力数据库嵌入拓扑感知、动作条件对偶DQN，被挖掘栅格变为不可通行孔洞，原地转向保持可达性，局部、导航、多步与随机起始机制使学习可在5 × 5至21 × 28栅格环境中进行。所有七种评估组合均完成任务并满足开发收敛准则。原始选定路径E2比较中，智能体3动作数少6.4%、累积峰值应力指数低6.1%，而E1未显示此类改善。额外固定预算E2研究中全部21个策略（覆盖七种条件与三个种子）均完成任务；应力信息条件（S1R1）与无信息基线（S0R0）均使用44个动作与452 s，S1R1平均指数低11.52%；仅移除惩罚项使平均指数升高13.26%，重复规则未显示一致的独立效率收益，α = 0.20相对0.10带来适度进一步降低。E3智能体3以453个动作完成280次挖掘且无挖掘障碍。研究建立了将构型相关结构响应信息用作规划变量的可追溯数值方法；额外比较支持在所述模型内进行应力信息偏好塑造而非普遍效率优势。假设的应力数据库、三种子范围与缺乏直接应变验证限制了结论。仪器化结构响应验证（结合应变计测量与传递路径分析（transfer path analysis, TPA）等补充方法跨挖掘机能力与土壤条件）、以及更广泛的受控数值评估（包括与其他学习算法基准比较）仍是提出现场载荷降低、耐久性或机器安全主张之前所必需的。
在技术方法方面，研究采用经实验关联的14吨级倾转器液压挖掘机多体动力学模型，以名义解析分离与贯入土壤载荷经重心传递为力与力矩，并以规定时变虚拟质量表示截留土壤；采用L25(52)全因子设计覆盖25种倾转-旋转构型并在9个相对挖掘位置评估，生成225个候选运动并经运行可允许性筛选保留147个；构建动作条件对偶深度Q网络，结合全局12通道语义状态、5 × 7 × 7自我中心局部窗口、静态与动态动作特征、有效动作优势平均、三步回报、随机起始与引导探索；在5 × 5、9 × 9及由实际场地导出的21 × 28数值环境中进行确定性评估与固定预算消融实验（种子11、22、33）。
研究结果方面，4.1 构型相关动态应力：保留运动产生的最大动态应力范围为98.5–149.0 MPa，总体均值与标准差约为124.3与13.0 MPa；最小值出现在Case 1的Path 5，最大值出现在Case 25的Paths 2与7；在Path 3，可允许构型的应力范围为102.9–148.6 MPa，在Path 7为104.1–149.0 MPa；因此，同一相对挖掘方向下改变属具构型可使峰值应力变化约45 MPa，单一挖掘载荷值不能代表扩展后的工作空间。4.2 E1与E2中的学习与完成：所有六个E1与E2智能体-环境组合均满足开发收敛准则；E1中智能体1、2、3分别在42,002、36,004与36,002个训练动作后收敛，E2中对应值为180,024、110,021与170,032；E2智能体3训练动作数较大表明结构信息并未自动加速学习；最终比较采用确定性评估的选定完成路径而非仅收敛速度；对于归档E2路径，智能体3相对智能体2将动作数从47降至44（?6.4%）、虚拟时间从458降至452 s（?1.3%）、累积峰值应力指数从3361.8降至3158.0 MPa（?6.1%），载体行程为10而非15个栅格单位（?33.3%）；在E1中，智能体3需要13而非12个动作，虚拟时间增加1.4%，指数增加4.2%，载体行程均为2个栅格单位。4.3 场地导出E3环境：智能体3在约70万训练动作后首次在确定性评估中完成E3，在ε达到0.05后，从120万至160万训练动作的五次评估中均完成任务，每次453–458个动作，收敛准则在1,600,084个动作时满足；选定最小动作完成路径包含453个动作：154次平移、19次原地转向与280次挖掘；虚拟时间为4546 s，累积峰值应力指数为29,604.4 MPa，未记录到挖掘障碍；E3结果确认应力感知动作逻辑在土体栅格数相对E2增加十倍时仍计算可行，但不确立现场性能。4.4 固定预算消融与敏感性结果：全部21个最终策略均完成28栅格任务且无挖掘障碍；四种S/R组合各需44个动作与452 s；S1R1平均指数为2942.30 MPa，而S0R0为3325.40 MPa，在相同动作数与虚拟时间下降低383.10 MPa（11.52%）；应力包在R0下使平均指数降低376.90 MPa、在R1下降低395.10 MPa，而加入重复掩码在S0下改变指数+12.00 MPa、在S1下改变?6.20 MPa，跨种子符号混合且无最终动作数优势；仅移除S1R1惩罚项得到3391.93 ± 105.95 MPa，而α = 0.10时为2942.30 ± 9.61 MPa，配对差异为?449.63 ± 99.85 MPa（13.26%）；α = 0的种子22策略需要46个动作与456 s，其他所有最终策略需要44个动作与452 s；因此降低可归因于应力包及其中的奖励惩罚项，而掩码单独无一致收益；对于S1R1，α = 0.05、0.10与0.20分别给出平均指数3016.17、2942.30与2900.27 MPa，全部九次运行均为44个动作与452 s；α = 0.20均值比α = 0.10低42.03 MPa（1.43%），名义值在较小权重下获得α = 0.20所达降低的约91%；名义值被保留因其在敏感性研究前已固定且较小权重在测试环境之外保留更大任务完成裕度，结果描述观测到的权衡而非识别最优。
讨论部分总结：5.1 学习决策变量的力学含义：应力数据库将每个MBD结果转换为挖掘动作的属性，策略因此可区分移除同一土体栅格但采用不同属具姿态的两个动作；整个保留数据库应力范围约50 MPa，选定相对挖掘方向内约45 MPa，这些差异足以向策略提供独立的结构响应信号；由于MBD结果为预先计算，每个决策步无需MBD仿真；报告的指数对每次成功挖掘事件的最大应力求和，可用于比较共享同一任务定义的路径，虽以MPa报告但不代表同时结构应力、雨流计数应力历程或Miner损伤和，耐久性评估还需应力-时间历程、材料S–N数据、平均应力修正、循环计数与实验应变验证，因此该指数仅解释为相对结构载荷暴露。5.2 智能体比较解释：E2提供最清晰内部比较，因其包含障碍与更多载体位置及铲斗姿态替代方案，智能体3相对智能体2降低动作数、虚拟时间与Jσ；E1提供较少路径替代，在该环境中姿态重复约束可能增加转向或要求更高应力的可允许姿态；E1与E2不同结果表明收益取决于可用路径与姿态替代；2 × 2研究将应力信息包与重复约束分离，α = 0比较在保留输入与掩码下进一步隔离惩罚项；掩码未显示一致的独立指数降低或最终动作数收益，因此作为有效性约束保留以多样化生产性姿态而非效率改进来源；零惩罚比较支持在测试数值条件下奖励塑造的贡献；智能体1是机械基线而非同类学习消融，其对偏轴挖掘的两遍要求使E2中挖掘动作数从28增至36，因此与智能体1的比较量化六自由度属具模型的运行后果，而智能体2–智能体3比较针对相同6-DOF能力上所加信息与策略约束。5.3 超越前期韩国期刊研究的进展：本框架将225个候选中筛选出的147运动数据库与改变地形可达性的挖掘决策相连；其动作条件对偶网络结合局部与导航信息、有效动作优势平均与条件性姿态重复规则；独立名义载荷、基于CG的力矩传递与规定截留土壤质量扩展了力学公式；E2与E3拓宽数值评估，七条件E2研究检验规划组件并提供直接惩罚比较；这些进展涉及工程集成与数值评估，MBD模型与初始应力信息概念建立在文献[16]基础上，学习算法遵循已有文献，更密集构型采样不扩展角度范围也不构成新算法。5.4 局限性与所需验证：原始E1–E3路径案例使用单种子，而额外E2分析每条件使用三个种子，小样本限制推断，需要更多重复以评估普遍优越性或可靠迁移；E3仅用智能体3评估，展示规模完成而非相对其他智能体的优越性；土壤载荷模型使用单一名义参数集与固定接触几何，阻力与截留土壤质量遵循规定斜坡，地面效应、齿相互作用、截留土壤再分布与填充动量交换被忽略；频率关联不验证绝对应力幅值或构型的物理排序，应力值归一化不消除该不确定性；液压动力学、执行器饱和、传感误差、控制延迟、地面变形与机器稳定性在数值规划器中缺失；本研究为将结构响应信息纳入施工机械安全评估提供早期数值基础，预测应力的实验验证仍是必要下一步；作者计划将框架扩展至不同能力、铲斗类型与土壤条件的挖掘机，并通过设备特定模型与验证研究其在装载机、自卸卡车与叉车上的适用性；对于实验验证，计划结合应变计测量与传递路径分析（TPA）等补充载荷识别方法估计代表性姿态与运行载荷下的结构应力；进一步研究还应处理不确定土壤与时间参数、适当的E3基线、与其他学习算法（如PPO与SAC，包括适用于离散动作的变体）的基准比较，以及与经验证的交互与机器稳定性控制的集成；当前结果仍以现有应力数据库为条件，不确立绝对应力精度、疲劳寿命、允许应力裕度或现场安全。研究结论翻译：研究开发了面向装备倾转器的液压挖掘机的物理信息结构载荷感知规划框架；加载公式定义独立名义分离与贯入工况并采用基于CG的力与力矩传递，重力作用于经实验关联MBD模型中规定的时变虚拟质量；L25(52)全因子倾转-旋转设计与9个相对挖掘位置组合产生225个候选，其中147个保留为可允许运动，其最大动态应力为98.5–149.0 MPa，表明构型与挖掘方向实质性改变结构响应；应力数据库嵌入拓扑感知、动作条件对偶DQN，被挖掘栅格变为不可通行孔洞，原地转向保持可达性，局部、导航、多步与随机起始机制使学习可在5 × 5至21 × 28栅格环境中进行；所有七种评估组合均完成任务并满足开发收敛准则；原始选定路径E2比较中，智能体3动作数少6.4%、累积峰值应力指数低6.1%，而E1未显示此类改善；额外固定预算E2研究中全部21个策略（覆盖七种条件与三个种子）均完成任务；应力信息条件（S1R1）与无信息基线（S0R0）均使用44个动作与452 s，S1R1平均指数低11.52%；仅移除惩罚项使平均指数升高13.26%，重复规则未显示一致的独立效率收益，α = 0.20相对0.10带来适度进一步降低；E3智能体3以453个动作完成280次挖掘且无挖掘障碍；研究建立了将构型相关结构响应信息用作规划变量的可追溯数值方法；额外比较支持在所述模型内进行应力信息偏好塑造而非普遍效率优势；假设的应力数据库、三种子范围与缺乏直接应变验证限制了结论，这些限制反映本研究的奠基性范围；仪器化结构响应验证（结合应变计测量与传递路径分析等补充方法跨挖掘机能力与土壤条件）、以及更广泛的受控数值评估（包括与其他学习算法基准比较）仍是提出现场载荷降低、耐久性或机器安全主张之前所必需的。
