面向工业机械臂自主训练的Transformer强化学习框架（TRL-Net）

《Frontiers in Artificial Intelligence》：A transformer-based reinforcement learning framework for autonomous training of industrial robotic manipulators

　　

引言：现代制造业中的自主机器人操控需要控制策略同时实现精度、适应性、操作安全性和多任务能力。方法：本文提出了一种基于Transformer的强化学习网络（Transformer-Based Reinforcement Learning Network, TRL-Net），该网络结合了时间状态编码、任务条件表示、行动者-评论家（actor-critic）强化学习、域随机化模拟和安全约束动作投影。评估仅限于十个模拟工业操控任务。结果：报告的估计值为98.6%的任务成功率、0.81 mm的平均定位误差、被评估模拟情节中0.0%的碰撞率、0.42 m/s³的轨迹加加速度，以及4.2 ms的策略推理时间。讨论：这些发现与相对于所报告基线方法在时间控制和多任务性能上的改进一致。然而，存档的实验记录不包含真实机器人试验、组件级消融、种子级离散度、完整超参数或硬件规格。因此，结论仅限于所报告的模拟环境，安全层被解释为执行配置的模拟器约束，而非保证在物理工业硬件上的安全操作。

**研究背景与问题**
工业4.0的推进使工业机械臂广泛应用于物料搬运、装配、焊接、抛光、码垛和精密检测等场景，但大多数工业机械臂仍依赖人工示教或手动编程，每当产品需求或产线布局改变时都需要重新调试。传统运动规划方法如线性插值、多项式轨迹、B样条、RRT*、CHOMP和STOMP在结构化环境中表现稳定，但通常依赖精确环境模型、人工设计的代价函数和大量参数整定，难以跨任务泛化，也无法让机器人通过经验自主获取可复用技能。深度强化学习（deep reinforcement learning, DRL）在连续控制中展现出潜力，代表性算法如PPO、DDPG、SAC和TD3已被用于机器人操控，但这些方法大多只基于当前观测或有限历史状态作出决策，在涉及多步骤顺序操作的长程任务中难以捕捉时序依赖，因而存在收敛慢、样本效率低、泛化能力不足等问题。另一方面，已有的Transformer类决策模型，如Decision Transformer、Trajectory Transformer、RT-1和PerAct，分别面向离线序列建模、轨迹分布学习或示范驱动的视觉运动策略，均未在统一的在线行动者-评论家（actor-critic）框架中集成时间序列编码、任务条件控制与确定性安全投影。因此，研究人员提出一种集成时间状态编码、任务条件表示、actor-critic优化、域随机化仿真和安全约束动作校正的在线强化学习框架TRL-Net，用于填补这一集成空白。

**研究开展与意义**
研究人员构建了TRL-Net，其四项核心模块互相配合：时间自注意力编码器处理一段窗口内包含关节位置、关节速度、末端位姿、力/力矩、夹爪状态和任务进度的观测序列；可学习的任务token通过交叉注意力条件化一个共享编码器；actor与critic网络头在共享时序特征上分别输出连续动作与状态价值估计；外部安全投影步骤将违反关节限位、速度、力矩、碰撞间隙或工作空间边界的原始指令修正至最近可行解。训练过程中采用域随机化扩大仿真分布，覆盖十个代表性工业操作任务，包括拾放、装配、螺丝驱动、点焊、弧焊、抛光、机床上下料、料箱拣选、码垛和多阶段装配。在仿真评估中，TRL-Net报告了98.6%的任务成功率、0.81 mm的平均定位误差、0.0%的碰撞率、0.42 m/s³的轨迹加加速度和4.2 ms的策略推理时间，优于所对比的经典轨迹规划方法、优化类规划器和DRL基线。这一结果表明，将时序Transformer编码、任务条件共享表示和动作可行性投影进行系统级集成，能够在仿真环境内实现多任务工业机械臂的自主学习，为未来工业智能制造中的柔性机器人训练提供了可行的技术路径。

**关键方法概述**
研究仅在物理仿真器中进行，并未使用真实工业机械臂硬件样本队列。训练环境包含十个模拟工业操作任务，域随机化采样光照、相机视角、物体几何质量与纹理、摩擦力、执行器延迟和机器人动力学等参数。TRL-Net将长度为T的观测序列线性投影并加入正弦位置编码，经多层Transformer编码器提取时间依赖特征；任务嵌入token通过交叉注意力调节共享特征；actor头输出连续关节指令，critic头估计期望回报。动作输出经安全投影层检验关节限位、速度、力矩、碰撞和工作区约束，越限时投影至最近可行解并记录惩罚。算法按策略梯度方向更新actor，以价值回归更新critic，但论文未记录精确损失函数、优化器、学习率等完整超参数。对比基线包括线性插值、三次样条、五次多项式、B样条、RRT*、CHOMP、STOMP，以及PPO、DDPG、SAC、TD3等方法。

**研究结果**

**总体性能对比。** 仿真对比结果显示，TRL-Net在任务成功率上达到98.6%，平均定位误差为0.81 mm，碰撞率为0.0%，均为所有方法中的最优报告值；其中最强RL基线TD3的成功率为92.7%，定位误差为1.46 mm。但原文同时指出，缺乏匹配的交互预算、随机种子与统计离散度信息，因此这些差异只能描述所报告的仿真结果，不能作为统计显著性证据。

**训练收敛与样本效率。** 学习曲线显示TRL-Net在训练中较早达到更高奖励，其收敛时消耗约0.58百万个情节，少于PPO的1.76百万、DDPG的1.42百万、SAC的1.18百万和TD3的0.94百万个情节。但图中频带未说明种子数及其定义，故不支持统计可靠性声明。

**多任务表现。** 十个任务内的平均成功率为98.7%，高于TD3的93.7%、SAC的89.7%、DDPG的83.6%和PPO的69.3%。其中码垛、抛光和拾放任务均超过99%，精密敏感任务介于97.6%至99.0%之间。由于所有任务均包含在训练套件中且未设置留出任务分割，该结果说明的是套件内的多任务覆盖能力，而非对全新工业任务的零样本泛化。

**运动质量与动作稳定性。** 轨迹平滑度与动作稳定性分析显示，TRL-Net在加速度、加加速度、路径偏差、每关节动作方差和动作变化率等描述性指标上的轨迹曲线低于对比方法，标准化平滑度评分为0.99，轨迹加加速度为0.42 m/s³。可视化路径图显示其轨迹更平滑且更接近指定路径点，但缺少重复试验统计支撑，无法将差异归因于时序自注意力机制本身。

**计算效率与能耗。** 表中报告TRL-Net策略推理时间为4.2 ms、能量消耗为3.05 kJ、动作稳定性评分为0.99。由于未记录处理器型号、批量大小、精度设置和安全投影耗时，推理时间不具有直接可比性；情节数同样需要在统一训练预算与停止规则下才能证明样本效率优势。

**工业质量指标。** 面向点焊场景的质量评估显示，TRL-Net取得0.94的焊接质量分，较最强基线提高约22.7%；焊核直径紧密围绕目标5 mm分布，缺陷率降至1.4%，较SAC减少了约22.2%。同时，单个制造循环用时3.87 s，能耗为3.65 kJ，相比最优RL方法执行时间缩短约9.8%，能耗降低约4.5%。这些结果来自仿真或有限演示，未报告统计不确定性。

**初步实机验证。** 在一项汽车白车身点焊演示中，搭载点焊末端执行器的工业机械臂执行了从安全起始位接近预设焊点并完成对准的过程，显示了平滑连续运动和无碰撞操作。该演示为定性可行性证据，未包含轨迹跟踪误差、接触力测量或量化比较，因此只能视为初步硬件验证而非工业基准。

**讨论与结论**
讨论部分指出，TRL-Net的性能可能来源于时序Transformer编码器对历史状态信息的利用，从而在长时程任务中改善系统动力学估计；任务条件机制使多个任务共享一个编码器而无需分别训练；安全约束投影在执行前修正越限动作，在保持策略习得行为的同时增强运行可靠性。同时，域随机化有助于降低对仿真中已建模参数变化的敏感性。但文中明确承认，当前研究未提供组件级消融、多随机种子统计检验、完整超参数披露或定量sim-to-real对照，因此无法将性能增益归因于任何单个模块，也无法证明物理硬件上的安全保证；安全层应被理解为在模拟器中执行配置约束，而非经过认证的工业安全机制。结论部分可翻译为：本文提出了TRL-Net，一种集成时间状态编码、任务条件表示、actor-critic策略优化、域随机化仿真、安全约束动作投影以及初步实机验证的Transformer强化学习框架。在十个模拟制造任务中，该框架实现了98.6%任务成功率、0.81 mm定位误差、0.0%碰撞率、平滑轨迹与较低推理延迟，并在汽车白车身点焊演示中初步展示物理部署可行性。然而，当前研究尚未确立各功能模块的因果贡献、跨种子统计优越性或全面sim-to-real迁移性能，实机验证仍属初始可行性演示而非完整工业基准。未来工作需要开展定量硬件实验、配对的仿真与真实轨迹及力分析、完整消融研究、与更多Transformer和模型基强化学习方法的等预算对比，并公开实现细节与超参数，以增强TRL-Net在智能制造中的可复现性与实用适用性。