基于强化学习的数字孪生实时控制技术，应用于机器人手臂制造的实时监控与调整

《JOURNAL OF INTELLIGENT MANUFACTURING》：Digital twin-enabled real-time control for robot arm-based manufacturing via reinforcement learning

数字孪生技术与SAC强化学习融合，通过Unity-ROS2架构实现机械臂实时自适应控制，验证了20ms级同步下动态/静态任务的高效执行。

　　

摘要

数字孪生（DT）技术的最新进展为智能制造开辟了新的途径。这些系统越来越依赖于自适应控制机制来优化复杂流程并减少生产浪费。本研究提出了一种创新方法，将软演员-评论家（SAC）强化学习（RL）算法与DT技术和机器人操作系统2（ROS2）相结合，以实现机器人制造中的实时自适应控制。我们的实验设置包括一个ViperX 300 S机器人臂，其中实现了两个不同的任务：(1) 静态目标到达和(2) 动态目标跟踪，用于模拟制造过程的自适应控制。这种创新的系统架构将Unity游戏引擎的仿真环境与ROS2结合，以实现无缝且稳健的DT同步。我们实现了一个分层奖励结构，以解决常见的RL挑战，包括避免局部最小值、加速收敛和训练稳定性，同时利用迁移学习有效地将训练好的行为模型应用到不同任务中。实验结果表明，策略收敛迅速，任务执行稳健，性能指标（包括累积奖励、价值损失、策略损失和熵）验证了该方法的有效性。据我们所知，这是首次将Unity与基于ROS2的DT结合，使用RL实现实时同步和自适应物理机器人控制的研究。与之前仅限于离线或低频仿真的工作不同，我们的框架实现了稳定的20毫秒级关节级同步，使得通过虚拟平台直接将学习到的行为部署到物理机器人系统中成为可能。这项工作推动了RL与现实DT框架的集成，为工业和制造机器人应用提供了增强型自适应实时控制的框架，适用于智能增材制造（AM）过程。