运行时学习机器（Runtime Learning Machine）

《ACM Transactions on Cyber-Physical Systems》：Runtime Learning Machine

本文提出一种面向安全关键型学习增强Cyber-Physical Systems（CPS）的运行时学习机器，包含高性能学生代理（HP-Student）、高保证教师代理（HA-Teacher）和协调器（Coordinator）。该机制通过实时传感器数据实现动态学习，同时HA-Teacher提供实时补丁以纠正学生代理的不安全行为并保障系统安全，协调器管理两者交互。实验表明其具有终身安全保证、未知未知容忍、Sim2Real差距解决及自动分层学习（安全优先）等优势。

　　

摘要

本文提出了一种用于安全关键型、具备学习能力的网络物理系统（CPS）的运行时学习机器。该学习机器由三个交互组件构成：高性能（HP）学生代理、高可靠性（HA）教师代理以及协调器。HP学生代理是一个高性能但未经完全验证的物理驱动深度强化学习（Phy-DRL）代理，它在实际的网络物理系统中利用来自实时物理环境的传感器数据执行运行时学习。另一方面，HA教师代理是一个经过验证但设计较为简化的代理，仅专注于安全关键功能。其创新之处在于能够实时修正HP学生代理的不安全学习行为，并保障系统安全性。协调器负责管理HP学生代理与HA教师代理之间的交互。凭借这三个交互组件的协同工作，该运行时学习机器具有以下显著特点：i) 确保整个运行过程中的系统安全性；ii) 能够应对未知的未知因素；iii) 消弭仿真（Sim2Real）环境与现实环境之间的差距；iv) 实现自动的层次化学习机制（即先进行安全学习，再提升性能学习）。通过针对小车-杆系统及四足机器人的实验，以及与现有最先进的安全深度强化学习算法、容错深度强化学习方法以及解决仿真与现实环境差异的技术进行对比，证明了该学习机器的有效性和独特优势。