线性马尔可夫决策过程概率受控不变集的数据驱动综合

《IEEE Open Journal of Control Systems》：Data-Driven Synthesis of Probabilistic Controlled Invariant Sets for Linear Markov Decision Processes

　　

摘要：

我们研究了在未知动力学条件下，面向安全关键强化学习的概率受控不变集（PCIS）的数据驱动计算方法。假设一个线性 MDP 模型，我们利用正则化最小二乘法和自归一化置信界来构建一个保守的状态估计，这些状态可以保证系统在 N 步时间范围内保持在预定义的安全区域内，同时给出相应的集合值安全动作映射。该构造通过反向递推获得，可解释为 N 步安全前驱算子的保守近似。当相关的保守包含事件成立时，近似递推的保守不动点可以被认证为置信度至少为 η 的 (N,ε)-PCIS。对于连续状态空间，我们引入格抽象和基于 Lipschitz 的离散化误差界，以获得可处理的近似方案。最后，我们将所得到的保守不动点近似作为运行时候选 PCIS，应用于具有迭代更新机制的实用屏蔽架构中，并通过一个数值实验对该方法进行了说明。