连续时间离线强化学习的算子论方法与有限样本统计保证

《IEEE Open Journal of Control Systems》：Infinitesimal Operator World Models: Finite-Sample Guarantees for Offline Reinforcement Learning

　　摘要：连续时间随机过程是许多自然系统和工程系统的底层基础。在医疗保健、自动驾驶和工业控制领域，与环境直接交互往往不安全或不切实际，因此人们更倾向于从历史数据中进行离线强化学习。然而，对于从离线数据集中学习策略时固有的近似误差，目前尚缺乏统计层面的充分理解。为此，我们将强化学习与哈密顿-雅可比-贝尔曼方程联系起来，并提出了一种基于简单动态规划递归的算子论算法。具体而言，我们通过在再生核希尔伯特空间中学习的受控扩散过程的无穷小生成元来表示我们的世界模型。通过结合统计学习方法和算子论，我们证明了在生成元近似误差足够小的条件下，价值函数的全局收敛性，并推导了显式的有限样本保证，其误差界直接与系统性质（如光滑性和稳定性）相关联。我们的理论分析和概念验证结果表明，基于算子的方法在利用连续时间最优控制解决离线强化学习问题方面具有广阔的应用前景。