基于抽象精化的程序合成方法，用于机器人通过示范进行学习

《Proceedings of the ACM on Programming Languages》：Abstraction Refinement-Guided Program Synthesis for Robot Learning from Demonstrations

程序化强化学习在机器人控制中的应用，通过自动从高维连续任务演示中推导抽象状态和动作，迭代优化生成可解释且高效的机器人程序。

　　

摘要

在过去的十年中，深度强化学习（RL）技术显著推动了机器人系统的发展。然而，由于神经网络模型架构的复杂性，确保其可靠性是一个相当大的挑战。程序化强化学习作为一种有前景的方法应运而生。尽管如此，合成机器人控制程序仍然具有挑战性。现有方法依赖于领域特定语言（DSL），这些语言包含用户定义的状态抽象谓词和一组低级控制器作为抽象动作来启动合成过程，但在缺乏这些预定义组件的未知环境中，这种方法并不实用。为了解决这一限制，我们提出了RoboScribe，这是一种新颖的、基于抽象细化的程序合成框架，它能够从高维连续空间中的原始、未分割的任务演示中自动推导出机器人状态和动作的抽象表示。该框架通过迭代丰富和细化初始的粗略抽象，最终生成适用于抽象化机器人环境的任务解决程序。RoboScribe通过直接从机器人的原始连续状态和动作空间中推断出重复出现的子程序，有效地合成了迭代程序，而无需预先定义的抽象表示。实验结果表明，RoboScribe生成的程序能够泛化到涉及任意数量物体的长时域机器人任务，在可解释性和效率方面均优于基线方法。