反事实行为克隆：基于不完美的人类示范的离线模仿学习

《ACM Transactions on Human-Robot Interaction》：Counterfactual Behavior Cloning: Offline Imitation Learning from Imperfect Human Demonstrations

　　从人类学习是一个具有挑战性的任务，因为人们并不完美的老师。当普通人类向机器人展示他们希望其完成的新任务时，人类不可避免地会犯错（例如输入带有噪声的动作），并给出次优的示例（例如冲过目标）。现有方法通常通过匹配人类行为的一部分或全部来进行学习——但由于示范本身是不完美的，这种方法从根本上存在局限性。在本工作中，我们推进了离线模仿学习，使机器人能够在邻近动作上进行外推，而不仅仅是考虑人类实际展示的内容。我们通过假设人类的所有示范都试图传达一个潜在的策略，而其行为中的噪声和次优性模糊了数据并引入了非预期的复杂性来实现这一目标。为了恢复潜在策略并理解人类教师的真实意图，我们提出了Counter-BC，这是行为克隆的广义版本。Counter-BC 扩展了给定数据集，以包含接近人类所示范行为的动作（即人类教师可能意图但未实际展示的假设动作）。在训练过程中，Counter-BC 自主地在这个扩展区域内修改人类的示范，以得出一个简化的策略，该策略能够解释人类数据集中潜在的趋势。在理论上，我们证明了 Counter-BC 可以从不完美的数据、多个用户以及技能水平各异的教师中提取出简单且与示范相似的策略。在实验上，我们在模拟环境和真实环境中将 Counter-BC 与最先进的替代方法进行了比较，包括带有噪声的示范、标准化数据集以及真实人类教师。总体而言，我们发现通过考虑邻近动作来尝试外推人类教师的意图——而非严格遵循人类实际展示的动作——可以实现更高效地从人类处学习。我们的工作视频见：https://youtu.be/XaeOZWhTt68---**AI 生成摘要（实验性）**本摘要使用自动化工具生成，未经本文作者撰写或审阅。其旨在支持发现、帮助读者评估相关性，并帮助相邻研究领域的读者理解该工作。本摘要旨在补充作者提供的摘要，后者仍是论文的主要总结。完整文章始终是权威的正式记录版本。点击此处了解更多信息。点击此处评论本摘要的准确性、清晰度和实用性。这样做将有助于改进和未来的重新生成版本。要查看此 AI 生成的通俗语言摘要，您必须具有高级会员访问权限。