LeMIP：通过行列式多样性学习相互不兼容的策略以实现零样本人机协作

《Knowledge-Based Systems》：LeMIP: Learning Mutually Incompatible Policies via determinantal diversity for zero-shot human-AI cooperation

　　• 一种创新的方法，通过与多样化和高质量的合作伙伴训练，创建了一个强大的代理，以实现零样本人机协作。
• 一个有洞察力的模型，用于描述和优化来自随机过程理论的人群中的策略多样性。
• 一个简单而有效的多样性指标，用于指示相互不兼容性。
• 对策略梯度的近似估计，以降低强化学习的复杂性。

引言
体化人工智能（AI）[1]这一蓬勃发展的领域，特别是在室内机器人技术[2][3]方面，处于技术革命的前沿，正在改变我们在家庭环境中与自主系统的互动方式。深度强化学习（DRL）在复杂的多人环境中取得了显著进展[4][5][6]，其在感知、交互和适应性方面的表现引起了体化AI领域的极大兴趣，特别是在多机器人控制、自动驾驶和室内导航[7][8][9]等领埴。然而，这些成就大部分来自于封闭环境中的自我训练。DRL在开放世界任务中仍然面临挑战，尤其是在涉及多样代理人和行为模式灵活的人类的协作中。这一挑战在室内机器人技术中尤为突出，因为代理人需要与人类无缝协作。因此，作为协作AI的研究热点，零样本协调（ZSC）受到了广泛关注[10]。ZSC的目标是训练一个能够与新型合作伙伴协作的代理，即使对该合作伙伴的类型或训练机制一无所知。这种范式更符合现实世界的需求，并已有一些成功应用，例如自动驾驶、辅助聊天机器人和游戏角色建模[11][12][13]。
解决ZSC的一个直观方法是构建一个具有多样化策略的人群，并将其作为潜在合作伙伴的池来训练ZSC代理。有一类方法试图提高人群中策略的行为多样性[14]。对于这些方法，通常采用KL和JS散度等指标来衡量策略之间的差异，并以最大熵促进行为多样性[15][16][17]。然而，行为多样性可能不足以模拟具有偏好和意图等宏观差异的合作伙伴。相比之下，回报反映了在最终表现中的协作能力，高回报通常意味着双方在偏好和意图上达成一致[18]。因此，其他方法训练出的合作伙伴可能在自我训练中表现良好，但在协作中表现较差。这样就可以减少跨训练（XP）回报的最大项，同时保持更高的人群多样性[19]。
尽管之前的努力旨在训练多样化策略，但它们往往简化了人群动态。例如，Zhao和Lupu使用平均策略作为人群的实用代理，而Charakorn则关注将自我策略与最兼容的策略进行比较，而不是整个群体。这导致人群被简化为一个可测量的分布，即聚合人群。他们的目标是最大化聚合人群与每个策略之间的差异。然而，这种方法忽略了策略之间的方差，并没有直接优化人群内部的差异，而这些差异对于促进多样性至关重要。
相反，我们的目标是开发一种训练方法，在保持独特策略人群的同时，强制每对策略之间的相互差异。据我们所知，没有现有方法严格建模这些约束。
为了解决当前方法的不足，我们引入了一个新的框架来描述人群内部的相互差异。在这个框架中，人群被建模为一个具有互斥策略的行列式点过程（DPP）。策略的成对相似性与这些策略发生的概率成反比。换句话说，我们训练的一个人群能够最大化相互差异的概率，这与任意评估指标正交。随后，我们采用了一种特定的不兼容性指标来衡量差异，并以预期回报的形式计算DPP核。此外，为了便于神经网络的学习，我们推导出一个优化项，使行列式可微分，并将其定义为行列式多样性。
本文做出了以下贡献：首先，它从概率随机过程的角度提出了一个建模人群多样性的理论框架，强调了策略间的差异。其次，它建议使用不兼容性作为衡量指标，以优化那些单独表现优异但相互冲突的策略。最后，该方法在多种环境中与其他最先进的方法进行了评估。在两个网格世界场景中，该方法增强了多样化和最优策略的学习。在Overcooked环境中（一个人机烹饪任务协作测试平台），该方法与人类代理模型结合使用时，表现优于现有方法。
本文的其余部分组织如下：第2节回顾了ZSC问题的起源和相关研究。第3节回顾了多智能体协作的问题的表述、基于人群的训练以及DPPs的原理。第4节提供了用于人群训练的Cooperative-DPP模型、人群多样性的优化目标及其有效实现算法。第5节在网格世界的两个多模态奖励任务和Overcooked人机协作任务中验证了其在解决方案多样性和零样本协调方面的性能。随后，在第6节中，我们探讨了与LeMIP的相关研究之间的差异，并指出了本文提出的方法的局限性。最后，在第7节中总结本文。最后但同样重要的是，附录中列出了理论证明和实验细节。

人机协作
AI系统越来越多地应用于各种场景，如制造业、家庭生活和互联网，以协助人类的工作和生活。在体化人工智能的挑战中，人机协作是一项艰巨的任务，它强调提高由人类工人和AI系统组成的团队的整体质量和效率（而不是单个算法的准确性），以便将AI系统无缝集成到现有的人类工作流程中。

具体来说，我们将人机协作设置视为一个分散的偏观马尔可夫决策过程（Dec-POMDP），定义为元组??=(??,??,??,??,??,??,????,??)。在Dec-POMDP中，??是人类和智能体玩家的总数。??是联合状态空间，??=∏????=1????是联合动作空间。??和??分别表示转移函数和观察函数。奖励函数表示为??，奖励的折扣因子为????，任务的终止时间为...

学习具有差异的策略可以确保人群的多样性，当策略相互排斥时，多样性会有显著提高。作为数学模型的DPP可用于采样多样化和高质量的子集。在本节中，我们提出了一个训练具有多样化策略的人群的创新框架，包括：（1）引入DPP来概率上建模人群，并推导出最大化相互差异的目标，即...

实验
在本节中，我们首先测试了LeMIP在多模态奖励网格世界中学习多模态策略的性能。实验验证了LeMIP能够学习多个最优且相互不兼容的策略，展示了在保持多样化和最优人群方面的优势。其次，我们在Overcooked环境中训练了一个ZSC代理与人类代理模型进行协作。通过与一系列地图上的最先进方法进行比较，我们提出的方法表现出了...

讨论
ZSC是人工智能领域一个关键但尚未解决的问题。训练单一策略与多样化合作伙伴集合协作已成为一种有效的方法。LeMIP是一项值得注意的努力，它致力于促进合作伙伴的多样性。此外，我们提出的框架超越了LeMIP本身，展示了改进先前方法（如MEP和TrajeDi）的适应性。这些方法虽然采用了不同的度量函数，但它们都进行了建模...

结论
在本文中，我们提出了LeMIP，一种基于行列式点过程的人群多样性模型。与其他使用策略间成对距离的多样性度量方法不同，LeMIP旨在最大化任意策略对之间的互斥性，从而在更细粒度的层次上实现多样性测量。此外，利用双人协作的不可兼容性特性，我们引入了最大化自我训练回报和跨训练不兼容性的学习目标。

作者署名贡献声明
徐浩天：撰写-审阅与编辑、撰写-原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、研究调查、资金获取、形式分析、数据整理、概念化。
曾俊杰：方法论、概念化。
方祺：撰写-审阅与编辑、可视化、软件。
胡月：撰写-审阅与编辑、监督、概念化。
尹全军：撰写-审阅与编辑、监督。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。