FP-IRL：Fokker–Planck逆强化学习——一种基于物理约束的马尔可夫决策过程方法

《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》：FP-IRL: Fokker–Planck inverse reinforcement learning — A physics-constrained approach to Markov decision processes

　　程阳 黄 | 西达多·斯里瓦斯塔瓦 | 肯尼斯·K·Y·何 | 凯瑟琳·E·卢克 | 加里·D·卢克 | 申欢 | 克里希纳·加里皮帕蒂
密歇根大学机械工程系，安娜堡，MI 48109，美国

**摘要**
逆强化学习（IRL）是一种强大的范式，它通过从马尔可夫决策过程（MDP）中观察到的轨迹推断出未知的奖励函数，从而揭示驱动代理行为的激励结构。然而，大多数现有的IRL方法都需要访问转移函数，无论是预先规定的还是估计的，当底层动态未知、不可观察或不易采样时，这会带来重大挑战。我们提出了Fokker-Planck逆强化学习（FP-IRL），这是一种针对可以用Fokker-Planck（FP）动态描述的系统的新型物理约束IRL框架。FP-IRL可以直接从轨迹数据中推断出奖励函数和转移函数，而无需访问采样的转移信息。我们的方法利用了MDP与FP方程之间的对应关系，将MDP中的奖励最大化与FP动态中的自由能最小化联系起来。这种联系使我们能够使用变分系统识别方法推断出FP势函数，从而可以使用解析表达式恢复MDP的所有组成部分——奖励、转移和策略。我们通过合成基准测试和修改后的山地车问题的实验证明了FP-IRL的有效性。结果表明，FP-IRL在保持计算效率和物理可解释性的同时，能够准确恢复代理的激励机制。

**引言**
许多复杂的动态系统，从癌细胞迁移和人类决策到群体行为，都由与不确定环境交互的自主代理组成。这些代理通常根据潜在的、不可观察的激励做出决策，并在显著的异质性和随机性下运作。理解这些系统具有挑战性：基于常微分方程（ODEs）或偏微分方程（PDEs）的传统机械模型通常只能捕捉群体层面的动态，但难以解释以目标为导向的、代理层面的决策行为，特别是当控制原理未知或不可观察时。在这种情况下，马尔可夫决策过程（MDPs）[1] [2] 提供了一个强大的建模框架，可以明确表示在不确定性下的个体决策。当驱动代理行为的奖励结构未知时，逆强化学习（IRL）[3] [4] [5] [6] [7] [8] 提供了一种基于数据的方法来从中恢复奖励结构。IRL的核心思想是推断出一个奖励函数，使得在这个奖励下的最优策略能够解释观察到的代理轨迹。这一范式已在机器人技术[9] [10]、人类行为建模[5] [7] [11] 和生物学[12]等领域得到成功应用，并激发了多种算法的发展，包括最大边际方法[4] [5]、特征匹配[13]、熵正则化IRL[7] [14] [15]、对抗性IRL[8] [16] [17]、贝叶斯IRL[6] [12] 和离线IRL[18] [19]。有关综述，请参见[20]和[21]。

尽管取得了这些进展，IRL在科学应用中仍存在两个主要挑战。首先，大多数IRL算法假设可以访问或需要估计环境的转移动态，这在转移未知或不可观察的系统中可能是不可行的。例如，在癌症生物学中，细胞对局部线索的反应规则了解不足，无法直接采样。其次，依赖于深度神经网络的IRL方法[19] [22]往往缺乏可解释性，限制了它们生成有意义的科学假设或对系统潜在机制的洞察力。同时，许多自然和工程系统遵循机械定律，例如由随机微分方程（SDEs）及其连续极限——Fokker-Planck（FP）PDEs[23]描述的定律。这些定律捕捉了重要的物理结构，包括守恒、漂移和扩散。重要的是，它们描述的是群体层面的密度如何演变，而不是个体代理如何做出决策。我们试图弥合基于物理的群体层面建模与以决策为中心的代理层面建模之间的差距。在这项工作中，我们提出了一个新框架：Fokker-Planck逆强化学习（FP-IRL）。我们的关键洞察是FP动态与一类基于物理的MDP之间的对应关系，这使我们能够将IRL重新表述为一个受FP物理约束的回归问题。这种表述使我们能够：
- 在不采样环境的情况下推断出转移函数和奖励函数；
- 通过物理意义上的量（例如漂移和扩散）保持可解释性；
- 利用变分系统识别（VSI）[24] [25]避免嵌套的策略优化，从而推断出控制PDEs。

我们基于这一洞察开发了FP-IRL算法，并在合成示例和修改后的经典山地车基准测试上对其进行了验证，该基准测试被重新设计为遵循FP动态。我们的结果表明，FP-IRL能够准确恢复奖励、转移和策略函数，并且在网格细化下表现出经验收敛性。

**论文结构**
第2节介绍了相关的IRL背景和问题表述。第3节介绍了我们的FP-IRL框架以及FP动态与MDP之间的联系。第4节详细介绍了VSI方法。第5节通过数值示例展示了结果。第6节讨论了我们方法的更广泛意义和局限性。第7节总结了关键发现。

**初步知识**
我们考虑一个由元组M?{S,A,ρ0(?),R(?),T(?)}定义的MDP，其中：
- S?R^d是状态空间，状态s∈S；
- A?R^d是动作空间，动作a∈A；
- ρ0(s):S→R^+是初始状态分布；
- R(s,a):S×A→R是奖励函数；
- T(s′|s,a):S×S×A→R^+是状态转移概率函数，表示在状态s采取动作a时转移到状态s′的概率。
代理通过遵循随机策略π(a|s):S×A→R+与环境交互，该策略指定了...

**Fokker-Planck逆强化学习**
在本节中，我们介绍了FP-IRL，这是一种基于物理的IRL框架（见图3）。我们首先使用FP PDE来描述MDP的转移动态，该方程描述了在随机扩散下的状态-动作分布的时间演变。基于这种表述，我们提出了FP PDE与MDP之间的等价性猜想，这一猜想基于最小能量原理。这种联系使我们能够联合估计转移函数、奖励函数和...

**Fokker-Planck PDE推断**
在本节中，我们讨论了使用VSI来推断参数化的FP PDE。有关VSI的详细背景，请参阅[24] [25]。我们考虑时间演变的概率密度场p(x,t):Ω×[0,τ]→R^+，其中Ω=∏i=1^d[ai,bi]，[0,τ]是时间间隔。为了简化表示，除非另有说明，否则我们省略了显式的时间依赖性（需要时写作pt(x)）。在MDP背景下，x表示状态-动作对，类似于统计中的空间坐标...

**数值实验**
我们首先通过在基于经典Grid World问题的受控合成示例上展示FP-IRL的有效性。标准的RL基准测试（如OpenAI Gym中的测试）不适用，因为它们的状态-动作动态通常不遵循我们方法所需的FP公式。为了突出FP-IRL的更广泛适用性，我们还包括了一个修改后的著名山地车问题，使其符合FP动态。表1总结了...

**意义**
我们通过引入FP物理与一类基于物理的MDP之间的对应关系，引入了一个新的FP-IRL框架。这种联系使得开发一种物理约束的IRL算法成为可能，该算法可以从观察到的行为中推断出奖励函数和转移动态，而无需显式的轨迹模拟。这种物理与IRL的融合提供了几个关键优势。

**结论**
我们提出了FP-IRL，这是一种新的基于物理的IRL框架，它将随机物理和RL的原则联系起来。通过假设FP方程与MDP之间的等价性，FP-IRL能够从轨迹数据中推断出奖励函数和转移函数，而无需直接访问环境的动态或进行迭代策略优化。我们的方法带来了三个关键优势：
1. 它消除了对采样转移或黑盒模拟器的依赖；
2. ...

**作者贡献声明**
程阳 黄：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。
西达多·斯里瓦斯塔瓦：撰写——审阅与编辑、撰写——原始草稿、验证、软件、方法论、调查、形式分析、概念化。
肯尼斯·K·Y·何：撰写——审阅与编辑、概念化。
凯瑟琳·E·卢克：撰写——审阅与编辑、概念化。
加里·D·卢克：...

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：鉴于克里希纳·加里皮帕蒂在《计算机方法在应用力学与工程》期刊中的编辑委员会成员身份，他未参与本文的同行评审，也无法访问有关其同行评审的信息。本文的编辑过程完全由另一位期刊编辑负责。

**致谢**
本研究部分得到了W. M. Keck基金会的支持。此外，密歇根大学安娜堡分校的高级研究计算部门提供了计算资源和服务支持。