贝叶斯马尔可夫决策过程的离线风险感知策略选择方法

《Artificial Intelligence》：An Offline Risk-aware Policy Selection Method for Bayesian Markov Decision Processes

　　

在离线模型学习规划（Offline Model Learning for Planning）和离线强化学习（Reinforcement Learning, RL）中，有限的数据集会阻碍对相关马尔可夫决策过程（Markov Decision Process, MDP）价值函数（Value function）的估计。因此，所获策略在现实世界中的性能是有限的且可能具有风险性，尤其是在部署错误策略可能导致灾难性后果时。为此，研究人员正在探索多种途径，旨在减少模型误差（或学习模型与真实模型之间的分布偏移），更广泛地说，是针对模型不确定性获得风险感知（risk-aware）的解。但是，当涉及到最终应用时，从业者应该选择哪个基线方法？在离线环境中，计算时间不是问题而鲁棒性是优先事项，我们提出了利用与谨慎（Exploitation vs Caution, EvC）范式，该范式（1）优雅地遵循贝叶斯形式主义（Bayesian formalism）纳入模型不确定性，并且（2）在例如当前基线方法提供的一组固定候选策略中，选择能够最大化基于贝叶斯后验（Bayesian posterior）的风险感知目标（risk-aware objective）的策略。研究人员在不同的离散（尽管简单）环境中，提供了相当多样化的MDP类别，使用最先进的方法验证了EvC。在测试场景中，EvC能够选择鲁棒策略，因此对于旨在现实世界中应用离线规划和强化学习求解器的从业者来说，它是一个有用的工具。

### 论文解读：贝叶斯马尔可夫决策过程的离线风险感知策略选择方法

#### 研究背景与问题
在未知且可能具有随机性的环境中部署自主智能体是一项精细的任务，通常需要持续的智能体-环境交互，而这在现实场景中往往难以实现。例如，在医疗机器人训练和自动驾驶车辆等应用中，与环境交互既可能风险过高（如接近人类），也可能成本高昂，因为任何错误都可能导致灾难性后果，或者数据收集阶段需要直接的人力参与，这通常昂贵且耗时。因此，利用先前收集的数据集来限制额外的（危险或多余的）交互是便利的。离线模型学习规划和离线强化学习（RL）是机器学习的两个分支，它们利用先前收集的经验批次，旨在离线状态下建立最优的行为策略。近年来，RL领域发表了大量相关论文，显示出对该领域日益增长的兴趣。

然而，在离线设置中，有限的数据集阻碍了对相关马尔可夫决策过程（MDP）价值函数的准确估计，导致所获策略在现实世界中的性能受限且可能具有风险。现有方法虽然尝试通过平衡利用（exploitation）与谨慎（caution）来改进策略，但通常需要调整领域相关的超参数，这可能需要额外的环境交互，从而违背了离线学习的初衷。此外，当前的风险感知策略选择方法，如基于重要性采样（Importance Sampling）的离线策略评估（Off-Policy Evaluation, OPE），在处理确定性策略时存在准确性问题。因此，如何在考虑模型学习阶段不确定性的情况下，为离线数据驱动的MDP选择鲁棒策略，仍然是一个开放性问题。

#### 研究内容与结论
本研究由Giorgio Angelotti、Nicolas Drougard和Caroline P C Chanel完成，发表在《Artificial Intelligence》期刊上。研究人员提出了一种名为“利用与谨慎”（EvC）的离线贝叶斯范式，用于评估现有求解器提供的策略性能，并根据不同的风险度量（如风险价值VaR和条件风险价值CVaR）从一组候选策略中选择最佳策略。该方法的核心贡献在于：1）提出了一个在离线设置下为贝叶斯MDP从候选策略集中选择最佳风险感知策略的范式；2）通过给定风险水平（或分位数阶数）的置信估计方法计算风险感知准则，为所选策略的性能提供概率保证；3）实证结果证明了该方法在玩具环境中相较于当前策略选择基线（如通用离线策略评估UnO）的有效性。

#### 关键技术方法
为开展研究，研究人员主要采用了以下关键技术方法：首先，基于贝叶斯框架，从固定批次数据推断模型后验分布，以优雅地纳入模型不确定性。其次，提出了蒙特卡洛置信策略选择（MC2PS）算法，通过交替进行蒙特卡洛模型采样和策略评估，增量式地采样模型并评估每个策略在模型不确定性下的性能分布，直到满足基于二项分布的统计停止准则，从而估计风险度量（如VaR或CVaR）。最后，设计了EvC算法，其候选策略集不仅包含通过最先进基线算法（如SPIBB、BOPAH、BCR、NORBU）获得的策略，还通过从贝叶斯后验中采样不同模型并使用不同折扣因子求解MDP来丰富策略集，然后利用MC2PS选择最大化风险感知效用的策略。实验在离散环境（Ring、Chain和随机冰冻湖RFL）中进行，使用随机策略收集的轨迹批次作为数据来源。

#### 研究结果
**2. 背景**：本节回顾了MDP和贝叶斯MDP（BMDP）的形式化定义，为后续风险感知框架奠定基础。

**3. 风险感知度量**：引入了风险价值（VaR）和条件风险价值（CVaR）两种风险度量，并将其应用于BMDP框架，定义了风险感知效用函数。

**4. 求解离线风险感知BMDP**：提出了MC2PS算法来估计策略性能分布的分位数，并在此基础上提出了EvC算法。EvC首先生成候选策略集（包括基线算法策略以及通过从后验采样模型并使用不同折扣因子求解得到的策略），然后使用MC2PS选择最大化风险感知效用的策略。理论分析为所选策略的性能提供了概率下界保证（定理1和定理2）。

**5. 实验**：在Ring、Chain和随机冰冻湖（RFL）环境中评估EvC。实验结果表明：
- 在Ring环境中，使用q=0.25时，就最大、平均和中位数性能差异而言，NORBU（使用CVaR软鲁棒目标）表现最佳，但BOPAH在最坏情况性能方面最鲁棒。EvC（使用VaR）在考虑的所有指标上都是表现最好的选择方法。
- 在Chain环境中，除SPIBB外，所有基线和选择方法性能相近。
- 在RFL环境中，在4个环境中的3个里，NORBU整体指标最佳。EvC（使用VaR/CVaR）是最佳选择方法。
分析显示，当批次数据较小时，EvC倾向于选择通过求解从后验采样的不同模型并使用不同折扣因子得到的策略；随着批次数据量增加，选择逐渐转向平凡策略（Ring和Chain）或NORBU（RFL）。EvC从未选择SPIBB或BOPAH输出的策略，这可能是因为估计非确定性策略性能分位数更为困难。与基于重要性采样的UnO方法相比，EvC在评估确定性策略方面表现更优，因为UnO在处理确定性策略时重要性采样比经常为零，导致评估不准确。

#### 讨论与结论
**6. 结论与未来工作**：本研究提出了EvC方法，用于在离线风险感知贝叶斯MDP的背景下，评估并从一组候选策略中选择最佳的风险感知策略。风险感知BMDP定义了一个优雅的数学框架，用于在不确定性下平衡离线基于模型的序贯决策中的利用-谨慎权衡。EvC利用的候选策略集不仅包含通过平凡学习MDP获得的策略，还包含通过从贝叶斯后验采样动态并使用不同折扣因子求解其他MDP获得的策略，以及当前离线MDP和RL求解器（如SPIBB、BOPAH、BCR、NORBU）的解。所提出算法中的风险估计为最终策略的实际性能提供了概率保证（定理1和定理2）。所选策略最大化了公式（11）定义的风险感知效用函数。由于EvC基于从贝叶斯后验并行采样大量模型进行求解，研究人员怀疑其能否有效扩展到具有大量状态和动作的MDP的策略选择。然而，所提出的方法应被视为通过MDP建模解决现实世界问题的一个有价值的工具，因为在这种情况下，时间是可负担的资源，而可能涉及人员的安全才是优先事项。

未来工作旨在改进EvC生成候选策略集的方法，例如通过启发式方法（如遗传算法的策略改进）增量式丰富策略集。另一个方向是探索扩展到数据驱动的部分可观测MDP（POMDP）的鲁棒策略计算，前提是能够形式化模型不确定性的连贯表示。此外，研究其他VaR和CVaR估计方法的实现也是一个有趣的途径。

**研究结论部分翻译**：本研究提出了EvC，一种首先评估然后在一组候选策略中选择最佳风险感知策略的方法，适用于离线求解风险感知贝叶斯MDP。风险感知BMDP定义了一个优雅的数学框架，用于在不确定性下平衡离线基于模型的序贯决策中的利用-谨慎权衡。EvC利用的候选策略集包含通过求解平凡学习MDP获得的策略、通过从贝叶斯后验采样动态并使用不同折扣因子求解其他MDP获得的策略，以及当前离线MDP和RL求解器（SPIBB、BOPAH、BCR、NORBU）的解。所提出算法中的风险估计为最终策略的实际性能提供了概率保证。所选策略最大化了风险感知效用函数。由于EvC基于从贝叶斯后验并行采样大量模型进行求解，其可能难以高效扩展到为具有大量状态和动作的MDP选择策略。然而，所提出的方法应被视为通过MDP建模解决现实世界问题的有价值工具，此时时间是可负担资源，而安全是优先事项。