基于可拉伸惩罚的安全策略优化

《Neurocomputing》：Safe policy optimization with stretchable penalties

　　

摘要在安全强化学习（RL）中，在保证满足成本约束的同时最小化奖励获取的损失是一项重大挑战。本文提出了一种高效的安全 RL 算法，称为基于可拉伸惩罚的安全策略优化（S2P2O）。S2P2O 构建了一种非单调的 Swish 形惩罚，具有变号梯度和可调节的拉伸最优惩罚点，从而实现从奖励促进到安全校正的平滑过渡。一种库姆勒 - 莱布勒（KL）散度拉伸机制根据当前的奖励和约束状态，在超过 KL 阈值时重新缩放奖励和惩罚梯度，从而在完全利用收集到的轨迹的同时，实现持续的策略优化并提高样本效率。分析了 Swish 形目标的最优值与原始约束目标的最优值之间的理论误差界。进行了全面的实验，将 S2P2O 与几种最先进的安全 RL 算法进行了基准测试。结果表明，S2P2O 表现出增强的成本约束满足能力、卓越的奖励获取能力以及加速的成本收敛速度。

引言强化学习（RL）是机器学习的一个分支，使智能体能够通过与环境交互来学习最优决策策略 [1]。通过试错，智能体收集环境反馈，这有助于随着时间的推移改进展现出的行为 [2]。结合人工神经网络 [3]、[4]，RL 已在广泛领域取得了显著成功，从游戏 [5]、[6] 到复杂控制任务 [7]、[8]。然而，随着 RL 部署在日益复杂和高风险的环境中，确保安全性和可靠性变得势在必行 [9]、[10]。这促使了安全 RL 的发展，通常在约束马尔可夫决策过程（CMDP）框架下 formulation [11]。安全 RL 侧重于训练不仅最大化奖励而且遵守成本约束的智能体 [12]，从而防止不安全行为，并使 RL 算法能够在诸如自主避障 [13] 和医疗保健系统 [14] 等现实世界应用中得到安全部署。

标准 CMDP formulation 下现有的安全 RL 算法大致可分为三类：基于凸优化的算法 [15]、[16]、[17]、[18]、[19]，基于拉格朗日的算法 [20]、[21]、[22]、[23]、[24]、[25]，以及基于惩罚函数的算法 [26]、[27]、[28]。尽管在这些方向上取得了相当大的进展，但仍存在一个根本挑战：有效地平衡奖励获取和约束满足。在实践中，严格的安全执行往往会导致过于保守的策略，奖励提升有限，而激进的奖励追求往往放宽安全约束，导致频繁或严重的约束违反。在这些相互冲突的目标之间实现适当的权衡仍然是安全 RL 中的一个核心开放问题 [29]。

在安全策略优化期间，当前策略和行为策略分布之间的库姆勒 - 莱布勒（KL）散度控制无效可能会显著降低算法性能 [30]。近端策略优化（PPO）[31] 通过裁剪策略比率来约束策略更新，但这种机制无法严格调节 KL 散度，这偶尔可能超过信任域 [32]。为确保稳定性，诸如策略空间中的一阶约束优化（FOCOPS）[18] 和惩罚 PPO（P3O）[26] 等安全 RL 算法通常采用 KL 早停机制，一旦超过 KL 阈值就停止更新。虽然这种保守的方法缓解了不稳定性，但它通过丢弃收集的轨迹牺牲了样本效率，这在安全关键环境中成本尤为高昂。因此，开发一种机制，在违反 KL 约束时及时纠正策略偏差，而不过早停止优化，至关重要。

受这些挑战的驱动，本文提出了一种高效的基于惩罚函数的安全 RL 算法，称为基于可拉伸惩罚的安全策略优化（S2P2O）。S2P2O 解决了安全策略优化中的两个基本局限性。首先，传统的惩罚 shaping 无法灵活地在可行和不可行区域使用成本信息，导致约束满足后指导信息的丢失或可行区域内持续的惩罚。非单调的 Swish 形惩罚则在可行区域内引入了变号梯度和可调节的拉伸最优惩罚点，实现了从奖励促进到安全校正的平滑过渡。其次，传统的 KL 早停机制将阈值违反视为二元终止事件。提出的 KL 散度拉伸机制则根据当前的奖励和约束状态，在超过 KL 阈值时重新缩放奖励和惩罚梯度，允许优化继续并进行收集的轨迹得到充分利用。这些机制共同提供了对成本和 KL 阈值违反的统一可拉伸处理。本文的主要贡献总结如下：

1) 开发了一种具有变号梯度和可调节拉伸最优惩罚点的非单调 Swish 形惩罚，以在可行和不可行区域保留信息梯度。它在促进奖励获取的同时加强安全校正，从而减轻成本阈值附近的振荡并加速成本收敛。还分析了相对于原始约束目标的最优值误差界。

2) 开发了一种 KL 散度拉伸机制，以取代二元的 KL 早停规则。一旦超过 KL 阈值，该机制根据当前的奖励和约束状态调整奖励和惩罚项的相对梯度贡献，从而在不中断策略优化的情况下进行行为校正。这使得收集的轨迹得到充分利用并提高了样本效率。

3) 通过将提出的机制整合到基于惩罚函数的框架中，构建了一种新的安全 RL 算法 S2P2O。广泛的实验证实了其在约束满足、奖励获取和成本收敛方面的整体优越性。

剩余部分的结构如下：第 2 节回顾相关工作，第 3 节介绍初步概念。第 4 节介绍了用于成本约束违反拉伸的 Swish 形惩罚函数。在第 5 节中，设计并分析了一种 KL 散度拉伸机制。第 6 节概述了所提算法的实现细节。第 7 节展示了来自一套全面实验的结果，第 8 节总结了本文。

章节片段
相关工作
本文关注标准的 CMDP 设置，其中通过期望成本约束来强制执行安全性，这是安全 RL 研究和基准测试中广泛采用的一种 formulation。其他研究针对更严格的安全性要求，如瞬时或状态级约束满足，通过机制包括探索限制 [33] 和行动校正 [34] 来实现。然而，这些机制可能会过度限制允许的行为，从而限制奖励改进的空间。通过

约束马尔可夫决策过程
MDP 正式定义为元组，其中是状态空间，是动作空间，是转移概率函数，使得给出在状态下采取动作后转移到状态的概率，并且表示奖励函数，它指定执行状态转换后接收的即时奖励。初始状态分布提供在每个状态下开始的概率。折扣因子确定未来奖励的现值。给定一个

Swish 形惩罚函数设计与分析
在本节中，提出了一种 Swish 形惩罚函数并对其理论性能进行了分析。

样本高效的 KL 散度拉伸机制设计与分析
在本节中，设计了一种 KL 散度拉伸机制，以取代传统的 KL 早停机制，从而提高样本效率。在网络训练 epoch 期间，策略网络使用行为策略收集的轨迹数据更新次。在 epoch 内的第次更新中，我们将当前策略标记为。这些更新迭代地将策略从（即）演化到（即）。和之间的 KL 散度为其中表示微分元素

算法实现
虽然引入了 KL 散度拉伸机制，但频繁违反 KL 散度阈值仍可能导致不稳定和训练性能下降。因此，在 S2P2O 的实现中，首先应用 [26]、[28] 中使用的策略比率裁剪机制来调节 KL 散度。然后，当当前 KL 散度超过预定义阈值时，采用提出的 KL 散度拉伸机制进行行为校正。这种方法

实验
本节展示了广泛的实验，包括与最先进基线的性能比较、消融研究、参数分析、成本限制敏感性分析和计算成本评估，以证明以下几点：1) S2P2O 通过实现更好的约束满足、更快的成本收敛和通常更高的奖励，优于现有的安全 RL 算法。2) S2P2O 的每个组件都在不同程度上为其整体性能改进做出了贡献。3)

结论
本文提出了一种新的安全 RL 算法 S2P2O，旨在改善成本约束满足的同时促进智能体训练的奖励获取。所提算法集成了两个关键组件：Swish 形惩罚函数和 KL 散度拉伸机制。前者从约束违反的角度增强奖励结果并改善成本阈值满足，而后者从 KL 散度阈值违反的角度提升样本效率。

CRediT 作者贡献声明
庞宁：写作 – 初稿，可视化，验证，软件，方法论，调查，形式分析，数据整理，概念化。黄龙阳：写作 – 审阅与编辑，验证。董博涛：写作 – 审阅与编辑，验证。张伟东：监督，资金获取。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些可能被认为影响了本文报道的工作。

致谢
本文部分由中国国家重点研发计划（Grant 2022ZD0119900）资助，部分由中国国家自然科学基金（Grants U2141234 和 U24A20260）资助，部分由海南省科技专项资金（Grant ZDYF2024GXJS003）资助。

庞宁于中国重庆西南大学获得电子信息工程学士学位。他目前正在中国上海上海交通大学自动化与智能感知学院攻读控制科学与工程博士学位。自 2025 年起，他已成为加拿大维多利亚省维多利亚大学机械工程系的研究访问学者。他的研究兴趣包括强化学习和

庞宁 | 黄龙阳 | 董博涛 | 张伟东
中国上海 200240，上海交通大学自动化与智能感知学院