通过隐式状态-状态规划缓解离线强化学习中的状态-动作分布偏移

《Pattern Recognition》:Mitigating state-action distribution shifts in offline reinforcement learning via implicit state-state planning

【字体: 大 中 小 】 时间:2026年10月24日 来源:Pattern Recognition 9.1

编辑推荐:

   •提出隐式状态-状态规划,实现动作感知的状态转移•开发离策略期望分位回归隐式状态拼接策略评估•引入并行隐式状态拼接策略改进•在机器人和电力系统任务中展示更优的决策质量引言强化学习(RL)[1]、[2]通常通过与环境的广泛交互来学习控制策略。然而,在机器人[3]、[4]和电力系

  

•提出隐式状态-状态规划,实现动作感知的状态转移•开发离策略期望分位回归隐式状态拼接策略评估•引入并行隐式状态拼接策略改进•在机器人和电力系统任务中展示更优的决策质量引言强化学习(RL)[1]、[2]通常通过与环境的广泛交互来学习控制策略。然而,在机器人[3]、[4]和电力系统[5]等实际领域中,获取额外的交互数据可能既不可行也不安全。离线强化学习(ORL)[6]、[7]通过仅利用预先收集的数据集学习策略来解决这一问题,使其在安全关键和资源受限的应用中尤其具有吸引力[8]。ORL面临的一个基本挑战是学习策略与离线数据集底层行为策略之间的分布偏移。这种偏移体现在动作和状态分布两方面[9]、[10]。动作分布偏移可能导致训练过程中对分布外(OOD)动作产生严重的Q函数外推误差[11],而状态分布偏移则会导致部署时对OOD状态策略泛化能力差[12]。现有的ORL方法主要通过动作拼接或状态拼接策略来解决这两个挑战[13]。动作拼接方法,例如策略约束方法[14]、[15],以带行为克隆的TD3(TD3-BC)[16]和状态校正与动作抑制(SCAS)[17]为代表,以及价值正则化方法[18]、[19],以保守Q学习(CQL)[20]和隐式Q学习(IQL)[21]为代表,通过约束动作选择保持接近行为分布,从而降低选择不可靠OOD动作的风险。然而,这种刚性的动作约束可能会不必要地排除潜在的有益动作,同时对策略执行过程中到达的状态控制有限[22]。相比之下,状态拼接方法[23],包括策略引导的ORL(POR)[24]、状态优势加权(SAW)[25]、双重POR(DPOR)[26]、t对称性约束的潜在状态拼接(TELS)[27]和状态约束的QSS学习(StaCQ)[28],通过学习状态转移模型(STM)来直接预测理想的下一状态,然后通过逆动力学模型(IDM)推导相应的动作。这为缓解状态分布偏移提供了更为显式的机制。然而,这些方法在很大程度上是动作无关的:转移主要通过状态或状态转移价值函数(STV函数)进行评估,而没有明确考虑实现所预测转移所需的动作支撑。因此,看似高价值的转移可能对应于支撑不足的动作,从而削弱了STM所建立的状态-动作对应关系,导致执行不可靠和泛化误差累积。基于这一观察,我们提出了隐式状态-状态规划(ISSP),这是一个将数据集内动作信息嵌入到状态拼接中以实现期望最优转移的ORL框架。ISSP的核心是学习既具有高价值又在数据集支撑下可执行动作的状态转移,从而共同缓解状态和动作分布偏移。具体而言,ISSP利用动作拼接Q函数来评估STM-IDM对隐式诱导的策略,在状态转移和动作支撑之间建立耦合。这种设计规避了状态拼接的过度动作自由度和动作拼接的刚性OOD拒绝。本文的主要贡献总结如下:•我们提出了ISSP,一个通过动作拼接Q函数评估实现隐式状态拼接的ORL框架,实现了动作感知的状态转移。•我们将离策略期望分位回归引入隐式状态拼接策略评估中,以改善STM的数据集内状态-动作对应关系。•我们对隐式状态拼接策略改进的引导STM和执行STM采用差异化约束,以平衡稳定的价值学习和部署泛化。•我们建立了学习到的Q函数在收敛性、等价性和有界高估方面的理论保证,并为执行策略推导了性能下界。与现有的状态拼接ORL方法相比,ISSP的关键特征可从以下三个方面进行概括:•动作耦合评估而非动作无关的状态拼接。现有的基于STM/IDM的方法使用STV函数学习转移,然后恢复动作,导致动作解耦评估。相比之下,ISSP利用动作拼接Q函数来评估STM-IDM对诱导的策略,从而在贝尔曼备份中纳入动作支撑。•并行STM学习而非单一约束STM。先前的基于STM的方法通常在固定状态约束下使用单一STM,将训练稳定性与部署泛化耦合在一起。ISSP则采用强约束的引导STM用于价值学习,并采用松弛的执行STM用于推理,以平衡稳定性和泛化能力。•离策略支撑感知备份而非样本内备份。样本内方法仅在数据集转移上执行期望分位贝尔曼备份,可能导致过于保守的价值估计。ISSP采用离策略期望分位贝尔曼备份来评估STM-IDM对诱导的策略,实现支撑感知但限制较少的泛化。问题片段ORL的问题建模RL通常被建模为马尔可夫决策过程(MDP)[29]、[30]。MDP由六元组M={S,A,TM,r,γ,d0}定义,其中S和A分别表示状态空间和动作空间。状态转移分布TM(s′|s,a)将状态-动作对(s,a)映射到后续状态s′。奖励函数r(s,a)∈[?Rmax,Rmax]指定了有界奖励,γ∈(0,1]为折扣因子,d0为初始状态分布。RL的目标是学习一个确定性策略π:S→A,使得ORL隐式状态-状态规划为实现动作感知的状态转移预测,我们的ISSP将数据集内动作信息集成到STM学习中,以增强STM的数据集内状态-动作对应关系,从而共同缓解状态和动作分布偏移。直观地说,ISSP允许由STM隐式诱导的策略(借助IDM)遵循Q函数贝尔曼算子的分位原则,既保留了状态拼接的泛化优势,又纳入了ISSP的理论保证本节提供了ISSP的理论基础。我们首先建立了隐式状态拼接策略评估的收敛性和等价性。然后我们解析地界定了由OERIS-PE引入的Q函数高估误差。最后,我们推导了PIS-PI(特别是MISE-PI)的性能下界。由于篇幅限制,附录A至D可在我们的补充材料中获取,地址为:https://github.com/BlankSHC/Implicit-State-State-Planning实验本节通过实验评估寻求回答以下研究问题:Q1:ISSP在推理期间学习的任务求解策略的决策质量如何?(第5.2节)Q2:ISSP在推理期间的决策效率如何,以及训练期间的资源消耗如何?(第5.3节)Q3:隐式状态拼接是否能增强数据集内的状态-动作对应关系?(第5.4节)Q4:离策略期望分位回归和温和(此处原文截断)结论与显式的动作拼接和状态拼接ORL方法相比,隐式状态拼接为缓解状态和动作分布偏移提供了一种有前景的解决方案。ISSP中的OERIS-PE组件利用来自动作拼接方法的Q函数,隐式地评估由STM借助IDM生成的动作,并采用离策略期望分位回归将Q函数估计目标转换为QL风格的隐式状态拼接贝尔曼算子的分位。这CRediT作者贡献声明曹硕:原始草稿撰写、软件、方法论、调查研究、概念构思。程玉虎:审阅与编辑、验证、监督。王雪松:审阅与编辑、验证、监督。生成式AI使用声明在准备本工作期间,作者未使用生成式AI。利益冲突声明作者声明不存在已知的可能影响本文报告工作的财务利益冲突或个人关系。致谢本工作由国家自然科学基金委资助,资助号为62573416和62373364。曹硕 | 程玉虎 | 王雪松
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号