基于变分信息瓶颈的最大信息增益强化学习

《Physical Communication》：Maximum Information Gain Reinforcement Learning Based on the Variational Information Bottleneck

　　

摘要

高效探索在稀疏奖励或复杂动态的连续控制环境中仍然具有挑战性，因为在原始状态 - 动作空间中计算的不一致估计可能受到不稳定表示和本地转换不连续性的主导。本文提出了 VIB-MaxinfoSAC，这是一种受信息增益启发的探索方法，使用变分信息瓶颈（VIB）来正则化评估认知不确定性的表示。一个由 β-VAE 组成的集成在压缩状态 - 动作对的同时预测物理状态残差和奖励，使得潜在变量保留决策相关动态而不是重建每个输入维度。集成潜在映射之间的一致性定义了与熵相关的内在奖励代理，这通过双温度自适应目标纳入策略学习。在五个基于状态的连续控制任务中，VIB-MaxinfoSAC 改善了稀疏奖励环境中的早期探索，在密集运动任务中保持竞争力，并在所选配置下的运动任务中显示出比评估基线更低的训练变异性。消融实验和潜在空间分析进一步表明，瓶颈约束限制了潜在发散同时保留了转换相关结构。

引言

强化学习为游戏、机器人控制和语言模型对齐等领域中的顺序决策提供了一个通用框架。然而，实际部署受到样本效率低下的探索的限制，尤其是当奖励稀疏或难以逃离局部最优时。诸如 ?-greedy 和 Boltzmann 探索等启发式策略在扰动策略时并不明确测量关于环境的剩余不确定性。信息增益方法则将探索表述为贝叶斯实验设计，其中智能体选择预计能减少关于环境的认知不确定性的动作。

同样的算法难题也出现在学习赋能的物理层和以 PHY 为中心的跨层通信系统中。在认知无线电、动态频谱接入、车载资源分配和 UAV 辅助网络中，学习智能体可能从信道质量、干扰、链路反馈和移动状态的局部观察中选择信道、波束、发射功率或移动控制 [1], [2], [3], [4]。相应的奖励可能由数据包成功率、中断、延迟约束吞吐量或频谱效率定义，并且可以是稀疏的、延迟的或突然受到衰落、阻挡和突发干扰影响的。在这种映射下，基于残差和奖励的瓶颈学习观察到的系统动态和效用的紧凑预测统计量，集成多样性对结果仍然不确定的状态 - 动作输入进行排序，双温度目标平衡这种信息导向探索与服务目标。这建立了与自适应通信决策的算法联系，而不是声称通用的控制任务构成协议级通信实验。因此，本工作研究了一种在稀疏反馈和非线性动态下进行连续决策的通用探索机制，而特定协议的物理层模拟留作未来的验证步骤。

这种困难在稀疏的 Cartpole-Swingup 任务和接触丰富的运动中显而易见。在 Cartpole-Swingup 中，大多数早期轨迹没有收到奖励，因此探索信号必须区分真正有用的摆动转换与向下平衡附近的重复失败。在 Hopper-Hop 中，间歇性地面接触可能导致速度和关节状态的突然变化，这不一定是不确定动态的证据。因此，原始的不一致信号可能对局部坐标变化反应强烈，而很少提供关于哪些转换对控制有信息的指导。

概率动态模型和集成为定向探索提供了机制，但它们的不确定性估计在连续控制中可能不可靠。概率集成已被证明对不确定性感知的模型控制有用 [5]，并且 Lipschitz 正则性提供了对多步模型误差的理论控制 [6]。最近的几何分析进一步表明，连续控制中的神经网络策略诱导了结构化的低维可达状态流形 [7]。表示和度量基探索研究同样表明，内在奖励的价值取决于评估新颖性的空间的几何和任务相关性 [8], [9], [10]。然而，接触事件和其他突然转换在运动学观察中引入了局部非平滑变化。当在不加约束的状态 - 动作表示中直接测量不一致性时，小的输入扰动可以引起与认知新颖性无关的大表示变化。策略随后可能优化数值变化而不是信息转换，这可能导致振荡学习或早期停滞。

因此，有效的不确定性表示应抑制与可预测动态无关的输入变化，同时保留控制所需的特征。信息瓶颈通过平衡压缩和预测充分性提供了这种归纳偏置。其变分实现允许这种平衡与深度模型联合优化，而系数 β 控制潜在变量中保留的信息量。此原理用于正则化评估与熵相关的不一致代理的表示。

VIB-MaxinfoSAC 包含三个耦合组件。首先，一个集成 β-VAE 编码联合状态 - 动作输入并预测物理状态残差和奖励。这些预测目标将潜在变量锚定到转换相关信息，并降低了平凡常数表示的风险。其次，构建来自集成潜在映射之间不一致性而不是原始状态预测方差的认知不确定性代理。第三，双温度目标在策略优化期间适应这种不一致信号的贡献。这些组件共同将内在动机引导至在紧凑动态相关表示下仍然不确定的转换。

本工作做出了三项贡献。首先，它引入了一种基于残差的变分瓶颈来构建由与熵相关的探索代理使用的紧凑状态 - 动作表示。其次，它提出了一种端到端算法，将集成潜在不一致性与双温度最大熵策略优化相结合。第三，在稀疏奖励和运动基准上的实验评估了探索性能、潜在发散、表示结构、不确定性信号行为以及对主要表示超参数的敏感性。

章节片段

相关工作

与此研究最相关的前期工作可以组织为信息导向探索、任务相关潜在表示学习和基于赋能或因果的探索。这些类别分别讨论，因为它们既在探索信号的来源上不同，也在分配给学习表示的角色上不同。

信息导向探索。预测误差方法将奖励分配给难以预测的转换。ICM 学习特征以

问题设置

交互被建模为马尔可夫决策过程 $〈\mathcal{S},\mathcal{A},p,r^e,\gamma 〉$，其中 $\mathcal{S}$ 和 $\mathcal{A}$ 分别表示状态空间和连续动作空间。转换函数 $p\left(s_{t+1}\right|s_t,a_t)$ 指定了在状态 s_t 中应用动作 a_t 后下一个状态的分布。在时间步 t，智能体采样 a_t ～ π( ·|s_t) 并接收 $s_{t+1}$ 和外在奖励 $r_t^e=r^e(s_t,a_t,s_{t+1})$。目标是学习一个策略 π* 以最大化期望折扣回报 ${\mathbb{E}}_{\pi ,p}\left[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t^e\right]$。

用于联合表示学习的变分信息瓶颈

这

实验

实验评估了五个来自 DeepMind Control Suite 和 Gym 风格基准的连续控制任务在不同随机种子下的探索效率、最终回报和训练稳定性。

结论

本文提出了 VIB-MaxinfoSAC，它从集成瓶颈状态 - 动作表示构建与熵相关的探索代理。物理残差和奖励预测将潜在变量锚定到转换相关信息，双温度目标将潜在映射不一致性纳入策略学习。在五个基于状态的连续控制任务中，该方法改善了稀疏奖励环境中的早期探索并减少了跨种子

CRediT 作者贡献声明

Xi Chen: 写作 – 原稿，方法论，概念化。Meng Yang: 监督，资源，概念化。Hua Meng: 写作 – 回顾与编辑，资源。Shucong Tian: 写作 – 回顾与编辑。Zicheng Wang: 资源，概念化。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系，这些可能会影响本报告中所述工作的表现。

Xi Chen|Meng Yang|Hua Meng|Shucong Tian|Zicheng Wang