编辑推荐：
本文聚焦物理信息强化学习（PIRL），探讨其将物理约束与规律融入强化学习（RL）的方式，构建以 RL 流程为主干的分类体系，分析核心架构与物理融合偏差，指出应用领域、现存差距及未来研究方向，助力提升 RL 算法性能。
物理信息强化学习（PIRL）通过融合物理信息与机器学习框架，在诸多领域引发变革。其核心在于借助物理约束与规律优化学习过程。
强化学习（RL）面临的挑战与物理信息融入的意义
RL 通过与环境的试错交互，为决策与优化问题提供了有效途径，在自动驾驶、运动控制、机器人等领域成果显著。然而，多数成功方法纯数据驱动，依赖试错探索，在真实场景中，因模拟环境与现实系统的差异，面临样本效率低、高维连续状态与动作空间处理难、安全探索不易、奖励函数设计复杂等挑战。
而在机器学习中融入数学物理，可让神经网络更高效地从不完整物理信息和不完美数据中学习，缩短训练时间、增强泛化能力，还能应对高维应用，确保解符合物理规律。RL 因多处理现实问题且具可解释物理结构，成为融入物理信息的理想领域。
PIRL 的研究进展
近年，通过在训练流程中融入物理信息，RL 挑战的解决取得显著进展。
- 状态空间处理：PIRL 尝试用物理知识以直观表示降低高维连续状态空间复杂度，如通过学习符合物理模型偏微分方程（PDEs）的低维表示，或利用监督代理模型特征。
- 世界模型学习：学习良好的世界模型是替代在真实世界训练 RL 智能体的更快捷安全方式，有研究将物理融入网络以构建更好的世界模型，也有利用机器人形态和物理的高级规范实现快速模型识别。
- 奖励函数设计：明确的奖励函数对 RL 成功至关重要，PIRL 将物理约束融入奖励函数设计，以实现安全学习和更高效的奖励函数，如结合惯性测量单元（IMU）传感器数据融入惯性约束，或设计满足明确操作目标的物理信息奖励。
- 搜索空间探索与策略部署：部分 PIRL 研究致力于探索更高效的搜索空间探索和现实系统的有效策略部署，通过改进模拟器以提高样本效率和模拟到现实的迁移能力，精心选择任务特定的状态表示、奖励函数和动作空间，可改善收敛时间和性能。
综述的研究方法与贡献
该综述借助语义学者、谷歌学术、IEEE Xplore 和施普林格链接等高质量资源，利用 “物理信息”“物理辅助”“物理信息强化学习”“物理先验” 等关键词搜索相关文献，确保全面性。其贡献包括：
- 分类体系：提出统一分类法，探究建模的物理知识 / 过程、表示方式及融入 RL 方法的策略。
- 算法综述：用统一符号、简化功能图和对最新文献的讨论，呈现物理信息引导的 RL 方法的最新进展。
- 训练与评估基准综述：分析文献中的评估基准，介绍流行的评估和基准平台 / 套件。
- 分析：深入分析基于模型和无模型的 RL 在不同领域的应用，详细探讨物理信息融入特定 RL 方法的方式、建模和融入的物理过程，以及用于融入物理的网络架构或网络增强。
- 开放性问题：总结挑战、开放性研究问题和未来研究方向。
与其他综述相比，本文聚焦利用过程 / 系统物理的结构、属性或约束的 RL 方法，应用领域不限于机器人，还涵盖运动控制、分子结构优化、安全探索和机器人操作等。
论文结构安排
论文后续内容如下：
- 简要概述物理信息机器学习（PIML）范式。
- 介绍 RL 基础 / 框架，给出 PIRL 定义和直观介绍，最重要的是引入全面分类法，以 RL 流程为 backbone，串联物理信息类型、实现这些信息的 PIRL 方法。
- 阐述学习架构和偏差这两个额外类别，更准确地解释文献的实现方面。
- 对最新 PIRL 文献进行详细综述和分析。
- 讨论开放性问题、挑战和未来研究方向。
- 总结全文。
PIRL 作为新兴领域，在提高 RL 算法的物理合理性、精度、数据效率和现实场景适用性方面潜力巨大，该综述为该领域的研究提供了全面的视角和指导。
