PIPO：基于物理原理的深度强化学习方法，用于主动悬架系统的帕累托最优控制

《Expert Systems with Applications》：PIPO: Physics-informed deep reinforcement learning for pareto-optimal control for active suspension system

　　•提出了一种用于多目标主动悬架控制的PIPO框架。•FPA理论将DRL的频谱偏差与悬架模态动力学相协调。•奖励权重是根据模态频率的直接比值确定的。•PIPO实现了41.04%的舒适度提升，性能优于LQR和DET方法。•在参数扰动和传感器性能下降的情况下仍保持稳定性。

引言
智能机电系统的进步在很大程度上受到知识密集型多目标决策难题的制约。诸如主动悬架系统控制之类的工程任务，需要在复杂的物理约束下协调相互矛盾的性能指标，这一过程需要明确表达并运用领域知识（Yu等人，2024；Zhao等人，2026）。主动悬架系统正是这一挑战的典型代表，它要求在乘坐舒适性与操控稳定性之间找到最佳平衡点。这种权衡并非单纯的数值优化问题，而是一项更为复杂的、需要结合物理领域知识与计算智能才能实现可靠高效帕累托最优解的知识密集型任务（Dai等人，2024；Kimball等人，2024；Li等人，2019；Ma等人，2019）。

这种多目标冲突的本质体现在悬架系统的频域特性中。乘坐舒适性与操控稳定性分别对应不同的频段，这反映了某种隐性的物理知识。然而，主动控制的引入带来了动态的、高度非线性的闭环耦合，使得原本复杂的静态优化问题变成了棘手的动态权衡问题。这一复杂性表明，有效的控制不仅需要优化，还需要明确表达并运用这些固有的物理知识。

帕累托优化理论为多目标问题提供了坚实的数学框架，它定义了一组帕累托最优解——在这些解中，无法在不降低其他目标性能的前提下提升某个目标的表现（Guha和Deb，2024；Shang等人，2025）。这一组解即帕累托前沿，代表了各种最优折衷方案。在工程信息学领域，有效导航这一前沿以支持决策制定是一项典型的知识密集型任务。现有文献综述显示，在多目标控制与机器学习交叉领域仍存在方法论上的空白（Gampa等人，2022；Gobbi等人，2006；Sun等人，2017）。虽然传统的控制方法，如H2/H∞控制（Kim等人，2023）和非脆弱算法（Ma等人，2023），以及包括遗传算法、蚁群优化和粒子群优化在内的进化计算方法（Li和Zheng，2019；Zhao和Zhu，2019）能够提供可行的解决方案，但它们严重依赖精确的线性模型，且对系统不确定性适应能力较弱。同样，模型预测控制等预测控制方法虽能处理约束条件，但却难以应对模型误差问题。这些方法的一个根本局限性在于它们依赖于经验性的权重设计，缺乏原则性且可解释的理论基础，从而阻碍了帕累托最优解的系统性发现。这一缺陷凸显出当代工程信息学中的一个关键不足：在不确定性条件下缺乏有效的知识表示与推理方法。

近年来，数据驱动的人工智能技术，如深度强化学习（DRL）（Feng等人，2023；LeCun等人，2015；Mnih等人，2015；Wang等人，2024；Wang等人，2025）的出现带来了范式转变，它通过端到端的交互学习避免了了对显式模型的需求（Lee等人，2022；Zhu等人，2022）。这种无模型特性为像主动悬架这样的非线性系统带来了巨大潜力。相关的先进研究包括将深度确定性策略梯度与先验知识相结合的层次化框架，用以提升乘坐质量（Du等人，2022；Du等人，2022）；基于双延迟深度确定性策略梯度的算法，该算法融入了确定性经验回放与约束机制，以提高可靠性（C. Wang、Cui、Zhao、Zhou等人，2024c）；以及用于振动抑制的最先进的确定性经验追踪机制（C. Wang、Cui、Zhao、Zhou等人，2024b）。此外，还有将H∞控制与DRL补偿相结合的混合方法，用于抑制宽频带振动（Z. Zhu等人，2026），而其他多种DRL算法（Fares和Bani Younes，2020；Han和Liang，2022；Lee等人，2022；Yong等人，2023）则展现出在逼近最优策略方面的更强能力（Bu?oniu等人，2018；Kiumarsi等人，2018；Kuutti等人，2021；Zhu和Zhao，2022）。然而，尽管取得了这些令人瞩目的成果，DRL在多目标控制中的应用仍然在很大程度上缺乏对知识的考虑。目前的方法大多依赖于奖励函数的线性标量化，这忽视了一个重要的信息学问题：即DRL智能体的固有学习机制，例如最近被发现的频率原理（Luo等人，2021；Luo等人，2022；Xu等人，2020），是如何与被控系统的物理动力学相互作用的。这种脱节导致自主学习系统在知识利用方面效率低下。

尽管DRL避免了模型依赖，但其固有的学习范式在多目标帕累托优化方面存在根本性局限。当前的方法主要依赖于线性奖励标量化，这一过程缺乏系统性的指导，往往只能依靠经验性的试错。这就导致了对帕累托前沿的低效探索。其根本原因在于未能将算法的固有学习机制，尤其是神经网络倾向于处理低频内容的频率原理，与控制系统的固有物理定律相结合。在悬架系统这类具有明显频域特征的系统应用中，这一点尤为重要，因为这类系统存在低频车身模式和高频车轮跳动等现象。学习偏差与物理现实之间的这种不一致性引出了一个核心研究问题：能否将DRL的频率原理与悬架的特定频域特性系统地结合起来，从而创建一种具有可解释性、基于物理知识的DRL方法，用于实现帕累托最优控制？解决这一问题对于从启发式调优转向基于原则、以知识为导向的优化范式至关重要。

为深入探讨上述科学问题，本研究提出了一种基于物理知识的DRL帕累托优化框架，名为PIPO，用于主动悬架系统的帕累托最优控制。这项工作的核心思想是通过将神经网络的学习模式与主动悬架的物理机制相协调，为奖励函数设计提供物理指导，从而有针对性地控制帕累托前沿的搜索过程。本研究的主要贡献如下：

(1)建立了基于数学的频率-物理对齐理论：通过严谨的解析推导，将DRL价值网络的线性频率原理收敛动态与悬架系统的模态频率结构建立联系。该推导表明，与各主要目标频率成比例的奖励权重能够在训练过程中使不同目标的有效梯度贡献相等，从而既得出了有理论依据的权重分配规则，也解释了由此带来的帕累托前沿均匀性提升现象。

(2)基于物理知识的奖励塑造机制及确定性参数推导：将FPA理论得出的模态频率比值作为奖励权重分配原则，同时从开环系统测量值中确定性地推导出一组基于物理知识的归一化系数。从系统识别到系数确定的完整奖励参数流程无需手动选择超参数，实现了从经验试错到完全基于知识的优化的真正转变。

(3)多维度实验验证：在离线仿真环境中进行了全面的验证，涵盖了帕累托前沿的质量、训练收敛速度、在非平稳复合道路激励下的场景泛化能力、物理参数的鲁棒性以及传感器观测性能下降情况。实验结果共同表明，基于FPA理论的策略是一种具有物理一致性的优化策略，它不仅在训练数据分布之外也能保持良好性能，而且在仿真中模拟的典型参数和观测不确定性条件下依然表现优异。这为在结构化物理系统中实现基于知识引导的多目标DRL提供了可复制的方法，而针对嵌入式汽车硬件的实时验证则被列为后续研究的重点方向。

章节摘录

主动悬架系统的动态模型
为准确描述主动悬架系统中弹簧质量加速度与动态轮胎载荷之间的动态权衡关系，本研究以二自由度四分之一车模型作为被控对象的动态模型基础。该模型结构简洁且物理意义清晰，能够有效捕捉悬架系统在垂直运动过程中的主要动态特性，并清晰反映各部件之间的动态耦合关系。

主动悬架系统的频率偏移分析
为在频域层面建立DRL智能体与悬架系统之间的关联，首先需要从物理机制角度了解悬架在频域内的动态特性。基于方程（1）所建立的经典动态模型，通过理论推导和频域分析，揭示了悬架系统固有的部分频域特性，即不同弹簧质量部分与非弹簧质量部分所起的主导作用。

理论框架：用于帕累托最优多目标强化学习的频率-物理对齐
本节构建了一个基于数学的统一框架，将该框架正式地应用于连接深度强化学习的学习动态与主动悬架系统的物理动态。构建过程分为四个阶段。首先，将帕累托最优控制问题形式化为多目标马尔可夫决策过程，同时明确指出线性标量化的根本局限性。其次，分析物理目标与……的频谱结构。

方法论：PIPO框架
本节详细介绍了PIPO框架的实现方式。如第4节所述，FPA理论为奖励权重分配提供了一种基于数学推导的原则：与各目标的主导频率成比例的权重能够在训练过程中使不同目标的有效梯度贡献相等，从而消除导致帕累托前沿分布偏斜的算法缺陷。PIPO框架的创新之处在于将这一基于分析的FPA原理……

实施细节
要验证PIPO信息学方法的有效性，就需要一个高保真度的仿真环境，该环境能够真实再现车辆与道路之间的相互作用。该环境将高保真的多体动力学与随机道路激励模型相结合，构建出一个能够准确捕捉关键状态变量变化的虚拟测试平台。该环境的主要功能是为评估所提出的知识表示与推理方法提供一个严谨的平台。

结论与未来工作
本研究提出了PIPO框架，这是一种全新的基于物理知识的深度强化学习范式，旨在解决工程系统中知识密集型多目标决策的根本难题。其主要贡献是FPA理论，该理论建立了将神经网络的线性频率原理收敛动态与物理系统的模态频率结构联系起来的严格数学推导。这一推导从理论上……

CRediT作者贡献声明
Cheng Wang：概念构思、方法论设计、原始稿撰写。Xiaoxian Cui：软件开发、形式化分析。Guanyu Tao：软件开发、形式化分析。Xinran Zhou：形式化分析、验证工作。Zenan Li：数据整理。Konghui Guo：项目管理、监督工作。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（编号523B2104）的支持。

Cheng Wang | Xiaoxian Cui | Guanyu Tao | Xinran Zhou | Zenan Li | Konghui Guo