《AI》：Reinforcement Learning Control of Nonlinear Dynamical Systems: A Dynamics-Oriented Scoping Review
编辑推荐：
本研究旨在对强化学习（reinforcement learning, RL）与非线性控制交叉领域的文献进行范畴综述，以揭示其分布格局与主题结构。研究人员检索了Web of Science核心合集、Scopus、IEEE Xplore及五场会议论文集，时间范围为
本研究旨在对强化学习（reinforcement learning, RL）与非线性控制交叉领域的文献进行范畴综述，以揭示其分布格局与主题结构。研究人员检索了Web of Science核心合集、Scopus、IEEE Xplore及五场会议论文集，时间范围为2021年至2026年，符合条件的来源限于英文期刊论文和会议论文。去重后共保留3134条记录，并按A至D级评定其分析相关性。A+B级语料库（n=2211）用于文献分布映射及基于词频-逆文档频率（TF-IDF）、截断奇异值分解（truncated SVD）和Ward聚类分析，并进行敏感性检验；A级核心语料库（n=1187）则接受人工双轴编码。结果表明，价值函数驱动与最优性驱动机制横跨大多数闭环行为类别，而轨道与运动复现行为、同步与关系流形、安全集保持则分别主要伴随数据驱动策略学习、交互与资源感知、以及安全、鲁棒性与可靠性机制出现。总体而言，所综述文献仍以调节与跟踪为主，呈现一种多对多结构：价值函数与最优性驱动机制提供共同基础，其他机制则依据闭环目标进行组合。本研究的主要贡献在于提出一个将期望闭环行为与控制设计机制相联系的双轴分析框架。该框架超越了传统仅按算法类别组织证据的方式，揭示了控制目标与设计机制之间的结构性依赖关系。未来研究应进一步探索闭环行为之间的转换，以及策略学习与稳定性、安全性、资源约束及故障处理的集成设计。
1. 引言
非线性动力系统在工程和科学问题中频繁出现，例如电力系统频率调节、摆锤平衡控制、化学过程追踪、航天器姿态恢复、机器人运动控制和混沌抑制。尽管应用背景不同，所有这些问题都要求系统在存在非线性、不确定性和动态变化的情况下表现出期望的闭环行为。控制目标可能包括固定平衡点、指定轨迹、周期运动、系统同步、安全集或任务切换。一般而言，动力学越复杂，确保状态覆盖、满足性能要求和保证稳定性的挑战就越大。
传统控制方法仍然是控制非线性系统的重要基础。当模型和工作范围明确定义，且状态信息和约束能够得到合理处理时，比例-积分-微分（PID）控制、线性二次型调节器、H∞控制和模型预测控制等方法可以提供稳定的闭环性能。然而，当系统表现出强非线性、参数变化、外部干扰、执行器故障或网络约束时，相关假设可能难以维持。近似无预设时间的仿生控制可以处理系统不确定性和故障，无需事先了解执行器故障、外部干扰或悬架模型，同时还能保证预设时间收敛并最小化控制能耗。
强化学习（RL）提供了一种利用交互数据学习控制策略的替代途径。这种方法允许将跟踪误差、控制成本、约束和鲁棒性要求纳入策略更新过程。相关研究包括基于值函数和策略迭代的自适应动态规划（ADP）和积分强化学习，以及近端策略优化（PPO）、软演员-评论家（SAC）和深度确定性策略梯度（DDPG）等深度强化学习方法。一些研究还将局部模型、安全约束或重规划机制纳入学习过程。这些方法在模型信息有限、环境变化显著或需要联合优化多个性能指标的场景中受到了广泛关注。本文将自适应动态规划和积分强化学习（侧重于值评估或策略更新）纳入强化学习的范畴。
随着算法和应用范围的持续扩展，这一跨学科领域研究的组织方式已成为新的挑战。现有综述大多基于强化学习算法、应用目标、安全机制或部署过程对文献进行分类。虽然这些分类说明了所采用的方法和应用场景，但它们很少区分系统在控制完成后应表现出的闭环行为类型，也没有清晰解释不同闭环目标所需的核心设计逻辑。例如，同一类强化学习算法应用于稳态调节、轨迹跟踪或周期运动时，其状态表征、奖励构建和保障对象均有所不同。因此，本文采用了两个分析维度：“期望闭环行为轴”描述了系统最终应表现或维持的主要行为，“控制设计机制轴”描述了学习控制器为实现目标所采用的核心设计逻辑。这种双轴框架不单纯依赖算法名称进行分类，而是用于比较不同闭环目标与设计机制之间的组合关系。
由于相关研究涉及不同的系统、控制目标、评价指标和验证平台，本文采用范畴综述来绘制该领域的文献分布、主题结构和控制问题图谱。综述涵盖2021年1月至2026年8月22日发表的文献，搜索、筛选和证据综合过程均按照PRISMA-ScR指南报告。采用了三级分析方法：首先，将筛选后的记录分为A-D级分析相关性类别；其次，利用TF-IDF、截断奇异值分解和Ward聚类分析A+B级语料库，并通过比较A级和A+B级语料库来检验主题结构的敏感性；最后，使用B×F双轴框架对A级核心文献进行人工分类，以分析期望闭环行为、控制设计机制及其共现关系。
本综述旨在回答三个研究问题：（1）2021年至2026年间关于非线性动力系统强化学习控制的文献分布情况如何？（2）现有研究试图在非线性动力系统中建立或维持哪些类型的闭环行为，以及为实现这些目标采用了哪些核心控制设计机制？（3）在非线性动力系统强化学习控制的现有研究中，期望闭环行为与控制设计机制之间存在怎样的对应关系和组合结构？
2. 方法
2.1 综述设计与研究问题
本研究采用范畴综述设计，并按照PRISMA-ScR指南进行报告。目的是系统性地绘制2021年至2026年间基于强化学习的非线性动力系统控制研究的范围和主题结构，重点关注期望闭环行为与控制设计逻辑之间的关系，而非估计单一干预措施的整体效应。研究设计、文献检索、筛选和证据综合均围绕引言中提出的三个研究问题展开。本范畴综述已在开放科学框架（OSF）注册，以提供方法的公开记录。
2.2 信息来源与检索策略
检索覆盖2021年至2026年出版的英文期刊和会议论文集，最终检索于2026年8月22日进行。综合数据库包括Web of Science核心合集、Scopus和IEEE Xplore。为了补充机器学习、机器人学习和控制领域会议论文的覆盖范围，还对NeurIPS、ICML、ICLR、CoRL和L4DC的会议论文集进行了针对性检索。来自CDC和ACC的相关记录在IEEE Xplore中进行了核实，未单独计数。数据库检索由三个概念块组成：强化学习方法、非线性动力学结构和控制任务。每个概念块内使用OR运算符，块间使用AND运算符。
2.3 纳入与排除标准、去重与研究筛选
纳入记录必须满足以下所有条件：出版于2021年至2026年；以英文发表并被收录在数据库索引的期刊或会议论文集中；强化学习在策略学习、控制律构建或闭环决策中发挥实质性作用；研究对象是非线性动力系统，或其非线性动力学特性通过系统和任务描述得到合理确认；研究任务涉及镇定、调节、跟踪、同步、轨道控制、最优控制或其他明确定义的闭环控制目标。合并数据库与会议论文集后，首先基于DOI进行去重，对于缺少DOI或书目信息不一致的记录，则交叉核对标准化后的标题、出版年份和来源。随后对去重后的记录进行资格筛选，并根据标题、摘要和关键词评定相关性等级。
2.4 相关性评级
由论文的前三位作者进行文献相关性评级。三位审稿人均具备强化学习、非线性动力系统和控制领域的研究背景。首先，两位审稿人独立根据标题、摘要和关键词对去重记录赋予A至D级的相关性评级，互不知晓对方结果。若两位审稿人的评级不一致，则由第三位审稿人根据相同材料进行仲裁裁决。仅在现有元数据不足以判定资格或相关性评级时，才查阅全文。此阶段的全文查阅用于资格确认和A-D级相关性评级，与双轴分析阶段进行的全文审查相互独立。
2.5 聚类分析与敏感性分析
完成相关性评级后，对分析字段进行标准化处理。在A+B级文献范围内分析了出版年份和来源的分布情况。随后针对这两类文献分别构建文本特征空间并进行独立聚类。使用聚类算法生成文献组。通过考虑簇大小、高权重项以及代表性文献的标题和摘要来解释每个簇，并由审稿人手动确定主题名称。A级聚类用于展示核心语料库的主题结构并识别主要研究主题，A+B级聚类则用于敏感性分析。聚类输入由拼接后的标题、摘要和关键词组成。经过文本小写化、短语标准化和停用词去除后，采用包含一元分词和二元分词的TF-IDF表示，最大特征数为3000。对于A级语料库，仅保留出现在至少三篇文档中的术语；对于A+B级语料库，该阈值提高至五篇文档。此外，移除出现在超过80%文档中的高频术语。随后使用截断奇异值分解进行降维，对低维表示进行L2归一化，并应用Ward凝聚层次聚类。
2.6 双轴框架分析
尽管聚类分析能够揭示文献的整体主题结构，但单个簇可能包含多种因素，如控制目标、设计方法、性能需求和应用目标。因此，它无法直接回答系统最终应表现何种闭环行为，或控制器依赖何种设计逻辑来实现该行为。为了进一步回答第二和第三个研究问题，本研究对A级核心文献进行了更深入的分析。闭环控制研究涉及两个相互关联但又截然不同的问题：一是系统在控制过程完成后应表现的主要行为或应满足的目标；二是学习控制器为实现这些目标所依赖的核心设计逻辑。前者定义为期望闭环行为轴（B），后者定义为控制设计机制轴（F）。B轴根据正式控制目标指示的最高层级闭环结果进行组织，采用互斥分类，每篇论文最终仅被分配到一个主要行为类别。双轴分类主要依据正式问题定义和控制目标，其次是关键定理中的保证、核心方法、奖励或成本及约束定义、实验任务、摘要和背景描述。审稿人对B1-B6和F1-F5分别赋予0到3分。B轴采用互斥分类，最终的主要类别必须得分最高，且不得低于2分，并与次高分相差至少2分。F轴采用多标签分类，得分为2或3的机制被标记为激活状态。B-F双轴分类由参与相关性评级的同组作者进行。两位审稿人独立完成双轴分类，互不知晓对方结果。当B轴的主要类别和F轴的激活机制集合完全一致时视为达成共识。对于存在分歧的记录，去除审稿人标识并随机排列两组结果顺序后，交由第三位审稿人按照相同规则进行仲裁。仲裁后仍因证据不足或类别边界模糊而未解决的论文，进行全文审查，并根据正式问题定义、控制目标、代价函数、主控制器、核心定理、实验任务和结论确定最终标签。
3. 结果
3.1 文献分布与相关性分层
综合数据库检索共获得4912条记录，对五场会议论文集的针对性检索增加了23条记录，总识别记录数为4935条。合并搜索结果并去除1801条重复记录后，剩余的3134篇文章根据标题、摘要和关键词进行筛选和相关性评级。其中，76篇文章被选中进行全文审查。最终确定了1187篇A级研究、1024篇B级研究、485篇C级研究和438篇D级研究。总计2211篇研究（A级和B级合计）用于文献分布的统计分析及聚类分析。其中，A级研究构成核心证据，B级研究用于扩展语料库描述和聚类敏感性分析。双轴分类及后续分析仅使用A级研究。
3.2 主题聚类与敏感性分析结果
根据指定的聚类分析方案，对于A级核心语料库，截断SVD取10个分量、9个簇的组合在候选参数组合中获得了最高的综合得分。为了区分方法论中几个具有解释价值的分支，正文采用截断SVD取10个分量、10个簇作为主题呈现方案。A级核心语料库包含十个主题：最大的主题是“最优跟踪与自适应评判控制”，其次是“事件触发与资源感知的自适应动态规划或强化学习”，然后是“深度强化学习训练与非线性控制”，以及“反步法与严格反馈自适应强化学习”。其余主题涵盖“预设性能或时间控制”、“基于博弈论的Hamilton-Jacobi-Bellman（HJB）和Hamilton-Jacobi-Isaacs（HJI）及多智能体控制”、“运动与步态控制”、“安全约束控制”、“容错控制”和“滑模鲁棒控制”。为了检验主题结构对证据范围和聚类粒度的敏感性，对扩展的A+B级语料库进行了聚类。
3.3 期望闭环行为与控制设计机制的分布
对1187篇A级核心出版物进行了双轴分析。所有出版物都被分配了一个单一的、互斥的主要行为类别。其中，567篇论文归类为B1，363篇为B2，65篇为B3，99篇为B4，68篇为B5，25篇为B6。B1和B2两类合计930篇论文，占A级核心文献的78.3%。在A级论文中，F1覆盖992篇，F2覆盖356篇，F3覆盖479篇，F4覆盖482篇，F5覆盖410篇。
3.4 期望闭环行为与控制设计机制的共现结构
共现矩阵显示了六类期望闭环行为与五类控制设计机制的关系。从行百分比来看，F1在B1、B2、B4和B5中的激活率均超过80%，其中B2最高，达90.6%。在B3中，F5的激活率最高，为87.7%；在B4中，F3达到81.8%；在B5中，F4达到89.7%；在B6中，F5达到64.0%。
4. 讨论
4.1 研究领域的整体发展
本范畴综述旨在界定基于强化学习的非线性动力系统控制领域的证据范围、概念框架和主要研究路径。共识别出4935条记录，去重后3134条记录接受了筛选。A级和B级合计2211篇文章，占所有去重记录的70.5%，表明在强化学习、非线性动力学和闭环控制的交叉领域出现了大量的跨学科学术成果。年度分布显示，A+B级语料库从2021年的171篇增长到2025年的568篇，表明相关出版物数量显著增加。统计数据显示该领域的研究规模正在显著扩大。此外，对比A级和B级证据层，揭示了该领域的双重结构：一个源自控制理论，利用学习方法解决具有未知动力学或解析难解的最优控制问题；另一个源自复杂应用和交互任务，利用数据驱动策略塑造在传统调节和跟踪框架下难以泛化的行为。
4.2 主要研究主题及其结构
聚类分析用于识别文献中反复出现的方法论主题。基于A级文献，采用k=10作为解释性呈现的粒度。得到的十个主题反映了该领域中频繁出现的主题方向。A级文献并未形成基于独立强化学习算法的明显分支，而是以值函数学习和最优控制为主要方法论基础，并结合了事件触发、反步法和滑模控制等非线性控制结构。不同主题之间往往通过共享的值函数或稳定性框架相互联系。A+B级聚类也表明，主题结构随证据范围和分析水平的变化而变化。
4.3 期望闭环行为与控制设计机制
在聚类分析的基础上，本节将焦点转向闭环控制问题本身。B轴的结果揭示了以稳态调节和时变跟踪为主导、其他闭环行为并存的特征。B1和B2合计占A级文献的78.3%，表明强化学习在非线性动力系统中的主要作用仍然是服务于经典的调节和跟踪目标。F轴的结果揭示了以“价值优化”为共同基础、其他机制依据控制需求进行组合的整体结构。F1覆盖了83.6%的论文，表明值函数、策略迭代和最优控制仍然是学习控制器的主要构建路径。F2-F5的覆盖率在30.0%至40.6%之间，表明稳定性塑造、交互与资源管理、安全与可靠性以及数据驱动的策略学习也在控制器设计中广泛应用。
4.4 闭环行为与控制设计机制的对应关系
B×F矩阵揭示了以目标偏好为特征的组合结构。F1在大多数行为类别中保持高覆盖率，而F2-F5的共现比例则因闭环目标而异。在B1中，F1占比最高，达86.8%。在B2中，F1仍然占据主导地位，达90.6%。在B3中，F5最为突出，覆盖率达87.7%。在B4中，F1和F3的覆盖率几乎持平，分别为82.8%和81.8%。在B5中，F4和F1实现了显著较高的覆盖率，分别为89.7%和85.3%。在B6中，F5和F1分别占64.0%和60.0%。总体而言，聚类分析和B×F双轴分析揭示了所综述文献中两种互补的组织层次。
5. 局限性与未来展望
5.1 本范畴综述的局限性
本综述主要受限于其搜索范围，仅纳入了特定数据库和会议论文集中的英文文献。A至D级衡量的是文献对本综述研究问题的分析相关性，而非研究质量或证据强度。本研究也未使用正式工具评估个别研究的偏倚风险、方法学质量或结果可靠性。
5.2 证据映射揭示的研究空白
第一个缺口是闭环行为覆盖不均。B1和B2合计占A级文献的78.3%，而B3至B6合计仅占21.7%。第二个缺口是某些闭环行为中多种控制机制与可靠性要求的整合不足。例如，在B3中，87.7%的研究采用了F5，而F2、F3和F4的比例较低。
5.3 未来研究方向
为解决闭环行为覆盖不均的问题，未来研究应从明确定义控制器最终期望的行为开始。为加强控制机制与可靠性要求的整合，未来设计应在策略学习过程中明确考虑稳定性、安全性、控制性能、资源约束和故障恢复等潜在冲突目标。
6. 结论
本范畴综述综合了2021年至2026年间关于非线性动力系统强化学习控制的研究。结果表明，在所纳入的文献语料库中，调节和跟踪是主要研究领域，同时也涌现了周期性运动、安全约束、任务规划和具身控制等不同的主题分支。值函数和最优性驱动机制构成了大多数研究的基础，而稳定性塑造、交互与资源感知、安全与可靠性以及具身策略学习等机制则被用于实现不同的闭环目标。在此背景下，期望闭环行为与控制设计机制之间不存在一一对应关系，而是一种以目标偏好为特征的多对多关系。本文的主要贡献有三：一是构建了广泛的、多源头的证据基础；二是结合参数诊断和敏感性分析，识别了重复出现的主题结构；三是提出了B×F双轴框架，为统一分析闭环目标与控制逻辑提供了结构化工具。
