综述：现代控制技术与机器学习的结合：面向机器人应用的协同方法的综述与分类 张向宇、 李国伟、 沙哈布·肖库伊（Shahab Shokouhi）、 梅温·L·泰因（May-Win L. Thein）

《Actuators》：Modern Control Meets Machine Learning: A Review and Taxonomy of Synergistic Approaches for Robotics Applications Xiangyu Zhang, Guowei Li, Shahab Shokouhi and May-Win L. Thein

　　**摘要**
本文探讨了控制理论与机器学习在机器人技术中的新兴协同效应，重点关注将基于模型的策略与数据驱动的适应机制相结合的方法。作者指出，经典技术（如模型预测控制和自适应控制）通过强化学习、模仿学习和神经模型的引入得到了进一步增强，从而能够应对复杂和不确定环境中的挑战。文章特别关注实际应用场景（例如腿部系统、飞行动物和操作器），并重点讨论了多智能体系统与协调等高级领域。此外，作者建立了一个分类体系，将这些混合方法划分为“为控制而学习”、“为学习而控制”或“共同设计的架构”。本文还讨论了关键的未解决的问题，包括从仿真到现实的转移、安全性以及需要可验证的基于学习的控制器，这些方面为未来的研究提供了方向。

**1. 引言**
机器人技术领域正处于一场深刻的变革之中。传统上，机器人被限制在结构化、可预测的环境中（如汽车装配线），而现在它们正快速进入人类生活的复杂、动态且不确定的空间。这一转变推动了多种应用的发展，包括在人口密集、动态受限的城市环境中导航的自动驾驶车辆[1]、在非结构化地形中移动的腿部机器人[2,3]、在复杂环境中导航的敏捷飞行系统[4]，以及与物理世界互动的灵巧操作器[5,6]。在现实世界操作环境中实现鲁棒自主性的这一重大挑战，凸显了两个历史上传统分离的研究领域——经典控制理论与现代机器学习之间的根本性冲突。

几十年来，机器人技术的基础建立在经典控制理论之上，这一领域主要依赖于机械和电气工程研究人员的工作。这种方法利用了基于模型的严格方法，如模型预测控制（MPC）[7]、自适应控制[8]以及最近的控制障碍函数（CBFs）[9]。这些工具旨在提供稳定性、优化性能，并且最重要的是，为安全关键系统提供可靠的安全性和行为保障。然而，这种方法的效力取决于对机器人及其环境的精确数学模型的苛刻要求（这往往难以满足）。当现实环境与模型偏离时（例如由于未建模的摩擦、突然的干扰或复杂的接触物理现象），控制性能可能会迅速下降。

过去十年的“人工智能爆发”由计算机科学界推动，引入了一种截然不同的范式：以数据驱动的机器学习（ML）。深度学习（DL）[10]以及强化学习（RL）[11]和模仿学习（IL）[12,13]的成熟，提供了在经典控制方法薄弱领域表现优异的工具。这些机器学习方法可以直接从数据中学习高度复杂的非线性策略，通常无需任何显式的先验模型。开创性的研究表明，深度神经网络可以从原始传感器输入中直接学习控制策略，在以前被认为极其复杂的任务上实现了前所未有的性能[5]。然而，这种能力也带来了成本：其“黑箱”特性、对数据的大量需求，以及缺乏形式化的保障。因此，在对安全至关重要的场景中应用这些技术时存在风险。

本文的动机在于，当前的最先进技术不再由其中一个支柱（即控制理论或机器学习）单独定义，而是由它们之间的协同作用决定。当今机器人技术中最显著的突破正是源于模型严谨性与数据灵活性的大融合。例如，通过概率集合与轨迹采样（PETS）[14]等方法，神经网络提高了MPC的精度[15]；另一方面，通过使用CBFs作为安全防护屏障[16]，使RL的探索性特性适用于物理硬件[16]，这是安全学习领域的一个重要话题[17]。在整合的最深层次，控制领域的优化层被直接嵌入神经网络中作为可微分组件[18]，从而创建了可以直接从原始传感器输入中训练的结构化策略。这种混合方法承诺“兼得两利”：控制器利用学习来适应模型不确定性，同时受到控制理论安全保障的监督。

然而，这种融合也带来了一项关键需求：混合方法的迅速普及使得导航这一领域变得复杂。控制工程师可能不熟悉学习算法的细节，而计算机科学家可能不熟悉鲁棒控制等概念。在本文中，作者重点讨论了控制理论与机器学习的交汇点，并对利用这两种技术增强机器人应用的最新进展进行了文献综述，如图1所示。图1展示了控制理论和机器学习支持的机器人应用：“控制理论地图”（顶部[19]）、“主要的机器学习类型”（中间[20]）以及示例机器人应用（底部）。作者为多学科读者提供了调查和分类体系，旨在综合两个领域的基本概念，对多样化的整合策略进行分类，并为理解和发展这一新兴的多学科领域提供路径图。

本文的结构如下：第2节回顾了控制理论和机器学习的基础概念；第3节调查了这些方法在现实世界机器人平台上的应用；第4节概述了多智能体强化学习这一高级主题；第5节介绍了一种新的分类体系；第6节讨论了关键未解决的问题和未来发展方向，包括安全性和从仿真到现实的转移；第7节总结了全文。

**2. 基础概念**
本节回顾了作为现代机器人技术基础的控制理论和机器学习的基本概念，旨在提供更常结合使用的数学公式和结构范式的概述，并展示经典控制的基于模型、以保障为中心的特性与机器学习的以数据驱动、灵活的特性之间的对比。

**2.1. 控制理论的基础**
经典控制理论提供了严格的分析、优化和安全保障工具。它通常基于系统的显式数学模型构建，其中表示系统状态，表示控制输入。一般来说，控制器假设存在完整的状态反馈（即测量），或者应用观测器来估计未测量的状态。作者指出，模型预测控制（MPC）、自适应控制和安全关键控制被用作示例控制技术（不失一般性）。

**2.1.1. 模型预测控制（MPC）**
模型预测控制（MPC）是一种强大且广泛使用的最优控制框架，基于滚动时域原理运作。与仅对当前误差作出反应的简单反馈律不同，MPC能够预测未来事件。其核心机制如图2所示。在每个采样时刻，MPC测量当前状态并解决一个受限的有限时域最优控制问题（FHOCP），以最小化成本函数，同时满足物理约束。值得注意的是，只有该序列中的第一个输入会被应用到机器人平台上。在下一个时间步，状态再次被测量，整个优化过程重复进行。这种“闭环”重新规划使MPC能够自然地考虑干扰和建模误差。

**2.1.2. 自适应控制**
虽然MPC通过鲁棒性边际考虑了干扰，但自适应控制专门设计用于应对参数化和时变不确定性。在许多机器人应用中，动态结构是已知的（例如刚体动力学），但具体参数（如载荷质量、摩擦系数或惯性张量）可能是未知的或随时间变化的。对于机器人操作器，拉格朗日动力学由以下方程描述：
其中表示关节位置向量，表示质量/惯性矩阵，表示向心力和科里奥利矩阵，表示重力向量，表示广义关节力矩向量。

自适应控制的一个关键特性是，这些动力学可以对未知的物理参数（如质量和惯性）进行线性参数化。这使得动力学可以重写为：
其中是已知的运动学回归矩阵，是需要估计的参数向量。

**2.1.3. 模型参考自适应控制（MRAC）**
一种典型的自适应控制方法是模型参考自适应控制（MRAC），如图3所示。其核心思想是定义一个“参考模型”——一个理想的理论系统，展现所需的性能。

**2.2. 多智能体强化学习**
本文介绍了多智能体强化学习这一高级主题，并讨论了关键未解决的问题和未来发展方向，包括安全性和从仿真到现实的转移。为了确保严格的稳定性并补偿这些匹配的不确定性，实施了一种基于标准李雅普诺夫的适应律。控制器驱动机器人跟踪规定的参考模型。“自适应机制”根据跟踪误差更新参数估计。基于标准李雅普诺夫的更新律由公式（5）给出，其中适应增益矩阵控制参数更新率，表示从测量状态变量和非线性基函数构建的已知回归矩阵，是针对选定李雅普诺夫方程的对称正定解。该术语确保参数更新与系统的输入敏感性正确对齐，有效地将状态空间跟踪误差投影到参数空间中以最小化差异[30]。如果适应率设置得过高，传统自适应控制可能会遭受高频振荡。为了解决这个问题，自适应控制在控制通道中引入了一个低通滤波器，以将适应循环与控制循环解耦。控制律的形式如下：公式（6）中，表示累积不确定性的估计（包括参数变化和外部干扰），是前馈增益矩阵。通过过滤不确定性估计的高频内容，自适应控制允许任意快的适应率来拒绝快速变化的干扰，而不会引起不稳定性，这对于安全关键的飞行控制至关重要[31]。虽然自适应控制在历史上传统上在安全关键飞行控制中占有重要地位[31]，但其应用范围已显著扩展到先进的机器人技术中。这种需求在经常在复杂和动态环境中进行物理交互的协作机器人中尤为明显，例如老年人护理和辅助设置中，控制框架必须同时确保高鲁棒性和平滑的瞬态性能。最近的进步表明，将自适应控制与共振比控制（RRC）等技术集成到柔性关节（如串联弹性执行器SEAs）中，可以有效抑制时变参数扰动[32]。更重要的是，这种方法通过消除超调、静态误差和振动，提供了严格的瞬态性能保证。通过利用自适应控制架构的低通滤波器特性，这些先进的机器人系统可以在意外碰撞期间动态调节连杆速度并限制电机电流，确保安全、无振动的瞬态响应，从而保护人类操作员、环境和机器人本身[32]。

2.1.3. 安全关键控制：控制障碍函数和可达性
在机器人技术中，安全性不仅仅需要简单的稳定性（收敛到某个点），还需要安全集的严格不变性。例如，无人机（UAV）必须保持在特定的地理围栏内（即围绕给定对象或特征的虚拟“围栏”内），而操作臂必须避免与人类操作员发生碰撞。控制障碍函数（CBFs）提供了一种数学上严谨的方法来强制执行这种不变性[33]。CBF是一个标量函数，其定义使得安全集成为超集。如图4中的示意图所示，CBF充当“屏障”或过滤器。对于一个控制仿射系统，如果存在一个控制，使得满足安全条件，则满足安全要求，其中表示沿着系统向量场的h的变化，而是一个类函数，决定了系统必须多强烈地偏离安全集的边界。图4. 控制障碍函数实现实时安全约束的可视化：CBF作为过滤器，修改控制输入以确保系统状态保持在不变的安全集内。这个不等式对控制输入施加了线性约束。如果机器人接近安全集的边界，可行的控制空间会自我限制，以确保状态被驱动回安全区域。在实际应用中，这是通过结合一个名义性能控制器（例如基于学习的策略）作为安全滤波器来实现的。系统解决一个实时二次规划（QP）问题，以确定最小偏离的控制系统，该控制系统满足以下CBF约束：公式（8）相对于不同的安全级别，这种形式统一了严格的保证与基于学习策略的灵活性[9]。图5. 不同安全级别的示意图：CBFs提供硬性约束满足（右侧），确保不会发生违规，与软性或概率方法不同（图片来自[17]）。为了进行超出局部不变性的全面最坏情况分析，Hamilton–Jacobi（HJ）可达性方法计算了必然导致失败的所有状态的全后向可达集。虽然这为严格的稳定性保证提供了理论上的最优解，但对于高阶系统来说，计算成本也很高[34]。为了数学上形式化这一概念，稳定操作范围的上界由值函数定义，该函数表示时间t时的连续系统状态x，通过解决终端值Hamilton Jacobi Isaacs偏微分方程来计算。设系统动力学为，其中表示控制输入，表示最坏情况下的有界干扰[34,35]。目标失败集被初始化为终端成本函数的零水平集，即。然后由以下偏微分方程控制值函数的演变：公式（9），其中表示对时间的部分导数，哈密顿量H被明确定义为在空间梯度上隔离控制和干扰输入的优化：公式（10）。在这种表述中，最大最小阶数规定了控制的作用是最大化稳定性裕度，假设干扰将积极地尝试最小化它。所获得的稳定集在数学上定义为，包括所有系统可以无限期避免失败条件的状态。虽然解决这个连续方程提供了系统稳定性的绝对数学保证，但对状态空间进行网格划分依赖性引入了指数级的计算复杂性。这种维度的诅咒正是使得传统可达性方法在复杂的机器人系统中变得难以处理的原因，这也推动了最近将机器学习近似方法整合进来。

2.2. 机器学习基础
与控制理论中的物理基础模型相比，机器学习提供了一个数据驱动的工具包，作为建模复杂环境的替代方案，这些环境中分析描述不可能或不切实际，例如处理像素级别的视觉数据或建模可变形物体交互。2.2.1. 函数逼近器
现代学习在机器人技术中的有效性取决于能够表达高阶输入的准确函数逼近器。深度神经网络（DNNs）通过层次结构的组合来逼近复杂的非线性函数。如图6所示，不同的架构专门用于机器人任务：卷积神经网络（CNNs）[36]利用空间核来处理视觉反馈以进行感知；循环神经网络（RNNs）[37]维护内部状态以考虑动态建模中的时间序列；多层感知器（MLPs）[38]常用于表示控制策略。标准前馈隐藏层的递归定义由公式（11）给出，其中：表示L层网络中的层索引。是第l层的激活向量，是输入。和分别是第l层的权重矩阵和偏置向量。是一个非线性激活函数，如修正线性单元（ReLU）[39]，它使网络能够逼近非凸函数。图6. 用于机器人技术中的不同深度学习模型结构：CNNs通常用于视觉特征提取，而RNNs和MLPs用于动力学和策略近似（图片来自[40]）。为了更好地理解深度神经网络在协同机器人框架中的作用，将其功能映射到传统的闭环控制框图中是有用的。与其直接合成控制策略本身，数据驱动的深度学习架构通常用于改进系统感知和动力学建模。从这个意义上说，它们可以被视为先进的系统识别工具，帮助从原始感觉输入中推断出未建模的摩擦、执行器退化和复杂的环境交互。因此，深度学习经常与植物或状态估计组件相关联，在其中它有助于将物理行为转换为 downstream 规划算法可用的数学状态表示。为了支持这些感知和建模角色，现代机器人架构采用了针对不同感官模式的专用网络结构。多层感知器常用于直接值函数逼近和低维状态空间中的潜在映射，它们能够高效地将已建立的运动学状态转换为控制器更方便的表示[41]。相比之下，卷积神经网络为高维视觉运动控制提供了天然的桥梁。通过将原始像素数据压缩为紧凑的潜在表示，这种降维形式使下游算法能够在不需要手动特征工程的情况下处理复杂的、非结构化的环境[5]。此外，由于物理机器人在现实世界中连续运行，循环神经网络和长短期记忆网络对于部分可观察的环境和时变未建模的动力学特别有价值[37]。通过在连续时间步骤中维护内部隐藏状态，这些架构可以隐式捕获时间依赖性。这种能力使整个控制系统能够更好地补偿传感器延迟、外部干扰和传统静态模型可能无法充分表示的摩擦变化。高斯过程（GPs）提供了一种非参数的贝叶斯替代方案。与提供点估计的DNNs不同，GP定义了函数上的分布。在这里，是表示输入处预期值的均值函数，是编码底层过程空间相关性和平滑性假设的协方差（核）函数。如图7所示，GP代表了一组随机变量，其中任意有限数量的这些变量具有联合高斯分布。在特定的测试点和中，模型提供了以各自均值为中心的边际分布和（表示为绿色高斯曲线）。这些曲线的扩散明确量化了预测不确定性。预测方程由公式（12）给出，其中参数定义如下：是希望进行预测的测试输入向量。是观测到的带噪声的训练目标向量。是训练输入的协方差（核）矩阵。是训练输入与测试输入之间的协方差向量。是编码函数平滑性的核函数（例如，平方指数）。是观测值中加性高斯噪声的方差。是适当维度的单位矩阵。这种显式的不确定性量化允许安全探索，使机器人能够区分已知动态和未映射的高方差状态空间区域[42,43]。虽然GPs的基础框架在[44]中已经建立，但其应用到安全关键的机器人技术中依赖于使用来将控制器限制在高模型置信度区域内。图7. 高斯过程作为函数分布的可视化：蓝线代表过程的样本实现，而绿色钟形曲线表示在特定点和处的边际高斯分布，其扩散由局部预测不确定性决定（图片来自[45]）。

2.2.2. 强化学习（RL）
强化学习（RL）[46]解决了具有未知动力学环境的序列决策问题。它将机器人的任务形式化为由元组定义的马尔可夫决策过程（MDP），其中：和分别是所有可能状态（机器人的状态）和动作（机器人的选择）的集合。P是转移概率，表示在给定特定动作下从一个状态转移到另一个状态的可能性。R是奖励函数，为机器人的性能提供数值反馈。是折扣因子，决定了未来奖励与即时奖励的重要性。目标是学习一个策略，该策略将状态映射到动作上，以最大化期望的折扣累积回报，即公式（13）其中表示轨迹（状态和动作的序列），是在时间t接收的奖励。作为一个实际例子，考虑一个四旋翼学习如何稳定其飞行。状态包括车辆的姿态和角速度，而动作表示指令的旋翼推力。奖励函数将为最小化轨迹跟踪误差提供正的标量值，同时惩罚过度的控制努力或能量消耗。折扣因子确保四旋翼更倾向于快速实现稳定悬停，而不是随时间振荡。在前面提到的深度学习模块产生的状态表示的基础上，强化学习在传统的控制框图中扮演了补充但独特的角色。与专注于物理模型的构建不同，强化学习主要关注决策制定和控制策略的改进。通过顺序交互优化预期的累积奖励，它提供了一个数据驱动的框架来近似最优控制策略。在这种背景下，强化学习可以被视为对传统控制器模块的补充，在某些情况下甚至可以部分替代它[47]。强化学习根据估计的状态计算控制动作，从而完成一个统一的架构：深度学习增强了感知和建模能力，而强化学习则促进了适应性和任务驱动的控制。

**无模型强化学习与基于模型的强化学习**
在无模型强化学习中，智能体直接从经验中学习，而不尝试理解潜在的物理机制。例如，Q学习根据以下贝尔曼方程更新动作价值函数，该函数表示在当前状态下采取某个动作所期望的总奖励：
\[Q(s, a) = \gamma \sum_{t=0}^{T} r_t(Q(s^{t+1}, a_t)\]
其中 \(s^{t+1}\) 表示执行动作 \(a\) 后机器人进入的下一状态，\(r_t\) 表示机器人从该下一状态可能实现的最佳未来价值。
为了直观理解，想象一个自主水面舰艇在动态环境中跟踪复杂轨迹。如果舰艇当前处于某个特定坐标和航向（即状态），它必须决定是否调整方向舵角度（即动作）。Q函数评估这个特定的转向动作，并输出一个标量值，这个值不仅反映了转向的即时稳定性，还保证了舰艇在整个任务中的最佳跟踪性能。

**策略梯度方法**，如近端策略优化（PPO）[48]，通过估计策略参数的梯度来直接优化策略。虽然这些方法能够学习复杂的 behavior，但它们受到样本复杂性的影响。这意味着它们需要大量的数据（通常是数百万次试错交互）来学习一个简单的任务。例如，一个机器人可能需要在模拟中“撞毁”数千次才能学会平衡，这对于现实世界的硬件来说往往是不切实际的。

在基于模型的强化学习中，智能体会明确学习一个转换模型，并利用该模型进行规划。这大大提高了样本效率，但也引入了“模型偏差”；如果学习到的模型有轻微错误，机器人可能会错误地利用这些错误，导致实际应用中的失败[11,46]。

**深度强化学习（DRL）**
如图8所示，深度强化学习（DRL）用神经网络取代了传统的表格价值函数。智能体（即神经网络策略）观察状态（例如关节角度、传感器读数），并输出动作（例如电机扭矩）。环境返回一个奖励信号来指示成功。这形成了一个闭环学习系统，其中智能体通过持续试错不断改进。

**模仿学习（IL）**
强化学习依赖于一个明确定义的奖励函数，而对于复杂的任务（例如“礼貌驾驶”或“优雅行走”）来说，这个函数可能难以指定。模仿学习（IL）通过直接从专家示范的数据集中学习来绕过这一复杂性[50,51]。人类专家与学习智能体之间的互动如图9所示。

**行为克隆（BC）**
行为克隆（BC）将控制问题视为一个监督学习问题[52]。它训练一个策略，以最小化智能体的动作与专家动作之间的差异\[Q(s, a) - Q^{\text{Expert}}(s, a)\]。其中 \(Q^{\text{Expert}}(s, a)\) 是专家的策略，由权重参数化。\(L\) 表示欧几里得距离的平方，用于惩罚与专家选择动作之间的较大偏差。虽然实现简单，但BC受到协变量偏移的影响，即小误差会累积并使机器人进入训练数据中未出现的状态，从而导致策略失效[53]。

**逆强化学习（IRL）**
逆强化学习（IRL）通过推断专家的潜在奖励函数来解决BC的局限性，而不仅仅是模仿原始动作[54]。这通常被构建为一个两级优化问题：
- **内部层（策略优化）**：给定一个奖励函数，智能体解决强化学习问题以找到最优策略。
- **外部层（奖励学习）**：更新奖励函数，以最大化专家性能与其他所有可能策略之间的差距。
IRL 的一个常见形式是最大熵IRL[56]，它假设轨迹的概率与其总奖励成正比。

**应用到机器人平台**
将控制理论结构与基于学习的适应性相结合，在多个代表性的机器人领域已经成熟。每个平台都带来了独特的物理挑战——从欠驱动动力学到高维感知和接触不确定性——这些挑战促使了特定的混合设计。本节将探讨协同控制-学习框架如何在五个主要平台中提升性能：腿部运动、无人驾驶飞行器（UAVs）、机器人操作臂、无人地面车辆（UGVs）和海洋机器人车辆。

**3.1. 腿部运动**
腿部机器人长期以来一直是分析和数据驱动学习的验证场。自Raibert关于跳跃机器人动态平衡控制的开创性工作[58]以来，该领域已经从早期的简化模型（如弹簧加载倒立摆SLIP）发展到能够考虑多接触转换、不平坦地形和动态干扰的全身优化控制器。现代平台，如MIT Cheetah[2]和ANYmal[3]展示了当基于模型的结构和数据驱动的适应能力有效结合时，可以实现高速运动、稳健的恢复机动和适应性地形导航。

基于模型的策略，如全身控制（WBC）和MPC，在实现MIT Cheetah等平台的实时稳定性和约束满足方面仍然至关重要（见图10）。这些方法利用刚体动力学、任务层次结构和明确的接触约束来计算精确的扭矩或力指令。这些方法的优点在于其可解释性和强大的性能保证，使得复杂行为（如动态小跑、边界跳跃和加速奔跑）能够可靠执行。然而，对简化模型的依赖（包括近似的地面接触假设、线性化摩擦锥和标称执行器模型）在模型不确定性大、执行器退化和地形变化时限制了性能。

**学习驱动方法**[59]通过捕捉难以用解析模型明确表示的潜在和非参数动态来补充这些局限性。Hwangbo等人的工作[3]表明，经过模拟训练的策略可以在ANYmal四足机器人上实现高度灵活的运动，即使在地形变化显著的情况下也能实现稳健的从仿真到现实的转移。Rapid Motor Adaptation（RMA）[48]的基础工作首次证明了腿部机器人的实时在线适应。特别是，这种解耦框架将在线上下文推断（即估计总结近期本体感觉历史的地形和机器人动力学变化的潜在变量）与控制策略分离，并根据上下文推断来选择动作。后续的发展通常基于这种解耦框架，引入了层次化学习架构和残差强化学习（RRL），进一步改进了该方法，将基于物理的先验知识纳入DRL框架，从而制定了更稳健的策略并显著提高了样本效率。

**腿部运动研究中的混合方法**
腿部运动研究中的一个有前景的方法是混合化：结合基于模型的控制器（确保可行性、稳定性和约束）和实时纠正模型差异的学习模块。残差学习增强的MPC[60]就是一个典型例子，其中用于预测和约束执行的标称动力学保持不变，而学习的残差模型更新局部动力学以提高在具有挑战性地形中的准确性。在轮式-腿部平台上，混合框架已被用于联合设计步态调度器和低级扭矩控制器，从而提高地形适应性、滑动补偿和整体能量效率[61]。这些系统表明，基于物理的结构对安全性、可预测性和从仿真到现实的可靠性至关重要，而学习组件提供了在非结构化环境中有效操作所需的敏捷性和鲁棒性。

**最近的研究进展**
Nguyen等人[62]在Unitree A1上提出了一个变频残差动力学学习和实时MPC框架。他们通过从硬件数据中学习残差模型，并在MPC的接触和飞行阶段使用不同的时间分辨率，提高了长距离跳跃（包括连续跳跃）在不平坦、非结构化地形上的跟踪精度和稳健性。这些研究强调了将基于学习的预测模型集成到基于模型的控制器中的有效性，以考虑未建模的动态和环境变异性。

**人形机器人**
人形机器人已成为现代控制理论与机器学习结合的前沿领域。与专用平台不同，人形机器人需要同时管理复杂的运动、动态平衡和操控。这种复杂性通常需要层次化的协同作用，其中基于模型的技术（如全身控制（WBC）、逆动力学和MPC）在较低层次部署以确保实时稳定性和约束满足。同时，数据驱动组件（包括强化学习（RL）、模仿学习（IL）和基础模型）在较高层次负责任务规划和自适应步态生成。此外，一种越来越受欢迎的替代方案是完全利用端到端强化学习，将感官观察直接映射为连续控制指令，以实现稳健的人形机器人运动[63,64]。像Tesla Optimus、Boston Dynamics Atlas和Unitree G1这样的最新进展标志着从实验室原型向物流和制造业工业应用的过渡。然而，对于具有多个自由度的系统来说，实现灵巧的操控和从仿真到现实的高效转移仍然是一个关键挑战。因此，人形机器人成为了融合经典控制的分析稳定性和机器学习的自适应智能的最终验证场。

**结论**
总体而言，腿部运动的最新研究体现了机器人平台的一个广泛趋势：基于模型的方法确保稳定性和安全性，而数据驱动的组件增强了适应性和性能。由此产生的混合架构代表了在真实世界环境中实现多功能和高性能运动的强大范式。

**3.2. 无人驾驶飞行器（UAVs）**
无人驾驶飞行器是混合学习-控制系统展现卓越前景的另一个领域。四旋翼和固定翼无人机表现出快速、非线性和紧密耦合的动力学特性。在这里，即使是小的建模误差也可能导致快速的不稳定或严重的跟踪失败。这些系统的欠驱动特性，加上它们对空气动力干扰的快速响应性和敏感性，要求无人机控制器既高度响应又能够适应未建模的动态。传统的非线性控制和MPC框架提供了稳定的保证、约束满足以及可行轨迹的存在。然而，它们的精度和性能取决于空气动力模型，而这些模型在现实世界中的扰动下难以准确描述（例如风浪、地面效应、旋翼尾流相互作用和结构柔性）。混合架构非常适合无人机，其中基于模型的结构确保了可行性和稳定性，而基于学习的组件在实际环境中保持了高性能。

**未来展望**
最近的研究进一步推动了腿部运动中的混合范式。Nguyen等人[62]在Unitree A1上提出了一个变量频率残差动力学学习和实时MPC框架。他们通过从硬件数据中学习残差模型，并在MPC的接触和飞行阶段使用不同的时间分辨率，提高了在不平坦、非结构化地形上的长距离跳跃的跟踪精度和稳健性。这些研究表明，在基于模型的控制器中集成基于学习的预测模型可以有效地考虑未建模的动态和环境变化。

**展望**
扩展到四足和轮式腿部系统之外，人形机器人已成为现代控制理论与机器学习结合的前沿领域。与人形机器人不同，它们需要同时管理复杂的运动、动态平衡和操控。这种复杂性通常需要层次化的协同作用，其中基于模型的技术（如全身控制（WBC）、逆动力学和MPC）在较低层次部署以确保实时稳定性和约束满足。同时，数据驱动组件（包括强化学习（RL）、模仿学习（IL）和基础模型在较高层次负责任务规划和自适应步态生成。此外，一种越来越突出的方法是完全绕过这种层次结构，利用端到端的强化学习直接将感官观察映射为连续控制指令，以实现稳健的人形机器人运动[63,64]。同时，Torrente等人通过引入一种完全数据驱动的MPC方法扩展了这一研究方向，在该方法中，神经网络回归器完全取代了所有分析模型，从而在敏捷机动过程中实现了厘米级的跟踪精度[67]。他们的结果突显了学习到的动态特性的潜力，能够捕捉复杂的空气动力效应（例如，旋翼阻力、姿态-平移耦合以及非线性推力饱和），这些效应是传统模型难以完全捕捉的。残差学习架构进一步补充了MPC，能够学习未建模的干扰因素，如湍流场、螺旋桨饱和效应或特定平台的非线性特性。Neural-Fly框架就是一个典范（如图11所示）。通过部署一个在线训练的轻量级神经残差模型，它能够在强风和不稳定的风条件下实现高速飞行[4]。这种混合设计保持了基于物理原理和约束条件的可解释性模型，同时学习到的残差项能够快速适应变化的空气动力条件。这种将结构与功能分离的设计方式，使得飞行器在恶劣环境中既能保持稳定性又能实现高性能，已成为现代无人机控制的一个标志性特征。图11. 穿越狭窄门道的敏捷飞行。(A) Caltech真实天气风洞系统。(B,C) 用于门道测试的轨迹。(D,E) 长时间曝光照片（曝光时间为5秒），展示了两个任务中的一个循环。(F–I) 高速照片（快门速度为1/200秒），显示了无人机通过门道的瞬间以及无人机与风的相互作用（图片来自[4]）。学习与结构之间的协同作用也扩展到了感知领域。端到端视觉运动策略（即协调运动与视觉感知的策略）在仿真中预先训练，并通过结构强化的控制进行优化，已经证明了它们能够考虑传感器噪声、光照变化和动态障碍物[68]。关于无人机竞赛的补充研究表明，结合了MPC引导的学习感知模块可以在视觉复杂的环境中实现人类级别的敏捷性[69]。这些研究共同表明了一个趋势：感知和低级控制仍然基于分析结构，而学习则能够处理视觉不确定性、空气动力干扰和分布变化。总的来说，鉴于这些发展，无人机是一个很好的例子，说明了学习如何增强而不是替代基于模型的飞行控制，从而在面临时变环境干扰和不确定性时实现实时高速、高性能飞行。

3.3. 机器人 manipulator
机器人 manipulator 面临独特的挑战，包括接触物理、摩擦耦合和物体多样性。与运动或飞行不同，操纵需要处理间歇性接触、粘滑转换、可变形物体以及从精密装配到非结构化人类环境等各种任务。基于模型的方法（例如阻抗控制和MPC）提供了稳定性、被动性和明确的安全保障，使得与物理世界的交互更加合规。然而，诸如摩擦冲击、复杂的接触几何形状和材料变形等建模问题导致了难以参数化的不连续动态特性。这些复杂性限制了分析模型的准确性，常常导致跟踪误差或过于保守的策略。基于学习的方法通过捕捉难以建模的非线性特性来补充这些工具。然而，这些方法本身通常缺乏对约束满足度或安全探索的保证。在富含接触的情境下，纯DRL策略样本效率低下且不够灵活，因为小的干扰就可能导致大的行为偏差。这种原理性的基于模型的结构与机器学习的灵活性之间的张力激发了结合两种范式优势的混合方法。混合控制-学习框架目前在该领域扮演着核心角色。引导式策略搜索（GPS）[5]通过交替进行基于模型的局部优化和监督策略更新，实现了深度视觉运动策略的端到端训练，同时将学习锚定在稳定的分析控制器上。RRL [6]遵循类似的哲学：名义控制器确保安全性；而学习得到的残差提供了适应性校正，使得系统能够快速适应物体属性和干扰的变化，同时通过避免不安全的探索来减少数据需求。结构化的神经架构进一步丰富了这些混合框架。图神经网络（GNNs）编码了对象和机器人连接之间的空间和关系先验（即提前已知的关系），生成了足够灵活的动态模型，能够处理变化的几何形状、接触模式和多体配置[70]。集成到混合MPC框架中后，GNNs支持对可变形、关节式和软物体的精确预测和实时控制，同时保持了MPC的约束满足性和可解释性。也就是说，控制动作遵循明确的优化目标和硬性约束[71]。类似的工作也解决了富含接触的操纵中的仿真到真实世界的迁移问题。不准确的接触模型、摩擦系数和刚性参数造成的领域差异阻碍了仿真训练策略的直接转移。为了缓解这一差距，许多研究使用了动态随机化、合规力/阻抗控制和高保真接触模拟。随机化质量、摩擦和其他动态参数可以提高平面推动和运动任务的性能[72]。OpenAI的灵巧手部操纵系统证明，在没有实际演示的情况下，对物理和视觉属性的大规模领域随机化足以将高维策略转移到Shadow Hand中（如图12所示）[73]。基于这些想法，Zhang等人引入了一种结合在线自适应残差学习的混合离线-在线框架，该框架能够从力/扭矩反馈中调整合规参数。这种框架实现了组装、旋转和拧紧动作的高效仿真到真实世界的迁移，同时保持了自适应控制器的结构（即，将测量到的力/扭矩反馈映射到期望的笛卡尔速度或姿态等合规运动指令的控制器）[74]。总的来说，这些工作表明，将结构化合规控制与领域随机化和在线适应相结合，可以在富含接触的操纵任务中实现可靠和高性能的迁移。图12. OpenAI的灵巧手部操纵在虚拟和真实环境测试中的表现（红色圆圈表示用于基于视觉的状态估计的三摄像头设置）（图片来自[73]）。总体而言，这些发展表明结构化学习是对分析模型的强大补充。通过尊重接触约束、物理对称性和任务特定结构，混合操纵系统可以实现鲁棒性和可解释性。这种结合对于工业部署、自主组装和安全的人机协作至关重要。

3.4. 无人地面车辆（UGVs）
自主无人地面车辆（UGVs）的运行体现了在动态、不确定和多智能体环境中混合决策与控制的复杂性。道路交互涉及行人、人类驾驶的车辆、骑自行车者和其他自主智能体，他们的行为具有内在的随机性和依赖性。传统的运动规划将行为预测、轨迹优化和低级控制分开[1]。这种模块化提供了透明性和可解释性，使工程师能够诊断故障并认证安全性。也就是说，决策可以追溯到明确的预测、成本函数、约束和控制规律，而不是不可见的端到端映射。然而，这些系统难以处理非静态的人类交互、交通行为的分布变化以及长期不确定性，这往往导致仅依赖手工制作的模型时产生不可靠或过于保守的驾驶决策（例如基于规则的行为描述和固定的交互模板）。学习组件通过提高预测准确性和适应性来增强这些流程。大型数据集（如Waymo Open Motion Dataset [75]和nuScenes）使得深度神经模型能够预测周围道路使用者的多模态、符合社会规范的轨迹。由此产生的预测器能够捕捉到经典模型难以编码的细微交互线索——如行为产出、意图变化或合作机动。在混合架构中，学习得到的意图预测器被集成到基于模型的规划器中，以增强成本映射、细化可行集并提供概率约束。因此，UGVs（即被控制的自主智能体）能够表现出既具社会意识又与可验证的优化框架兼容的行为，从而在变化的环境中实现多功能性与安全性之间的平衡。图13. WAYMO OPEN MOTION DATASET中场景中智能体之间的交互示例（图片来自[75]）。在控制层面，学习增强型MPC方案利用重复任务执行过程中收集的数据来细化终端集和终端成本，从而在满足给定约束的同时提高性能并保持递归可行性。例如，如果在当前时间步MPC优化问题是可行的，那么在应用计算出的解决方案的第一个控制输入后，下一个时间步的优化仍然可行，依此类推，适用于所有后续步骤[76]。在Rosolia和Borrelli的学习MPC框架中，利用先前迭代的轨迹构建了一个安全的集合和数据驱动的终端成本，使得受约束的类车辆系统能够在迭代驾驶任务中逐步接近最优行为，而无需精确的参考轨迹或完全预先知的动态特性。通过从数据更新终端成本和局部模型，这种学习增强的MPC控制器可以更好地适应建模错误和严格约束，同时保留用于约束执行的MPC基于优化的结构。RL智能体还受到控制屏障函数（CBFs）的进一步约束，以确保遵守严格的安全约束，如碰撞避免、道路边界和最小停车距离[16]。这些安全过滤器确保学习到的策略在训练和部署过程中始终位于认证的安全集内，防止灾难性故障，同时允许探索性学习。因此，混合决策-控制框架为更广泛的机器人学社区提供了蓝图，与本调查后面介绍的混合分类法紧密一致。它们保持了可验证的基于模型的基础，确保安全性、可解释性和合规性，同时利用数据驱动的学习来扩展自主性、灵活性和在复杂现实世界环境中的效率。这种融合支持长视野驾驶策略，能够适应动态的多智能体交互，处理不常见或模糊的行为，并在多样化的驾驶领域中泛化。因此，自主车辆展示了混合架构如何在安全关键应用中同时实现韧性、可扩展性和高性能决策。

3.5. 海洋机器人车辆
海洋机器人车辆——包括自主无人水下车辆（UUVs）、自主水面船舶（ASVs）和遥控车辆（ROVs）——在充满干扰、部分可视且高度非线性的流体环境中运行。图14展示了示例AUVs。它们的动态特性包括附加质量、粘性阻力和随速度、距离边界和海况变化的非稳态流动效应。因此，传统的引导和控制仍然依赖于基于物理的6自由度（6-DOF）海洋船舶建模作为稳定性和可解释性的基础，Fossen的公式仍然是水面和水下平台引导、导航和控制（GNC）设计的典范模型[77]。然而，纯粹的分析模型往往无法捕捉特定任务的流体动力学残差或快速变化的潮流-波浪交互。混合学习-控制方法通过估计未建模的力来弥补这些不足，同时保持名义动态的结构。早期有影响力的研究表明，神经网络可以通过学习残差流体动力学项来增强水下船舶模型识别，除了基于物理的方程外，从而在不确定的流动条件下提高预测准确性和控制性能[78]。对于AUVs，基于学习的观测器和数据驱动的机动模型也被用来推断路径跟随和保持定位过程中的非线性水流效应和时变干扰，即使在输入饱和和有限机载传感的情况下也能实现准确控制[79]。这些方法作为对Fossen风格模型的“即插即用”校正，保持了可解释性，同时提高了实际部署中的精度。图14. 海底AUVs的各种车身结构（图片来自[80]）。除了确定性残差学习之外，概率模型通过量化干扰不确定性提供了鲁棒性。高斯过程回归与稳健控制器结合使用，实现了在线学习波浪/水流效应，并实时提供不确定性感知的补偿。这一框架提升了水下机器人的动态定位和轨迹跟踪能力[81]。安全关键任务（例如近距离检查、对接和在脆弱基础设施附近操作）以及对恶劣和变化环境的反应需求进一步推动了混合架构的发展，这些架构在强制执行硬性约束的同时允许局部适应。最近的安全关键AUV控制系统结合了基于模型的核心和未知干扰的神经函数近似，以确保在环境不确定性下的约束满足[82]。此外，可微分仿真使得端到端协同设计成为可能。可微分的流体动力学使得梯度能够通过流体-结构交互传播，这意味着任务目标（例如跟踪误差或能耗）可以相对于控制输入和物理/模型参数进行微分，从而实现海洋机器人设计和控制的基于梯度的优化[83]。总体而言，Learning-for-Control在海洋机器人车辆中的应用允许：（1）结构化的流体动力学模型提供稳定性和约束，以及（2）学习得到的残差、概率干扰模型和可微分模拟器，为非稳态真实海洋环境提供所需的适应能力。

3.6. 机器人平台间的比较讨论
本文讨论的五种机器人平台在模型精确度、环境不确定性和安全要求之间展现了不同的平衡，导致了不同的混合控制-学习设计。如表1所总结的，空中机器人和自动驾驶车辆高度依赖于精确的动态模型和严格的安全保障。因此，学习主要用于在不违反必要约束的情况下模拟干扰或预测多智能体交互。海洋机器人同样强调安全性和模型的准确性，但它们在流体力学不稳定的环境中运行，并且传感器有限，这使得在线干扰补偿变得至关重要。表1展示了混合控制-学习要求的跨平台比较。腿部运动和机器人操作臂在分析建模受接触事件、摩擦和结构变化限制的场合中工作。在这种情况下，学习有助于捕捉未建模的物理现象，丰富动态表示，并适应地形或物体的变化，而基于模型的控制器则保持稳定性和满足约束。操作臂特别受益于结构化表示（例如基于图的接触模型），而腿部运动则利用残差学习来实现适应地形的灵活性。混合策略的实施反映了各自领域的特性。在腿部系统中，通常使用残差学习与MPC或全身控制相结合；在UAV平台上，学习增强型MPC较为常见。操作臂将学习到的接触模型集成到阻抗或MPC框架中。海洋机器人车辆使用学习到的流体动力学残差或高斯过程干扰模型来补充名义上的流体动力学方程。自主UGV将学习到的预测模块与考虑约束的规划器（如MPC或CBFs）结合使用。安全要求进一步区分了这些平台，从UAV、海洋机器人和自主UGV的非常高的安全要求到腿部和操作臂系统的中等要求。总体而言，比较表明，高保真度、安全至关重要的平台更倾向于使用“为控制而学习”的架构；而在动态不连续或变化较大的领域中，模型增强或残差学习带来的好处更大。无论哪种情况，在所有五个领域中，混合方法始终比纯基于模型或纯数据驱动的方法表现更优。

在实践中，许多机器人系统，从协作移动机器人和无人机团队到群体平台，都在多智能体环境中运行，其中协调、通信和分散式决策是核心挑战。这促使了多智能体强化学习（MARL）的快速发展。在塑造现代MARL的基础工作中，Proximal Policy Optimization（PPO）及其多智能体变体Multi-Agent PPO（MAPPO）[48,84]提供了一个稳定的在线策略Actor-Critic框架，用于优化一个截断的替代目标。这里，用表示由参数化的随机策略，而表示用于生成数据的策略。比率衡量更新策略下动作概率的相对变化。优势估计评估在状态下采取的动作的相对质量，而是一个超参数，用于限制新旧策略之间的最大允许偏差。运算符将概率比率限制在区间内。截断的替代目标通过防止动作概率的过度变化来限制策略更新。对于正优势，当概率比率超过时，目标停止增加；对于负优势，当比率低于时，它防止进一步减小。这种公式为策略改进目标提供了保守的近似，并鼓励在不需要显式约束的情况下进行稳定学习。该框架成为许多机器人应用中鲁棒连续控制方法的基础。

Value Decomposition Networks（VDN）[85]将全局团队价值（即奖励）函数分解为每个智能体的加性项，从而实现集中训练与分散执行（CTDE）。关键思想是将联合动作-价值函数近似为每个智能体基于局部观察和动作的条件价值的加性分解。VDN使智能体能够根据其局部观察来推断如何最大化团队奖励，以及它们的个别动作如何贡献于整个团队奖励。这在许多任务中很重要，因为团队奖励不能显式地分解为个别奖励信号。尽管有这些优点，VDN也有显著的局限性。首先，VDN依赖于加性价值分解的强假设，这限制了表示能力，并阻止了对复杂智能体间依赖关系的建模，当联合价值函数本质上是非加性的时候。因此，在需要智能体间紧密耦合或非线性协调的任务中，VDN可能失效。此外，尽管训练是集中的，但学习到的分解可能难以有效扩展到大型团队或高度异构的智能体群体。这些局限性激发了后续的扩展，通过引入单调混合函数来放宽加性假设。例如，Q-value Mixing Network（QMIX）[86]通过学习一个单调混合网络来扩展这种方法，允许智能体值的非线性组合，以实现更明智的协调。QMIX通过放宽联合动作-价值函数的严格加性分解来解决VDN的主要局限性，同时仍然保持分散执行。QMIX不是简单地对各个智能体的值函数求和，而是将联合动作-价值函数（即全局团队奖励函数）表示为智能体Q值的非线性混合。

多智能体深度确定性策略梯度（MADDPG）[88]通过使用在训练期间观察联合动作的集中式评论家来推进确定性策略梯度，从而在协作和竞争性多智能体环境中稳定学习。MADDPG是一种不依赖于价值函数分解的Actor-Critic方法。相反，它使用集中式评论家（观察者）和分散式智能体（控制器），每个智能体在训练过程中学习自己的策略，而评论家根据所有智能体的观察和动作进行条件化。这种设计使MADDPG能够直接建模智能体间的交互，而不对联合价值函数的形式施加结构约束。MADDPG主要解决了多智能体学习中的非稳定性问题，这是由于同时更新多个智能体所致。通过将评论家条件化为联合动作空间，学习环境从评论家的角度来看是稳定的。MADDPG还通过利用提供更丰富和稳定梯度估计的集中式评论家，减轻了策略梯度方法中常见的高方差问题。此外，MADDPG自然扩展到混合协作-竞争环境，其中智能体可能有不同的甚至相反的奖励函数，这种环境不适合使用价值分解方法。尽管有这些优点，MADDPG也有显著的局限性。由于输入空间的维度迅速增加，集中式评论家的扩展能力较差。它还需要在训练期间访问其他智能体的动作或其准确近似值。此外，与价值分解方法不同，MADDPG不保证分散式贪婪执行会带来全局最优的联合策略，并且在大规模协作团队中可能会出现训练不稳定。

多智能体强化学习（MARL）中的一个常见问题是信用分配问题，当多个智能体获得共享的团队级奖励时，很难明确每个智能体的行动对观察结果做出了什么贡献。在完全协作的环境中，全局奖励不足以让智能体确定其自身行动是有益还是有害的，因为奖励受到所有智能体联合行动的影响。这种模糊性导致梯度估计的高方差和低效学习，因为智能体可能因为主要是由其他智能体的决策驱动的结果而受到奖励或惩罚。

Counterfactual Multi-Agent Policy Gradients（COMA）通过引入反事实优势函数来解决信用分配问题。COMA使用一个集中式评论家来估计基于全局状态和所有智能体联合行动的联合动作-价值函数。对于每个智能体，通过比较实际采取的动作的价值与一个反事实基线来计算优势，在该基线中，该智能体的动作被隔离，同时保持其他智能体的动作不变。形式上，基线是通过在其当前策略下对智能体的动作空间进行期望得到的。这种反事实基线隔离了智能体动作对团队奖励的个别贡献，有效地回答了这样一个问题：鉴于所有其他智能体采取了相同的行动，这个动作使结果变得更好或更糟了多少？通过从联合动作-价值中减去这个基线，COMA提供了低方差的、特定于智能体的优势估计，同时仍然优化了全局协作目标。因此，COMA能够在不分解价值函数或不需要个别奖励信号的情况下实现更准确的信用分配。然而，使用集中式评论家和动作边际化引入了额外的计算成本，并限制了可扩展性，尤其是在动作空间较大或由大量智能体组成的多智能体系统中。另一条补充的研究路线，Mean-Field MARL [89]，通过建模邻居的平均效应来近似大量智能体之间的交互，使其特别适用于可扩展的群体和集体机器人系统。

这些算法为现代多机器人学习提供了概念和算法基础。表2总结了机器人学中使用的关键MARL算法。表2. 机器人学中关键MARL算法的比较。

4.1 RL在多智能体机器人系统中的应用
4.1.1 导航和群体感知运动
MARL提供了一种在动态多智能体环境中学习安全、高效且社会可接受的导航策略的方法，并且是机器人应用中最早的成功案例之一。Chen等人引入了使用深度强化学习的社会感知碰撞避免（SA-CADRL）[90]。在这里，机器人通过DRL学习了在人群中尊重社会规范的碰撞避免策略，在移动机器人上实现了实时性能。后续扩展[90,91,92] incorporate了社会意识、组间交互和行人的预测模型。除了群体导航之外，基于MARL的分散式策略还用于在通信限制和部分可观察性下的多机器人导航，其中智能体在不需要显式消息交换的情况下进行隐式协调。基于GNN的方法[93]使每个机器人能够处理局部观察和邻居状态，以学习可扩展的分散控制律。这些技术表明，CTDE训练的策略可以扩展到未见过的团队规模和动态环境，使MARL成为大规模导航的可行框架。

4.1.2 多机器人路径寻找（MAPF）和仓库协调
在结构化环境中协调大量机器人，如仓库或工厂地板中的机器人，是MARL的另一个核心应用领域。通过强化和模仿多智能体学习（PRIMAL）[94]引入的分散式MARL框架结合了IL和RL，为MAPF任务中的数千个机器人生成了可扩展的策略。PRIMAL2 [95]通过改进局部观察建模和奖励塑造进一步扩展了这一方法，展示了接近线性的可扩展性，可以扩展到2000多个智能体。最近的工作结合了受VDN和QMIX启发的层次化或分解架构，有效地协调了异构机器人团队在拣选和物流任务中的工作[96,97]。层次化MARL [98]和基于变换器的模型（如图15所示）[99]通过将决策制定分解为全局和局部子策略，进一步提高了在大型环境中的协调效率和学习速度。这些结果表明，价值分解原则和CTDE训练对于处理大规模、部分可观察的MAPF问题至关重要，其中显式通信受到限制。

4.1.3 群体和编队控制
群体机器人代表了多智能体协调的一种极端形式，其中几个同质的智能体必须仅使用局部信息来协同行动。Hüttenrauch等人[100]提出了交换不变的、基于平均嵌入的表示方法来编码群体系统中的局部观察。在这种方法中，邻居智能体的观察被映射到一个潜在的特征空间，并通过取平均值进行聚合，得到一个固定维度的表示，该表示不受智能体索引方式的影响。交换不变性确保了表示不依赖于智能体的索引方式，而平均嵌入通过总结集体信息实现了可扩展的学习，而无需显式的成对交互。这种设计使得强化学习策略能够泛化到不同规模的群体中，并在聚集和追逐-躲避等任务中得到了验证。Tolstaya等人[93]使用图神经网络（GNNs）作为可微分的通信渠道，来学习能够适应不同团队规模和拓扑结构的分布式控制器。这些工作展示了如何将表示学习（例如图消息传递）与强化学习（MARL）目标相结合，从而在噪声条件下产生集体行为，如群集、保持队形和达成共识。最近的进展还利用了平均场强化学习[89]和图注意力网络来处理大规模群体，朝着受生物学启发的分布式控制技术发展，适用于数百个机器人。

4.1.4. 协同操控和空中团队
多智能体强化学习（Multi-agent RL）也实现了物理耦合智能体之间的新层次协调。Constantini等人[101]将MARL应用于协同空中载荷运输，其中多个无人机学习了连续推力和姿态调整，以在保持队形的同时共享负载力。类似的行为者-批评者（Actor-Critic）方法也被用于多机械臂的协作物体操控[102]和执行协作推动和搬运任务的四足机器人团队[103]。分层MARL框架在高层整合了运动规划，在低层实现了控制，提高了长期稳定性和样本效率。在无人机和操作器领域，基于CTDE的行为者-批评者方法（如PPO/MAPPO、MADDPG）因其能够建模连续动作空间并考虑耦合动力学而仍然占据主导地位。安全性增强的MARL[104,105]为物理部署引入了约束和屏障函数。

4.2. 开放挑战和趋势
尽管进展迅速，但仍存在一些障碍。将强化学习扩展到由数百个机器人组成的多智能体系统引发了人们对基于平均场和图论的强化学习的兴趣[89,93]。部分可观察性和通信限制要求基于注意力的消息传递策略来处理不确定性。安全性和从仿真到现实的迁移仍然是将强化学习训练的策略部署到物理机器人上的关键瓶颈。最后，标准化基准测试（如群体导航、协同操控和仓库物流）对于评估仿真到现实的迁移至关重要。最近的趋势是将强化学习与基于模型的强化学习和大规模序列模型（如Transformer）结合起来，推动该领域朝着更可靠、数据效率更高和更具适应性的机器人智能发展。

5. 整合策略的分类
随着经典控制理论与现代机器学习之间的界限变得越来越模糊，一个结构化的框架对于理解混合系统的多样化设计模式至关重要。我们不将这些领域视为相互竞争的替代方案，而是将它们的交集分类为三个主要范式。这种分类明确由三个关键标准决定：计算模块之间的结构依赖方向、分配给学习算法的精确功能角色，以及算法整合的深度。根据这些标准，当保留了经典控制器的严格结构以保证稳定性和满足约束条件时，我们将其定义为“为控制而学习”（Learning-for-Control），而机器学习则作为模型构建者来提供准确的动力学模型、估计干扰或调整超参数；相反，当这些角色互易时，我们将其定义为“为学习而控制”（Control-for-Learning），在这种情况下，学习代理是主要决策者，但其学习过程受到控制理论原则的严格监督、指导和约束，以确保稳定性和数据效率。最后，当控制优化问题直接作为可微分层嵌入神经网络时，这些方法被归类为“共同设计的架构”（Co-Designed-Architectures）。这种最深的整合层次创建了一个统一的计算图，使得整个系统可以端到端地进行训练。

5.1. 为控制而学习：“模型构建者”
在这种范式中，保留了经典控制器的严格结构以保证稳定性和满足约束条件。机器学习作为“模型构建者”，通过提供准确的动力学模型、估计干扰或调整超参数来增强控制器。（在本研究中，选择MPC作为示例控制方法，不失一般性。）

5.1.1. 基于学习的MPC（LBMPC）
传统的MPC依赖于一个可能无法捕捉复杂物理现象（如空气动力阻力或接触摩擦）的名义模型。LBMPC通过将安全与性能分离来解决这个问题。它利用一个学习到的“黑盒”模型（例如高斯过程或神经网络）来优化性能成本，同时依赖于一个稳健的名义模型来确保不违反安全约束[106]。每个时间步解决的优化问题表述为（20），其中变量和符号定义如下：和分别是学习和名义模型的预测状态向量（例如位置、速度）。是控制输入向量（例如电机扭矩）。是阶段成本，是终端成本，定义了机器人的目标。N是预测范围，即机器人考虑的未来步骤数。⊕表示Minkowski求和[107]，这是一种几何运算，用于将名义状态轨迹扩展到不确定性集。是有界不确定性集，代表模型误差或外部噪声。是安全集，代表状态和输入的硬性约束（例如关节限制或障碍物边界）。这种双模型方法允许机器人使用高性能、复杂的模型来提高效率，而稳健的名义模型则充当“安全网”以确保从不违反约束[108]。

5.1.2. 不确定性感知的动力学学习
标准的MPC可能很脆弱。“脆弱”是指在遇到训练期间未遇到的微小模型不准确性或环境状态时，控制器性能和稳定性会急剧下降。基于概率集合的轨迹采样（PETS）通过使用一组自举的神经网络来学习概率动力学模型来解决这一脆弱性[14]。“自举”是指在不同的转换数据子集上训练多个独立模型。这种方法允许系统在数据稀疏的状态空间区域估计不确定性。如图16所示，系统通过预测未来状态的分布而不是单一确定性路径来进行轨迹传播。图16. PETS架构（图片来自[14]）：一组神经网络从数据中学习概率动力学模型（左），粒子通过该模型传播以估计未来状态的分布（中），MPC规划器使用这些分布来找到最优控制序列（右）。然后MPC规划器优化一个轨迹，以最小化整个分布上的预期成本。这个过程在模型不确定性区域自然地诱导出谨慎的行为。因为优化器考虑了所有可能结果的平均成本，任何可能导致高成本失败的行动在不确定区域都会显著增加总预期成本。因此，机器人倾向于避开模型不自信的高方差路径，优先选择更安全、分布更清晰的区域。

5.1.3. 残差强化学习（RRL）
与从零开始学习完整动力学不同，残差强化学习（RRL）方法学习一个修正性添加剂来辅助现有的控制器。一个经典控制器（如比例-积分-微分（PID）[109]或阻抗控制器）提供了一个稳定的“基线”。然后，强化学习代理学习一个残差动作来补偿未建模的非线性因素，如摩擦或复杂的接触相互作用[6]。由此产生的控制输入表示为（21）。在这种公式中，是当前状态向量，表示策略的学习参数。这种方法显著加快了训练速度，因为代理从一个功能性的策略开始，使其能够专注于提升性能，而不是从随机初始化开始探索整个状态-动作空间。最近的研究表明，这种混合结构特别适用于高精度任务，如装配和富含接触的操控[110]。

5.1.4. 基于学习的控制器调整
虽然残差方法向控制输出中添加了一个学习项，另一种策略则使用机器学习来调整控制器本身的内部超参数。传统的MPC对其成本函数权重矩阵和预测范围非常敏感[111]。预测范围是一个关键参数，决定了控制器优化的未来距离，而权重矩阵则在跟踪精度和控制努力之间取得平衡。如图17所示，Zhang等人[111]提出的框架使用了一个分层结构，其中高级DRL代理在线动态调整这些参数。代理观察跟踪性能，并使用其策略（根据当前状态确定最佳动作的映射）来更新MPC参数，使得（22）。这里，是包含当前跟踪误差的观察向量，代表代理的策略，用于选择最优参数。此外，是动作，代表权重矩阵和范围的选择。图17. 基于分层RL的调整框架：RL代理观察系统状态并动态调整低级MPC控制器的参数（例如权重或范围），以优化长期性能（图片来自[111]）。

5.1.5. 滑模控制与机器学习的集成
滑模控制（SMC）[112]是一种在机器人技术中广泛使用的稳健非线性策略，用于拒绝不确定性和环境干扰。机器人系统的动态模型通常表示为（23）。这里，是状态向量，是控制输入向量，和表示已知的名义动力学，而封装了有界不确定性和外部干扰。SMC的目标是设计一个滑模向量，并应用一个控制律将系统轨迹强制到这个流形上。传统的SMC律表述为（24）。等效的控制项跟踪名义动力学。切换控制项依赖于一个严格正的对角增益矩阵来上界限制最坏情况下的不确定性。符号函数提取滑模向量的逐元素符号，输出正一、负一或零。虽然非常稳健，但不连续的符号函数会引起高频抖振，这可能会严重损坏物理平台中的机械执行器。为了消除有害的抖振效应和对保守性大的固定增益的依赖，将机器学习集成到滑模控制框架中为机器人技术提供了强大的数据驱动解决方案[113]。算法可以根据即时环境反馈和状态观察连续优化切换增益，而不是依赖于静态上限。通过优化一个明确惩罚跟踪偏差和过度控制努力的奖励函数，强化学习代理确保切换增益仅必要的大小来拒绝活跃干扰。这些机器学习集成智能地细化了控制努力，显著抑制了抖振，提高了整体能量效率，并大大改善了物理机器人平台上稳健控制器的实际部署。

5.2. 为学习而控制：“监督者”
在“为学习而控制”（第二范式中），控制和DNN的角色互易。主要决策者是一个学习代理（例如神经网络策略），但其学习过程受到控制理论原则的监督、指导和/或约束，以确保安全和数据效率。

5.2.1. 引导式策略搜索（GPS）
强化学习算法往往难以处理高阶状态空间。引导式策略搜索（GPS）通过使用局部的、随时间变化的线性控制器（如迭代线性二次调节器（iLQR）[115]）来生成高质量的“教师”轨迹，从而缓解这一问题。如图18所示，训练过程在特定实例上优化这些局部控制器和训练全局神经网络策略之间交替进行（用于姿态控制），以复制它们的行为。图18. 引导式策略搜索（GPS）使用轨迹优化（局部控制器）生成训练数据（左），这监督全局DNN策略的训练（图片来自[5]）。问题被表述为一个受限优化问题，其中策略分布被限制在控制器生成的轨迹分布的边界内，使得（25）。在这种公式中，是轨迹向量，表示任务持续时间内的状态和动作序列。是时间t时的成本函数，根据状态和控制输入评估性能。表示Kullback-Leibler（KL）散度[116]，这是一种统计度量，用于确保神经网络不会偏离优化的教师轨迹太远。是限制策略更新的阈值，以在学习期间保持稳定性，代表深度神经网络策略的可训练参数（权重）。这种GPS方法有效地将困难的RL问题转变为监督学习任务。在这种设置中，由严格的基于模型的控制器计算出的最优控制输入作为目标训练数据，使神经网络能够直接学习所需行为，而不是通过随机探索。

5.2.2.安全护盾与学习证书

为了让强化学习（RL）智能体能够在不破坏环境或机器人本身的情况下探索物理环境，在智能体与机器人之间设置了一个“安全护盾”。智能体提出一个动作，然后通过基于控制障碍函数（Control Barrier Functions, CBFs）[118]的安全过滤器进行评估。该过滤器验证所提出的动作是否确保系统保持在指定的安全区域内。如果发现提出的动作不安全，过滤器会将该动作替换为最近的安全动作，具体定义为（26）式。这里的是障碍函数，表示状态空间的安全区域。和是李导数，表示安全函数沿系统动态变化的速度。是一个扩展的类函数，用于定义系统接近边界时允许的安全耗散。

最近的进展将这一概念扩展到了神经证书（Neural Certificates），其中障碍函数或李雅普诺夫函数（Lyapunov function）本身作为神经网络与控制策略一起学习。正如[118]中所调查的，这些方法共同优化策略以最大化奖励，并确保证书满足导数条件，从而有效地从数据中学习到可验证的安全性证明。

5.3. 共同设计架构：“统一大脑”

最高层次的集成是将控制优化问题直接作为可微分层嵌入神经网络中。这创建了一个统一的计算图，整个系统（从原始感知到低级扭矩控制）可以通过反向传播（backpropagation）进行“端到端”训练。

5.3.1. 可微分优化层

传统控制器通过在运行时解决优化问题来发挥作用。为了以端到端的方式学习参数，系统必须能够通过这个argmin运算符进行微分。例如OptNet [18]和CVXPyLayers [119]通过将隐函数定理[120]应用于Karush–Kuhn–Tucker（KKT）最优性条件[23,121]来实现这一点。损失函数关于参数的梯度计算如下（27）式，其中是损失函数，用于量化机器人当前行为与期望目标之间的误差，表示最小化成本函数的控制动作序列。此外，表示优化问题的可学习参数，可能包括成本权重或物理模型系数。然后，神经网络确定适当的权重，例如用于MPC控制器。误差梯度通过MPC求解器进行处理，以确保高级智能体了解其参数选择如何影响最终的控制动作。

5.3.2. 价值迭代网络（Value Iteration Networks, VIN）

价值迭代网络（VIN）将动态规划原则直接嵌入神经网络架构中。如图19所示，VIN引入了一个价值迭代（Value Iteration, VI）模块，该模块在学到的网格地图表示上显式执行规划步骤。价值函数的递归关系如下（28）式。

图19. 价值迭代网络（VIN）架构：一个可微分的“VI模块”在神经网络内近似价值迭代算法，使智能体能够端到端地学习路径规划（图片来自[122]）。这里是第k次迭代时的价值函数，表示从状态开始的预期长期奖励。是与在状态中执行动作相关的奖励函数，表示在当前状态和动作下转移到状态的转移概率（或可能性）。是折扣因子，一个标量，用于确定未来奖励的当前价值。

这种递归使用卷积神经网络（CNNs）实现，其中核权重表示转移概率P。这种架构为网络提供了结构化的归纳偏见，使其能够比非结构化神经网络更有效地泛化到新的地图和目标[122]。

控制理论传统上采用模型驱动的方法，在已知操作条件下提供形式化的保证。相比之下，强化学习采用数据驱动的范式，具有对新环境的适应性，但通常缺乏正式的安全性或稳定性证书。结合基于模型的控制的严谨性与数据驱动学习的灵活性，为安全机器人技术带来了有希望的策略。所审查的方法通过考虑最坏情况来增强鲁棒性，通过在线学习实现适应，并使用领域知识、真实世界数据和高保真仿真构建预测模型。这些区别可以理解为不同方法之间的比较，如图20所示。这种协同作用解决了在复杂、不确定的机器人系统中同时实现性能和安全的挑战。

图20. 模型驱动、数据驱动和组合方法的比较（图片来自[17]）。

5.4. 选择适当的集成策略

选择适当的集成策略在很大程度上取决于问题的具体权衡，特别是在性能、安全性和模型可用性之间。

当存在一个相当准确的解析模型但未能捕捉到摩擦、空气动力学或接触等复杂效应时，用于控制的学习（Learning-for-Control）是最自然的选择。它适用于安全至关重要的系统，在这些系统中，鲁棒控制器（例如MPC）的保证非常重要，学习用于“调整”或“校正”性能[76,106]。然而，它的局限性在于模型偏差；如果名义模型从根本上错误，学到的组件可能难以补偿。

当没有好的模型且主要目标是学习复杂的、高维的策略（例如端到端的视觉运动控制）且没有先验知识时，优先选择用于学习的控制（Control-for-Learning）。其优点在于能够安全地初始化这些策略。使用CBF护盾可以让RL智能体探索环境而不会发生灾难性故障[16]。使用轨迹优化器作为“教师”可以提供高质量的数据以加速IL学习[117]。用于学习的控制的主要局限性是潜在的保守性；基于控制的监督器可能会过度约束智能体，阻止其发现真正新颖或高性能的策略。

对于需要共同优化感知、规划和控制的问题，共同设计架构（Co-Designed Architectures）是最强大的。通过使规划器可微分，系统可以学习如何基于端到端的目标进行规划[18,122]。这是三种方法中最依赖数据和计算复杂的方法，它依赖于嵌入求解器的可微分性和稳定性的强假设。它最适合具有丰富感官输入的复杂任务，其中结构化的、基于物理的先验（即“规划器”）为学习提供了重要的归纳偏见。

分类表（表3）提供了这些权衡的简要总结。

表3. 集成策略的分类，包括代表性方法、优点和局限性。

6. 开放性问题与未来方向

尽管通过控制和学习的协同作用取得了显著进展，但该领域仍处于起步阶段，仍有一些基本挑战需要解决，以充分发挥自主机器人的潜力。这些开放性问题并非孤立存在；它们形成了一个相互关联的网络，一个领域的进展通常依赖于并促进其他领域的进步。“突破性”解决方案很可能会同时解决多个挑战。

6.1. 安全性和可验证性

在机器人技术中，确保安全和可预测的操作是一个至关重要的问题，尤其是在机器人进入以人为中心的环境时[123]。虽然经典控制理论通过李雅普诺夫（Lyapunov）和障碍分析提供了稳定性和安全性的形式化保证，但深度神经网络（DNNs）的集成提出了一个严峻的挑战。这些“黑箱”模型的高维、非线性和不透明性质使得在整个人工状态下彻底验证它们的行为在计算上变得难以处理[124]。为了解决这个问题，该领域正朝着三种主要策略方向发展：严格验证、运行时防护和新兴的学习神经证书（Learned Neural Certificates）范式。

6.1.1. 形式验证和运行时防护

一种方法将神经网络视为一个固定的对象进行分析。形式验证方法试图在给定输入约束的情况下数学证明网络输出的属性。例如，像Reluplex这样的算法可以证明，在特定范围内的传感器读数下，机器人的转向指令永远不会超出安全限制[125]。尽管这些技术很强大，但应用于大型网络时扩展性较差。另一种方法是使用安全护盾将学习智能体包裹在一个保护层中。一个可验证的、基于模型的安全控制器监控智能体的动作，并在认为它们不安全时覆盖它们。这里使用CBFs作为标准工具，通过解决实时二次规划（Quadratic Program）将不安全的动作投影到最近的安全控制输入[16,126]。

6.1.2. 神经证书：学习证明

一个变革性的方向，如Dawson等人[118]所全面调查的，超越了单纯检查策略，转向“学习安全性的证明”。这些方法不是依赖于手工制作的证书，而是将李雅普诺夫或障碍函数参数化为神经网络。训练目标同时最小化任务损失和证书条件的违反（例如，确保李雅普诺夫函数的时间导数为负）。

这个框架概括了三种不同类型的保证，如图21所示：

图21. 用于保证机器人行为的三种主要“神经证书”的比较。李雅普诺夫函数（左）通过确保系统状态沿着类似能量的势面下降来保证稳定性。障碍函数（中）通过强制安全集的前向不变性来保证安全性。收缩度量（右）通过确保实际轨迹与参考轨迹之间的差异距离呈指数级减小来保证轨迹跟踪（图片改编自[118]）。神经李雅普诺夫函数通过学习一个类似能量的函数来保证全局或局部稳定性，该函数沿着系统轨迹严格减少，从而保证收敛到一个固定点。神经障碍函数通过学习一个函数来保证安全性，该函数的零水平集定义了安全区域的边界。确保该函数在边界上的导数为正可以保证系统保持在不变的安全区域内。神经收缩度量保证了跟踪任意轨迹的能力。与稳定一个点的李雅普诺夫函数不同，收缩度量定义了一个随时间减小的差异距离度量，保证系统可以从干扰中恢复并跟踪任何可行的参考轨迹。

通过共同合成控制器及其证书，这些方法提供了“通过构造正确”的学习路径，由此产生的策略不仅性能高，而且还附带了其安全性和稳定性的数学证书[118]。

6.2. 从仿真到现实的转移

将基于学习的方法应用于机器人技术的一个主要挑战是训练所需的大量数据[124,127]。由于时间限制、潜在的硬件损坏和安全考虑，现代RL算法在物理硬件上执行数百万次尝试往往是不可行的[127,128]。因此，研究人员严重依赖物理模拟器来更快、更安全、更可行地训练控制策略[124]。然而，仅在模拟中学习的策略在部署到物理机器人上时通常会表现出显著的性能下降或完全失效[128]。这种性能下降是由于模拟环境与物理世界之间的不可避免的不匹配，这个问题通常被称为“现实差距”[124,127]。图22展示了从建模机器人动力学到模拟训练再到最终实际部署的流程。

图22. 从仿真到现实的转移过程示例：首先对操纵器进行建模和模拟以生成大规模训练数据（左上角）。然后在这个虚拟环境中训练策略（右），然后将其转移到物理机器人上，在那里它必须能够稳健地处理现实差距（左下角）（图片来自[124]）。这种差距的出现是因为任何模拟器都是对现实的不完美模型，差异源于不准确的物理参数（例如摩擦、质量）、未建模的动态、传感器噪声和执行器延迟[127,129]。本节回顾了为弥合这一现实差距而开发的主要方法。

6.2.1. 现实差距的简要历史

现实差距并不是一个新问题。早期在进化机器人学中的研究首先指出了这一挑战，观察到在模拟中进化出的控制器往往利用了在现实世界中不存在的模拟器特定现象[127,129]。Jakobi等人（1995）[130]提出的一个基础性想法是在模拟器的传感器和执行器中添加足够量的噪声[129]。他们的“噪声激进包络假设”假设如果控制器能够在噪声较大且多样的模拟中可靠地运行，那么它就足够强大，可以转移到现实中[129]。利用多种模拟而不是单一确定性模拟的概念为许多现代技术奠定了基础。概念相关的是Sutton（1991）[131]提出的Dyna架构，它将来自真实经验的试错学习与来自学习的世界模型的规划相结合（一种内部模拟的形式），为结合真实数据和模拟数据建立了一个强大的范式[129]。**弥合现实差距的核心方法论**

现代的仿真到现实转换方法已经发展出几种不同但通常互补的策略[124,128]。如图23所示，这些策略可以根据它们处理观察结果和动态的方式被分类。图23展示了四种主要类型的仿真到现实方法，这些方法侧重于观察方面：领域随机化、领域适应、传感器融合和基础模型。每种方法都通过修改训练过程或输入表示来弥合视觉现实差距（图片来自[128]）。

**提升仿真逼真度：系统识别与自我建模**

一种直接的方法是使仿真器尽可能忠实地反映真实世界。这包括系统识别，即通过从真实世界数据中估计物理系统的参数来构建一个精确的数学模型（假设模型结构是预先确定的）[124,129]。用户首先从物理机器人收集数据，以确定关键动态参数，如连杆质量、惯性矩、摩擦系数和执行器响应模型[132]。然后使用这些参数创建一个高保真的仿真器或“数字孪生”，使其更接近真实机器人的行为[132]。虽然这种方法可以显著缩小“差距”，但实现完美的逼真度实际上是几乎不可能的，因为仿真器总是有不完美的近似[129]。未被建模的物理效应和变化的条件（例如，由于“磨损”导致的组件退化）本质上总会导致一定程度的不匹配[124]。

不匹配的问题推动了机器人自我建模的研究。例如，Hu等人[133]展示了一个自我监督框架，其中机器人从原始视频数据中学习自己的运动和形态模型，有效地构建了自身的仿真[图24]。这使得机器人可以在不依赖先前的CAD模型或运动学方程的情况下规划动作甚至检测损坏[133]。图24. 自我监督的机器人自我建模：(A) 机器人观察自身的运动以学习模型。(B) 学习到的模型可以预测形态、无需显式运动学就能进行运动规划，并能恢复损伤。(C) 自由形态运动学自我建模（FFKSM）架构处理视觉数据以预测机器人占据情况（图片来自[133]）。

在这些自适应概念的基础上，传统的仿真到现实转换正在从一个离线训练流程演变为一个连续的、动态的同步循环。与静态部署不同，在这种状态下，学习到的策略在转换后仍然保持不变，而真正的数字孪生架构则维持双向数据流。物理机器人平台不断将真实世界的遥测数据反馈到虚拟环境中，使系统能够实时更新其潜在的动态模型，以适应机械退化、未被建模的摩擦或负载变化。机器学习代理可以在更新的仿真器中不断优化其控制策略，并将适应后的参数无缝部署回物理平台。这种连续的数字孪生同步代表了一个关键的前瞻性路线图[134]，确保形式控制与深度学习的协同整合在整个机器人的运行生命周期中保持数学上的稳健性和高度适应性。

**接受差距：领域随机化**

与其追求单一的完美仿真，领域随机化（DR）通过在一个广泛的随机化仿真器集合上训练策略来接受这种差距[127,129]。核心思想是，通过使策略接触到足够的多样性，它将学会忽略特定于领域的特征，从而发展出一种稳健的策略[124]。随机化的参数通常分为两类：

- **视觉随机化（VR）**涉及改变场景的纹理、颜色、照明条件、相机位置和其他视觉属性[124,129]。这对于训练不易被无关视觉变化分散注意力的视觉运动策略至关重要。
- **动态随机化（DR）**涉及改变仿真的物理参数（如质量、摩擦系数、执行器延迟和外部力）[124,129]。这迫使策略在存在建模不确定性的情况下仍然保持高性能。

如图25a所示，目标是将真实世界的数据分布包含在随机化仿真分布中。图25. (a) 领域随机化的直觉，其中随机化仿真分布覆盖了真实世界数据；(b) 领域适应，其中特征提取将源（仿真）和目标（真实）领域对齐到一个统一的特征空间中（图片来自[124]）。

**对齐表示：领域适应**

领域适应（DA）方法明确地最小化源（仿真）和目标（真实）领域之间的特征差异[124]。如图25b所示，这通常涉及学习一个特征提取器，该提取器将仿真和真实观察结果映射到一个共同的、领域不变的的特征空间中，确保策略在两者之间的一致性[128]。一种常见的技术是对抗性训练，其中训练了一个领域分类器来区分仿真数据和真实数据，同时训练特征提取器来欺骗这个分类器。两者结合，使得共享表示的学习成为可能[124]。

**分层控制**

另一种有效的弥合差距的策略是分层控制，其中高级策略（通常在仿真中训练）指挥一个稳健的低级控制器（通过硬件进行调整）。图26展示了这种方法，其中高级网络生成潜在指令或路径点。低级控制器将这些指令转换为电机扭矩，将学习代理与原始硬件动态分离[132]。图26. 用于仿真到现实转换的分层控制架构示例：(A) 路径跟踪；(B) 以最小的能量行走：在仿真中训练的高级策略向低级控制器（如PID或MPC）发送抽象指令（如速度或路径点），从而提高鲁棒性（图片来自[132]）。

**加速现实世界学习**

一些方法利用仿真不是为了实现直接的“零样本”转换，而是为了大幅降低在物理机器人上进行学习的样本复杂度[127]。在迁移学习（TL）方法中，策略首先在仿真中进行广泛预训练。然后，这个预训练的策略作为非常有效的初始化，用于随后使用真实世界数据进行较短的微调阶段[124,127]。这通常比从零开始在物理机器人上训练要高效得多。同样，IL也可以通过提供专家（例如人类操作员）的初始演示来启动这一过程，从而从一开始就为策略探索指明有希望的方向[124,132]。

**6.2.3 新兴前沿**

仿真到现实领域通过整合新的AI范式而继续发展。基础模型，包括大型语言模型（LLMs）[135]和视觉语言模型（VLMs）[136]，正在被用来提供跨领域一致的高层次语义推理和奖励塑造[128]。此外，神经辐射场（NeRF）[137]和3D高斯散布[138]使得直接从真实世界视频数据创建逼真的、可导航的3D仿真环境成为可能，有望几乎完全弥合视觉现实差距[139]。

**7. 结论**

当前技术对高性能机器人系统提出了更高的要求，要求它们在基线操作期间保持稳定和安全，并能够适应极端且未知或变化的环境。这些要求推动了大量研究，将控制理论和机器学习中的强大工具结合起来，开发出适用于机器人应用的协同框架。本文综述了这一新兴领域的工作，这些工作结合了基于模型的控制以确保稳定性和安全性，以及数据驱动的学习来应对复杂性和变化的环境。除了介绍基本的控制模型如模型预测控制和控制屏障函数，以及机器学习基础概念如深度强化学习和模仿学习外，作者还回顾了这些综合框架在多种机器人平台上的应用，包括腿式机器人、敏捷空中车辆、操纵器和陆地或海洋车辆，以及多智能体系统。本文还对这两组机器人系统提出的混合策略进行了比较总结。作者还提出了一种新的分类法，有效地对现有和未来的综合策略进行了分类，总结了从模块化支持架构到完全统一框架的演进轨迹，在这些框架中，控制优化被嵌入为可微分的层。文章最后指出了这些框架和应用中的开放问题和未来研究方向，以及这一不断发展的协同领域可能的研究轨迹。特别是，推进神经认证对于实现建筑正确性的学习至关重要，这保证了数学上的安全性和稳定性。此外，未来的仿真到现实转换必须利用基础模型进行一致的语义推理，并结合神经辐射场和3D高斯散布来生成逼真的环境，以有效弥合视觉现实差距。