《Forests》：LiDAR-Aided Human–Machine Shared Control Optimization for Unknown Complex Environments via Model Predictive Control and Deep Reinforcement Learning
编辑推荐：
未知环境中移动机器人的智能导航已成为服务与物流应用的关键使能技术。然而，在非结构化场景中，感知噪声和环境不确定性会显著降低系统性能，如何在安全性与效率之间取得平衡成为一项重大挑战。本研究提出一种带模型预测控制（Model Predictive Control,
未知环境中移动机器人的智能导航已成为服务与物流应用的关键使能技术。然而，在非结构化场景中，感知噪声和环境不确定性会显著降低系统性能，如何在安全性与效率之间取得平衡成为一项重大挑战。本研究提出一种带模型预测控制（Model Predictive Control, MPC）约束的人机共享控制方法（Human–Machine Shared Control with Model Predictive Control constraints, HMSC）。HMSC建立了一种置信度驱动的人机共享控制机制，通过动态评估智能体决策的可靠性来调节控制权重，从而最大化协同效率。同时，该方法引入了一种复合置信度评估模型，通过融合认知不确定性与来自轻量级LiDAR测量的几何可行性，实现对策略风险的稳健量化。为确保安全执行，研究人员开发了一种多轨迹预测机制，在验证运动学约束后，以最小干预方式安全调整控制指令。研究人员在Gazebo仿真环境中，使用配备LiDAR的移动机器人模型开展了避障和目标导航实验，并验证了置信度模型的合理性。结果表明，所提出的结合置信度评估与确定性安全边界的共享控制策略，显著提高了系统在不确定环境中的成功率和鲁棒性。
论文解读
一、研究背景与问题
移动机器人在服务、巡检和物流等真实场景中的广泛应用，对其运行可靠性和执行能力提出了更高要求。然而，当面对无法完全建模的复杂动态环境（如狭窄通道、多机器人交互或密集移动人群）时，传统控制方法在平衡执行效率与系统安全性方面面临严峻挑战。传统规划与控制方法，包括基于搜索的A*和Dijkstra算法、基于采样的RRT和PRM框架，以及人工势场法（APF）和动态窗口法（DWA）等反应式方法，虽然已在工业和工程应用中占据主导地位，但在面对动态环境的不可预测性时往往表现不佳。搜索和采样算法容易遭受“维度灾难”，反应式控制器则易陷入局部极小值且缺乏长期前瞻能力。模型预测控制（MPC）虽然通过将系统动力学集成到预测优化框架中提升了能力，但其效果高度依赖环境模型的精度，对感知噪声和人类行为的随机性极为敏感，常常导致过度保守或数学上不可行的轨迹。
近年来，深度强化学习（DRL）为复杂未知环境中的导航问题提供了新范式，但这类算法通常需要数百万步的模拟训练才能学习到有效策略，且在实际环境中学习时要求代理从一开始就展现出优秀的在线性能，这在安全关键场景中难以满足。人类操作员在基于经验的判断、异常检测和关键决策方面仍具有不可替代的优势，但其控制精度相对较低。因此，如何将人类经验、基于学习的决策能力和基于模型的安全保障进行有效整合，已成为当前研究的重要方向。
在实现人机共享控制（HMSC）时，两个核心问题是如何可靠地判断自主策略是否可信，以及在何种条件下允许人类干预或与自主策略共享控制权。现有的大多数框架将可靠性视为单一的外部指标（如跟踪误差），忽略了认知不确定性的关键作用，这使系统容易面临分布外（OOD）风险。同时，传统的“硬切换”干预模式往往忽视控制指令的连续性和动态约束，容易引发系统振荡并干扰人类操作意图。
二、研究内容与意义
针对上述问题，本研究提出了一种自适应的HMSC框架，其核心思想是将深度强化学习的长期规划能力与人类经验判断相结合，同时引入基于预测的在线安全层来强制执行物理约束。该框架通过MC-Dropout估计认知不确定性并将其映射为贝叶斯置信度，再利用MPC安全层获得的几何可行性信息进行校准，形成复合置信度。置信度动态调节人机控制权分配：置信度降低时增加人类参与度，置信度升高时赋予自主策略更大控制权。当置信度低于预设阈值时，在安全约束下激活人类优先仲裁机制。
研究在Gazebo仿真环境中进行了系统验证，实验设计涵盖三个核心方面：避障任务、目标驱动导航任务以及置信度模型的合理性分析。实验平台基于机器人操作系统（ROS）和Gazebo仿真器，机器人配备LiDAR单元和里程计传感器，LiDAR前向数据被压缩为20维向量以保持计算效率。训练在10×10米的仿真环境中完成，训练过程中机器人的起始位置、目标位置和障碍物位置均随机分配。研究对比了三种方法：纯TD3基线、集成MPC安全层的MPC-TD3中间基线，以及所提出的HMSC框架。人机共享控制实验涉及五名年龄在23至25岁之间的人类操作员，通过标准ROS遥操作节点实时提供人类输入。
三、主要关键技术方法
本研究采用的主要技术方法包括：基于孪生延迟深度确定性策略梯度（TD3）的深度强化学习控制器，用于生成自主导航策略；基于蒙特卡洛Dropout（MC-Dropout）的贝叶斯神经网络，用于在推理阶段通过多次随机前向传播估计策略的认知不确定性；基于模型预测控制（MPC）的在线安全层，通过均匀采样动作空间生成候选动作集，利用LiDAR点云数据进行多轨迹前向预测和碰撞检测，并通过最小扰动优化问题将不安全动作投影到可行区域；以及置信度驱动的动态控制权分配机制，将贝叶斯置信度与MPC安全层返回的可行安全动作数量融合为复合置信度。
四、研究结果
4.1 局部安全能力验证：避障任务
避障任务旨在评估算法在无明确目标约束情况下的瞬时安全决策能力。实验采用分段奖励函数，以任务成功率、生存步数和奖励分布为评价指标。成功率热力图显示HMSC在所有测试场景中保持超过90%的成功率，在第三阶段达到95.5%的峰值。纯TD3算法在第一和第二阶段未能完成任何试验，反映出纯强化学习在复杂环境约束下的根本局限。步数数据进一步表明TD3频繁因碰撞而提前终止，而HMSC维持了显著更长的轨迹。奖励分布方面，HMSC获得了最高的中位数奖励和较窄的四分位距，核密度估计曲线显示HMSC的奖励概率密度显著右偏，峰值集中于高奖励区域。
4.2 全局能力验证：目标驱动导航任务
目标驱动导航任务要求机器人从起始位置移动到随机生成的目标点，同时持续避障。训练过程采用三阶段课程训练流程：第一阶段纯自主训练学习基础避障，第二阶段引入人类操作员协同控制以注入高质量示范，第三阶段移除人类输入使智能体自主收敛。实验结果表明，HMSC在平均Q值、最大Q值和损失曲线等指标上均表现出更优的收敛特性，后半段训练中成功率保持在85%以上。测试阶段，HMSC实现了超过95%的成功率和低于3.7%的碰撞率，而纯TD3算法的碰撞率超过14%。小提琴图和核密度估计进一步表明HMSC的奖励分布具有“高均值、低方差”的特征，能够稳定复现接近最优的策略。
4.3 置信度模型合理性分析
置信度模型的验证实验记录了单次代表性试验中置信度、权重分配和最终动作合成的演化过程。结果显示置信度值与融合权重之间存在动态负相关关系。在机器人处于相对安全状态时，置信度可达0.945，系统将人类干预权重降低至0.185，使自主策略主导控制权。而在置信度出现剧烈波动的区间，模型快速响应并显著提高融合权重，强制引入人类引导以防止不安全行为。融合动作并非简单的线性组合，而是根据实时权重在两个输入之间自适应切换，有效平衡了探索效率与操作安全性。
4.4 计算效率与失败案例分析
在线计算效率评估记录了493个控制周期样本，HMSC框架平均完成一个决策周期需要约53.476毫秒，其中TD3策略推理、MPC安全层、MC-Dropout不确定性估计和置信度融合分别需要不同时间，对应的平均在线决策频率约为18.70赫兹。失败案例分析显示，超时失败案例中采样安全动作集在多个阶段为空，机器人虽未发生碰撞但反复的局部修正降低了目标导向的进展；碰撞失败案例中，从第173步到第223步，可行采样动作数持续为零，最小LiDAR距离从约0.460米降至0.352米，应急低速转向策略未能恢复可行局部构型。
五、讨论与结论
研究结果表明，HMSC框架的主要优势源于学习型决策、置信度感知的人机控制权分配与基于模型的几何安全验证的互补整合。该框架能够在自主策略置信度下降时自适应地增加人类参与度，同时MPC安全层在动作执行前提供额外的验证。压缩LiDAR观测的使用保持了相对轻量级的感知表示，实现了约20Hz的平均在线决策频率。然而，研究也存在若干局限：MPC安全层依赖有限预测时域和离散化候选动作集，持续的局部不可行性可能无法完全解决；当前安全评估主要依赖局部观测的LiDAR几何信息，未显式预测未来障碍物运动；MC-Dropout不确定性估计引入了额外的计算开销和延迟变化；共享控制性能仍依赖人类输入的质量和及时性；此外，当前评估在仿真环境中进行且主要与TD3基线比较，限制了关于真实世界部署和与其他HMSC方法更广泛比较的结论。未来工作将重点改进MPC安全层的恢复策略和动态障碍物预测能力，同时进一步优化不确定性估计和安全评估的计算效率，并在统一实验协议下与其他HMSC方法进行标准化比较。
