通过双层协作控制改进非结构化地形中的异构多智能体自主探索

《Neural Networks》：Enhancing Heterogeneous Multi-Agent Autonomous Exploration in Unstructured Terrains via Dual-Layer Collaborative Control

　　

摘要

多智能体系统（MAS）在现实世界应用中具有重要意义，因为它们能够通过去中心化的协作有效管理复杂任务。大多数现有研究主要集中在同质的MAS上，即由具有相同功能能力和标准化行为协议的智能体组成的系统。然而，这样的系统在自主协作探索过程中往往无法有效适应动态或扰动环境。为此，本文研究了异质MAS，并引入了一个基于强化学习的异质多智能体自主探索框架（RL-MAE），旨在利用不同类型智能体的互补优势。具体来说，LEP模块通过为异构平台量身定制的运动校正策略实现了动态畸变姿态补偿，为任务分配和控制提供了可靠的感知基础。此外，HDA模块建立了一个涵盖规划、导航和自适应协调的三层闭环架构：上层通过MD-MTSP确定目标分配和全局路径；中层使用TD3进行局部路径跟踪；只有在满足成本降低条件时，下层才会触发轨迹调整，这三层通过明确的信息反馈紧密耦合。包括消融实验在内的广泛测试表明，与同质系统相比，所提出的系统在复杂非结构化地形中表现出更高的鲁棒性。

引言

多智能体系统（MAS）凭借其分布式协作机制，在诸如搜索与救援（Fang, Liao, Bai, 2024; Martinez-Alpiste, Golcarenarenji, Wang, Alcaraz-Calero, 2021; Wen, Shi, Wang, Chen, Di, Yang, 2024）、环境监测（Gu, Kuba, Chen, Du, Yang, Knoll, Yang, 2023; Jiang, Du, Jiang, Han, Debbah, 2024; Singh, Vaishnav, Gautam, Banerjee, 2024）和自主探索（Lin, Niu, Yu, Fan, Zhuang, Zou, 2025; Mu, Zhuo, Chen, Zhang, Yu, Hao, 2025; Vutetakis, Xiao, 2019）等典型应用场景中，表现出了显著优于单智能体系统的性能。在当前研究中，同质MAS仍然是主要关注焦点（Chen, Arkin, Zhang, Roy, Fan, 2024; Tran, Garratt, Kasmarik, Anavatti, 2023; Yoo, Yi, Kim, Shin, Han, Seo, Song, Chung, Yang, 2024; Zhang, Xia, Park, Zhang, Shen, 2023）。这些系统的智能体通常具有相同的功能配置，并依赖于标准化的感知和控制模块（Wang et al., 2023）。然而，在复杂非结构化环境中，这种同质性往往导致效率低下和适应性受限（Fernandez et al., 2021），从而给系统应对动态环境变化带来挑战（Amirkhani and Barshooi, 2022）。因此，本文重点关注集成具有不同感知能力和互补功能角色的异质MAS，使其能够稳健地适应灾难性废墟场地和崎岖山区等苛刻环境。

同质MAS与异质MAS的对比如图1所示。传统同质系统方法侧重于同步性和一致性，依赖于统一的感知和控制策略。在复杂且快速变化的环境中，这些策略在处理感知、决策和任务分配的差异方面存在明显局限性，因此无法直接应用于异质系统（Yan et al., 2024）。相比之下，异质MAS通过利用智能体的互补能力，有更大的潜力满足复杂场景下自主协作探索的多样化需求。然而，它们的广泛应用受到两个核心挑战的阻碍：感知融合的内在难度和自适应控制的复杂性。克服这些障碍对于释放异质系统在研究和现实世界应用中的全部潜力至关重要。

详细来说，一方面，异质感知融合的复杂性源于智能体配备的传感器、设备等差异，导致数据格式和噪声特性的不一致性，从而阻碍了异构数据流的有效处理（Cai et al., 2023）。最近提出了一种基于注意力机制的多模态数据动态权重调整方法（Xie et al., 2023），以缓解异构感知融合中数据特性变化带来的处理瓶颈。然而，该方法在低功耗智能体上难以实时运作，且无法充分解决融合的复杂性问题。另一方面，控制策略适应的挑战在于需要在智能体的多样化硬件和功能之间平衡个性化控制和全局协调（Zhang et al., 2024）。最近的研究通过将事件触发的分布式控制与强化学习相结合，优化了受干扰环境中的协作效率（Gao et al., 2025）。然而，该方法在通信链路设计上存在明显缺陷，可能导致控制延迟并严重限制系统的可扩展性。

为了解决上述挑战，本文提出了一个基于强化学习的异质多智能体自主探索框架（RL-MAE），旨在提高MAS在复杂非结构化地形中进行自主协作探索的鲁棒性。该框架包括一个基于LIO-SAM的探索与感知（LEP）模块和一个异质双层自适应控制（HDA）模块。LEP模块整合了激光雷达点云和惯性测量单元（IMU）数据等多源数据，构建高精度网格化环境地图；同时识别未探索区域生成目标探索点，并引入动态畸变补偿机制优化感知数据质量，从而解决由于传感器物理特性差异引起的格式异质性和精度不匹配问题。HDA模块与LEP协同工作，建立了一个涵盖规划、导航和自适应协调的三层闭环控制架构，通过明确的信息交换和触发逻辑实现紧密耦合。具体而言，规划阶段将异质智能体的目标分配问题建模为多仓库多旅行商问题（MD-MTSP，Cheikhrouhou et al., 2014），并根据LEP提供的地图和智能体状态生成全局路径，为后续导航阶段提供明确的运动约束；导航阶段结合双延迟深度确定性策略梯度（TD3，Cimurs et al., 2022）框架进行实时障碍物避让，并将执行状态持续反馈给规划和协调阶段；自适应协调阶段通过双模成本函数评估协调成本，仅在满足可量化的成本降低条件时触发轨迹调整，然后将协作决策返回规划阶段完成闭环。这种闭环设计使异质MAS在非结构化地形中能够实现稳健协作。

总结来说，本文的主要贡献体现在四个方面：

•

我们提出了基于强化学习的异质多智能体自主探索框架（RL-MAE），它将感知、全局规划和局部导航以及自适应通信整合到一个闭环架构中，实现了各阶段之间的紧密耦合，打破了独立模块设计的限制。

•

我们介绍了基于LIO-SAM的探索与感知（LEP）模块，该模块融合多源异构感知数据以实现高精度映射，并为四足和轮式平台定制了动态畸变补偿机制，增强了非结构化地形中的映射鲁棒性。

•

我们设计了异质双层自适应控制（HDA）模块，它建立了一个涵盖规划、导航和自适应协调的三层闭环控制架构，通过层次间信息反馈和触发逻辑提高了自主探索效率。

•

实验结果表明，与其他同质系统相比，所提出的框架在复杂非结构化场景中表现出更高的探索效率和更低的运动成本。

章节摘录

相关工作

随着MAS在搜索与救援（Jacoff, Messina, Weiss, Tadokoro, Nakagawa, 2003; Liu, Nejat, 2016; Murphy, 2004）、环境监测和自主探索等领域的应用不断扩展，同质MAS由于其算法的统一性和成本可控性成为研究热点（Cheng, Indri, Possieri, Sassano, Sibona, 2023; Liu, 2017; Ryde, Brünig, 2009）。然而，现有的同质MAS在复杂现实世界应用中存在固有的局限性

概述

本文提出了一种基于强化学习的异质多智能体自主探索框架（RL-MAE），其核心目标是通过整合多种类型智能体（如地面智能车辆和四足机器人）的互补能力，提高系统在复杂地形环境中的适应能力。如图2所示，该框架包括两个关键功能模块：基于LIO-SAM的探索与感知（LEP）模块和

实验结果

在实验中，我们在模拟环境和真实世界场景中系统评估了所提出的方法。首先，我们通过将其与主流自主探索算法进行定量比较来验证其整体性能优势；其次，我们设计了消融实验来验证每个引入的模块组件的独立有效性；最后，跨场景测试进一步证明了该方法从模拟场景到实际应用的泛化能力

结论

本文提出了一种基于强化学习的异质多智能体自主探索框架（RL-MAE），以提高异质多智能体在复杂场景中的自主探索性能。RL-MAE框架主要由两个核心模块组成：一方面，基于LIO-SAM的探索与感知（LEP）模块用于消除不同传感器类型引入的偏差；另一方面，异质双层自适应控制

CRediT作者贡献声明

赵克翔：撰写 – 审稿与编辑，初稿撰写，可视化，验证，方法论。胡炳宇：撰写 – 审稿与编辑，监督。潘莹莹：资源提供，形式分析。郭琦：监督，软件开发。杨玉翔：监督，概念化。

利益冲突声明

作者声明没有已知的可能会影响本文工作的财务利益或个人关系。

Kexiang Zhao|Bingyu Hu|Yingying Pan|Chi Guo|Yuxiang Yang