具有容量约束的多AGV系统可转移任务分配：一种实体编码强化学习方法

《Expert Systems with Applications》：Transferable task allocation for multi-AGV systems with capacity constraints: An entity-encoding reinforcement learning method

　　余子超|施华光|张俊杰|敖天勇|李伟|周毅•TEMAT算法通过实体图编码和自注意力机制解决容量耦合型AGV分配问题。•实体级价值分解无需架构 redesign即可实现无尺度扩展的模型迁移。•密集进度引导与噪声探索相结合，可提升稀疏奖励环境下的训练效果。•在不同系统规模下，TEMAT的性能始终优于传统价值分解基准方法。

引言
在智能制造系统中，自动导引车辆（AGV）被广泛用于灵活的材料搬运和协同物流作业（Lassoued等人，2025；Zhang等人，2026b）。许多生产任务，如协同运输托盘或协调完成装配工作，需要多台AGV共同执行同一任务，这些AGV的分配决策需通过共享的容量要求相互关联（Chen等人，2026）。此外，灵活的生产计划常常导致AGV数量和任务数量发生变化（Zhang等人，2026a），因此，协同分配和跨尺度部署对于实际的多AGV系统而言至关重要。

这一场景带来了两个主要技术挑战。首先，每台AGV仅根据自身观察结果选择任务，无法知晓其他AGV的决策情况。当多台AGV同时选择同一任务时，执行该任务的AGV数量可能超过其剩余容量，从而导致不必要的竞争和资源浪费。我们将这种现象称为并发容量竞争；而那些已达到容量上限的任务则被称为容量饱和任务，试图与其建立绑定关系的操作则属于无效绑定。这种智能体间的依赖关系难以用传统马尔可夫决策过程所使用的扁平特征表示来捕捉（Li等人，2024；Shi等人，2022）。其次，许多基于学习的方法将其网络输入层或输出层固定为特定数量的AGV或任务，因此系统规模发生变化时就需要重新设计模型或进行重新训练（Amini等人，2023；Shi等人，2025b）。这些挑战促使人们寻求一种能够在容量约束下捕捉AGV与任务之间交互关系，同时还能在不同系统规模间迁移的分配模型。

目前已有多种基于优化的方法被提出用于多AGV任务分配，包括数学规划、启发式优化以及基于规则的分布式方法（Mahmud等人，2026）。数学规划方法（如混合整数线性规划）能够提供最优解，但它们需要完整的系统信息，且难以应对动态变化的容量约束。基于规则的分布式方法（如基于市场的任务拍卖）具备更好的可扩展性，但它们依赖于预先定义的效用函数和决策规则，难以适应动态变化的AGV-任务竞争模式（Clinch等人，2023）。启发式优化算法（如遗传算法和粒子群优化）虽然能减轻计算负担，但它们严重依赖人工参数调整，且当AGV-任务配置发生变化时往往缺乏适应性（Han等人，2024；Lin等人，2024）。深度强化学习则为这一领域提供了另一种思路，它能够让智能体通过与环境互动学习适应性策略（Li等人，2025a）。然而，单智能体深度强化学习将其他AGV视为环境的一部分，因而忽视了智能体间的显式协作，且在多AGV场景中，复杂的智能体交互和环境非稳定性会严重限制策略的学习效果（Wong等人，2023）。因此，基于集中训练分布式执行框架的多智能体深度强化学习成为一种极具前景的解决方案，它能让智能体在部分可观测性条件下做出决策，同时在集中训练阶段利用全局信息。不过，现有的多智能体深度强化学习方法在应用于存在容量约束的多AGV任务分配时仍存在显著局限。首先，AGV和任务的特征通常被转化为高维向量，这不利于捕捉智能体间的关联关系和容量竞争模式。其次，在部分可观测性条件下，智能体往往缺乏有效机制来整合来自可观测智能体的实体级上下文，从而导致在多台AGV同时尝试绑定任务时出现次优的协作决策，进而造成任务分配效率低下（Xie等人，2022）。第三，网络架构与输入维度紧密绑定，一旦AGV和任务的数量因生产计划而变化，就不得不重新设计模型或进行重新训练，这严重影响了柔性制造系统中的部署效率（Shi等人，2025a）。

为了解决上述问题，本文提出了一种可迁移的实体编码多AGV任务分配（TEMAT）算法，该算法将基于Transformer的实体编码技术与CTDE框架下的多智能体深度强化学习相结合。本文的主要贡献如下：
•构建了实体图来表示AGV的观测数据，其中AGV和任务都被统一建模为具有容量状态并通过结构化特征体现时变交互关系的实体节点。基于Transformer的自注意力机制使每台AGV能够有选择地关注相关实体信息，从而促进协同推理，缓解分布式决策过程中的并发容量竞争问题。
•为适应AGV和任务数量动态变化的场景，本文设计了实体级价值分解机制，该机制直接根据任务对应的实体表示来计算每个候选任务的动作价值，而非依赖固定的动作索引输出层。结合参数共享的实体编码技术，这种设计实现了网络参数与系统规模的完全解耦，使得训练好的模型可以直接应用于AGV和任务数量不同的场景，而无需进行架构修改。
•为增强在高维联合动作空间中的探索能力并提高样本利用效率，TEMAT算法采用了带噪声的网络进行随机探索，并通过优先经验回放来实现有针对性的样本利用。仿真结果表明，TEMAT在收敛速度、任务效用和完成时间方面均优于现有算法，而且还能通过模型迁移适应不同系统规模的场景。

本文的其余结构如下：第2节回顾相关研究，第3节介绍系统架构和问题建模，第4节详细阐述方法设计，第5节展示实验结果与分析，第6节对全文进行总结。

相关工作
本节从以下两个方面回顾相关研究：（1）传统的基于优化的任务分配方法；（2）基于学习的任务分配方法。

系统模型
图1展示了一个智能制造工厂中多台AGV的协同任务分配系统。该系统包含M台AGV和N项运输任务，分别用集合A={AGVi∣i=1,2,…,M}和T={taskj∣j=1,2,…,N}表示。每项任务都有特定的容量要求，即完成该任务所需的有效AGV-任务绑定数量。AGV在进入任务作用范围后会单独建立绑定关系，之后便一直负责该任务的处理。

TEMAT算法
图2展示了TEMAT算法的整体框架。该算法基于CTDE框架开发，将基于Transformer的实体编码技术（Gallici等人，2023；Wen等人，2022）与价值分解技术相结合，以解决第1节中提到的两个核心问题。为应对分布式决策过程中的并发容量竞争，该算法将AGV和任务建模为动态图中的实体节点，并运用多头自注意力机制……

仿真环境
实验环境为一个40米×40米的操作区域，用于模拟典型的制造单元，多台AGV在此协同完成存在容量约束的运输任务。与那些任务可独立完成的传统任务分配场景不同，该环境的主要挑战在于存在容量耦合的动态任务分配问题：每项任务都需要一定数量的有效AGV-任务绑定才能完成，而多台AGV又会同时尝试处理这些任务……

结论
本文研究了智能制造工厂中存在容量约束和系统规模动态变化条件下的多AGV任务分配问题，并通过将基于Transformer的实体编码技术与多智能体深度强化学习相结合，提出了一种可迁移的实体编码多AGV任务分配（TEMAT）算法。该算法将AGV和任务统一表示为动态图中的实体节点，借助多头自注意力机制捕捉实体级交互关系，从而支持智能体间的协同决策。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。