《Journal of Web Engineering》：Lightweight Probabilistic RL for Web-App Compatible Large-Scale OHT Path Optimization
编辑推荐：
随着现代智慧工厂环境对实时远程操作及轻量级云端控制的需求日益增长，天车（Overhead Hoist Transport, OHT）系统的路径规划智能必须具备完全的Web应用兼容性，以支持无需依赖高端本地基础设施的可扩展部署。针对这些需求以及静态算法在大规模天
随着现代智慧工厂环境对实时远程操作及轻量级云端控制的需求日益增长，天车（Overhead Hoist Transport, OHT）系统的路径规划智能必须具备完全的Web应用兼容性，以支持无需依赖高端本地基础设施的可扩展部署。针对这些需求以及静态算法在大规模天车系统中的局限性，本研究提出了一种基于近端策略优化（Proximal Policy Optimization, PPO）的多智能体强化学习模型，引入了考虑链式阻塞概率的状态空间。核心指标“移动成功率”（movement success probability）结合前序智能体的状态预测链式反应拥堵，使智能体能够主动选择稳定的绕行路径。为提高高密度环境下的可扩展性，模型采用轻量级策略初始化方法稳定学习过程，而非从零开始大规模训练。此外，所提出的去中心化结构最小化中央计算开销，天然适配Web应用部署，支持分布式环境中的实时监控。在包含1333个节点和100台天车的仿真实验中，该模型实现了平均任务完成距离166,809 mm，较基于规则的Floyd-Warshall方法（173,940 mm）效率提升4.1%。值得注意的是，在规则方法因拥堵导致任务完成距离激增至321,753 mm的最坏情况下，人工智能模型仍保持在176,268 mm，减少了45.2%，显示出卓越的运行稳定性。
本研究发表于《Journal of Web Engineering》，围绕智慧工厂物流中大规模天车系统的动态路径优化问题展开。研究背景显示，随着生产线规模与复杂度提升，天车系统演变为包含数百台车辆的大规模多智能体环境，但广泛使用的静态路径规划算法（如Floyd-Warshall）及基于距离惩罚的规则绕行策略存在显著局限：这些方法仅关注单个智能体的短视优化，无法灵活应对动态拥堵变化或复杂的全局交互，尤其在高密度区域易引发频繁死锁或低效长距离绕行，导致整体运输效率迅速下降。因此，开发具备前瞻性拥堵感知能力、支持轻量级云端部署的路径优化方法成为迫切需求。研究人员提出基于近端策略优化（PPO）的多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）框架，通过引入“移动成功率”作为关键状态变量，量化前序智能体状态与目标节点占用概率的链式阻塞风险，使智能体能够主动选择稳定路径。该框架采用完全去中心化的执行结构，每个天车独立决策，显著降低中央计算开销，天然适配Web应用架构，支持超过100个智能体的可扩展运行。实验在1333个节点的高精度仿真环境中验证，结果显示，相较于规则方法，该模型平均任务完成距离缩短4.1%，且在严重拥堵场景下将任务距离从321,753 mm降至176,268 mm，减少45.2%，证明了其在提升运输效率与系统稳定性方面的双重优势。
关键技术方法方面，研究人员首先设计了包含“移动成功率”的概率化状态空间，通过递归评估前序智能体的阻塞风险（Pblock）与机械故障概率（Pfail=0.1）计算节点的即时可通行性；其次，构建了多维度奖励函数，涵盖无效动作惩罚、最短路径激励、拥堵推理奖励、碰撞惩罚及任务完成终端奖励，以平衡个体导航效率与全局稳定性；第三，采用分步迁移学习策略，先在10个智能体的简化环境中预训练策略权重，再迁移至100个智能体的复杂环境，确保训练效率与收敛稳定性；第四，基于多智能体近端策略优化（Multi-Agent PPO, MAPPO）框架实现去中心化执行，每个天车独立决策，避免中央服务器瓶颈。
研究结果部分，引言指出静态算法的短视性缺陷及Web兼容部署需求，引出概率化MARL解决方案。相关工作回顾了表格式强化学习（如Q-learning）的维度灾难问题，以及深度Q网络（Deep Q-Network, DQN）的价值高估与离散动作空间限制，分析了多智能体算法（如QMIX）在百级智能体规模下的计算瓶颈，明确了PPO在连续控制与训练稳定性上的优势。提出的方案中，全局状态由所有天车的局部状态、当前位置、目标位置、累计碰撞数与完成任务数构成，为中央评价网络提供系统级视角；局部状态则包含自身坐标、邻居节点数、目标坐标、候选路径的最短距离、最短路径标志、路径拥堵度及移动成功率，驱动个体决策。奖励函数通过多维度反馈引导智能体兼顾拓扑约束、时效性与安全性。实验评估采用1333节点单向图与100台天车的高密度配置，对比基准为每秒重算并施加20米距离惩罚的动态Floyd-Warshall算法。结果表明，AI模型的平均任务距离为166,809 mm，优于规则方法的173,940 mm；箱线图分析显示AI模型的中位数更低且极端离群值更少，证明其效率与稳定性优势。高拥堵案例可视化显示，规则方法因刚性反应产生321,753 mm的绕行距离，而AI模型通过移动成功率与拥堵推理将其控制在176,268 mm。节点访问热力图进一步揭示，规则方法倾向于边缘长距离绕行，而AI模型集中利用中部核心“高速路段”，并学会最优进入时机。
讨论与结论部分强调，该研究通过概率化状态设计与去中心化架构，解决了大规模天车系统在动态拥堵下的路径优化难题，实现了平均效率提升与极端场景下的稳定运行。其Web兼容性支持轻量级云端部署，无需高性能本地设施，契合现代智慧工厂的分布式管理需求。实验结果证实，所提方法在效率、稳定性与可扩展性上均优于传统规则算法，为工业级物流系统的智能化升级提供了可行方案。
