用于智能无人系统网络的决策可靠性分析框架：基于协作式多智能体深度确定性策略梯度方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Decision reliability analysis framework for intelligent unmanned system-of-systems using the cooperative multi-agent deep deterministic policy gradient

　　

张玉璐|陈志伟|张洛庚|郭正业|常敏

摘要

决策可靠性是指智能无人系统体系（IUSoS）在受干扰环境下做出并执行决策的能力。然而，个体自主性的固有不确定性可能导致决策不可靠，从而引发任务失败和资源浪费。为了解决这个问题，我们提出了一种基于合作多智能体深度确定性策略梯度（C-MADDPG）的IUSoS决策可靠性分析框架。首先，考虑到个体自主性和功能多样性，我们构建了一个基于图着色理论的多层操作网络，为决策分析提供了基础。其次，提出了一个基于增强型演员-评论家（AC）架构的分布式决策模型，以保持个体的稳定决策能力。第三，考虑到个体决策对可靠性的影响，我们提出了一个以操作循环为导向的决策可靠性评估模型来量化决策可靠性。然后，通过C-MADDPG算法优化决策可靠性，该算法利用合作奖励来更新增强型AC网络。最后，通过对多智能体协作场景的案例研究，证明了该方法的可行性。与各种变体算法相比，所提出的方法获得了最多的奖励，并在任务完成度上始终表现出色，为提高分布式架构下系统体系的可靠性提供了一种技术途径，同时表明合作奖励机制能够在个体自主性与系统可靠性之间取得平衡。