用于新鲜工业AIGC服务的生成式AI模型时代：一种混合动作多智能体深度强化学习方法

《Future Internet》：The Age of Generative AI Model for Fresh Industrial AIGC Services: A Hybrid-Action Multi-Agent DRL Approach Wenjing Li, Ni Tian and Long Zhang

　　

为了满足工业制造中对自主决策和实时优化的日益增长的需求，将人工智能生成内容（AIGC）服务与工业5.0相结合，可以实现实时工业智能。生成模型的有效性与生产环境的当前状态密切相关。然而，现有研究往往忽略了生成模型与生产环境之间的动态时间关系，尤其是在存在大模型传输延迟和随机AIGC任务到达的工业场景中。因此，研究人员定义了一个新的度量标准，即模型新鲜度（Age of Model，AoM），用于衡量生成模型相对于当前工业任务的新鲜程度。随后，研究人员构建了一个平均AoM最小化问题，该问题联合考虑了基于低秩适应（LoRA）的微调、无线传输和资源分配。为了解决该问题，研究人员提出了一种混合动作多智能体近端策略优化（Hybrid-Action Multi-Agent Proximal Policy Optimization，HA-MAPPO）算法。该算法遵循集中式训练与分布式执行（CTDE）范式，并引入了一种主智能体优先状态策略（Main-Agent Priority State Strategy）以支持协同训练和独立执行。此外，还设计了一种多头输出结构来处理混合动作空间，该空间包括离散的微调关联决策和连续的传输资源分配。仿真结果表明，所提出的方案优于所有基准方法。具体而言，与四种基准算法相比，累计奖励分别提高了约11.13%、20.32%、36.61%和38.78%。这些结果表明，所提出的方案能够在提供高质量和及时的工业AIGC服务的同时，显著降低平均AoM。

**论文解读：《用于新鲜工业AIGC服务的生成式AI模型时代：一种混合动作多智能体深度强化学习方法》**

**研究背景与问题**

工业5.0的兴起推动制造业从传统自动化向智能制造的转变，其中生成式人工智能（GAI）驱动的AIGC服务成为实现实时工业智能的关键。然而，在动态的工业环境中，生成模型的有效性高度依赖于生产环境的当前状态。现有研究存在两个主要不足：一是忽略了生成模型与动态生产环境之间的时间相关性，尤其是在大模型传输延迟大和AIGC任务随机到达的工业场景下；二是大多数研究仅关注AIGC任务推理阶段的资源分配，而忽视了模型自适应微调在完整服务生命周期中的关键作用。为此，研究人员提出了一种新的度量指标——模型新鲜度（AoM），用于量化生成模型相对于当前工业任务的时效性，并在此基础上开展研究。

**研究内容与结论**

研究人员定义AoM为模型最近一次微调时间戳与当前执行时间的时间差，以衡量模型因陈旧而可能产生低质生成内容的风险。基于此，研究人员构建了一个联合考虑LoRA微调、无线传输和资源分配的平均AoM最小化问题。为解决该高维耦合的组合优化问题，研究人员提出了混合动作多智能体近端策略优化（HA-MAPPO）算法。该算法遵循集中式训练与分布式执行（CTDE）范式，引入主智能体优先状态策略和混合动作多头输出结构，使每个边缘服务器（ES）作为独立智能体，基于本地观测进行离散的模型关联决策和连续的功率控制决策。仿真结果表明，HA-MAPPO在累计奖励上比四种基准算法分别提升约11.13%、20.32%、36.61%和38.78%，并能显著降低平均AoM，证明了联合优化微调调度与资源分配在维持模型新鲜度方面的有效性和必要性。该论文发表在《Future Internet》。

**主要技术方法**

研究人员采用了以下关键技术方法：1）**模型新鲜度（AoM）指标**：定义并形式化模型时效性，将时间差作为模型老化的度量。2）**低秩适应（LoRA）微调**：通过冻结大部分模型参数并引入可训练的低秩矩阵，减少传输和计算开销。3）**混合动作多智能体近端策略优化（HA-MAPPO）**：在CTDE范式下，通过参数共享和主智能体优先状态策略处理多智能体状态空间；通过多头输出结构联合处理离散模型关联决策和连续功率控制决策。4）**广义优势估计（GAE）和PPO裁剪**：用于稳定策略更新和方差控制。

**研究结果**

**1. 收敛性分析**：HA-MAPPO算法在训练初期平均奖励呈上升趋势，最终稳态奖励显著高于PPO、DQN、随机微调（Random FT）和固定发射功率（Fixed Power）基准方法。具体而言，累计奖励分别高出11.13%、20.36%、36.61%和38.78%。多智能体协同机制提升了全局效用并缓解了资源竞争。

**2. 单个智能体最终步奖励**：各ES作为独立智能体在最终步奖励上逐渐趋于稳定，并呈现一致上升趋势，表明HA-MAPPO框架下每个智能体成功学习了协同策略，能够有效处理随机到达的AIGC任务并降低终端AoM。

**3. 最大步长对AoM的影响**：随着最大步长T_max从100增加到2000，所有方法的平均AoM逐步上升，HA-MAPPO在T_max=1000时平均AoM为549，比Random FT低3.2%，比Fixed Power低12.2%；在T_max=2000时提升更为显著（6.6%和14.3%），表明联合优化在长操作周期下对维持模型新鲜度至关重要。

**4. 系统可扩展性**：当智能机器（SM）数量或AIGC模型数量增加时，平均AoM上升；当ES数量增加时，平均AoM下降。HA-MAPPO在不同规模下均保持较低AoM，显示出良好的可扩展性。例如，模型数从M=4增加到M=6时，HA-MAPPO的AoM增加5.9%（529→560），而Random FT和Fixed Power分别增加13.1%和14.0%；SM数从N=20增加到30时，HA-MAPPO增加16.2%（542→630），而基准方法增加超过21.4%；ES数从K=3增加到7时，HA-MAPPO的AoM降低27.5%（672→487）。

**5. 带宽对AoM的影响**：增加上行（SM）带宽比增加下行（ES）带宽对降低AoM效果更显著。当SM带宽从10 MHz增加到20 MHz时，平均AoM降低39.3%（745.76→452.72）；而ES带宽从50 MHz增加到200 MHz时，AoM仅降低9.2%（575.76→522.72）。原因是LoRA微调后下行数据量远小于上行数据量，上行链路成为模型更新的主要瓶颈。

**总结与讨论**

研究人员在讨论中回顾了所提方法的核心贡献：通过在工业5.0背景下引入AoM指标，联合考虑LoRA微调、无线传输和资源分配，并设计HA-MAPPO算法实现了协同优化。研究结论指出，基于AoM的设计可在有限通信和计算资源下维持模型新鲜度，显著提升工业AIGC服务的及时性和可靠性，为未来智能制造中的时间敏感型AIGC服务奠定基础。同时，研究指出了三点局限性：时隙假设可能无法完全捕捉快速变化的工业环境；LoRA更新在极大模型或严格延迟要求下通信与计算开销仍较大；结果基于仿真，未在真实工业设备上验证。未来工作将聚焦于实际工业设备验证、联合优化模型新鲜度与AIGC生成质量、以及安全模型传输与数据隐私保护。