《Digital Communications and Networks》：Queue-aware end-edge-cloud collaborative DNN inference in 6G industrial IoT: A multi-agent learning approach
编辑推荐：
人工智能的快速发展将基于深度神经网络（DNN）的推理任务引入了工业物联网（IIoT）系统。这些任务通常是计算密集型的，需要超出传感设备能力的资源。为了解决这一挑战，边缘计算成为一种解决方案，通过任务卸载实现协作式DNN推理。本文将端-边-云系统中联合DNN划分
人工智能的快速发展将基于深度神经网络（DNN）的推理任务引入了工业物联网（IIoT）系统。这些任务通常是计算密集型的，需要超出传感设备能力的资源。为了解决这一挑战，边缘计算成为一种解决方案，通过任务卸载实现协作式DNN推理。本文将端-边-云系统中联合DNN划分、任务卸载和优先级感知调度问题建模为一个动态长期优化问题，目标是最小化推理任务完成成本，同时保证所有优先级级别的队列稳定性。为此，研究人员首先利用队列状态信息，在截止时间违反概率超过阈值时，动态地将低优先级任务重定向至云服务器。随后，研究人员提出了一种基于集中式训练与分布式执行（CTDE）范式的多智能体近端策略优化（MAPPO）算法，以联合优化划分和边缘选择。此外，实验表明，与基线方法相比，该框架在三种DNN模型上将平均推理延迟降低了18.38%，能耗降低了26.86%。
论文解读文章
一、研究背景与动机
随着第六代（6G）网络技术的发展，工业物联网（IIoT）已成为工业5.0的基石。由人工智能（AI）驱动的IIoT应用，如智能缺陷检测和事件监控，正被广泛应用于生产流程中。深度神经网络（DNN）推理是这些智能应用的核心技术。然而，传感设备（SD）由于计算和能量资源有限，难以实时完成推理任务。多接入边缘计算（MEC）通过在边缘服务器（ES）上部署DNN模型，将计算能力靠近数据源，从而降低推理延迟。但现有方案仍面临三个关键挑战：第一，DNN不同层的异构性显著，中间数据大小变化剧烈，导致划分点对计算负载和传输开销影响巨大；第二，在多边缘工业场景中，选择合适的ES进行中间数据卸载是一个难题，且DNN划分与卸载之间存在强耦合关系；第三，工业环境中存在多种优先级的推理任务，高优先级任务可能使低优先级任务遭受过度排队延迟甚至错过截止时间。因此，亟需一种能够联合优化DNN划分、任务卸载和优先级感知调度的动态框架。
二、研究内容与结论
研究人员提出了一种队列感知的端-边-云协作DNN推理框架。在该框架中，每个SD托管一个深度强化学习（DRL）智能体，通过多智能体协作共同决定DNN划分点和合适的ES。ES根据实时队列状态动态调整任务优先级，并将接近截止时间的任务卸载至云服务器（CS）。研究将联合划分、卸载和调度问题建模为序贯决策过程，目标是最小化推理任务完成成本。实验结果表明，所提方案相较于无重定向的纯优先级排队模型，平均推理延迟降低了18.38%，能耗降低了26.86%。该工作的重要意义在于首次将队列状态信息、任务优先级和截止时间约束融入多智能体协作DNN推理框架，为大规模IIoT环境下的可靠推理提供了可行方案。
三、关键技术方法
研究人员采用了以下主要关键技术方法：
- 1.
优先级感知排队模型：在每个ES上建立基于优先级的任务队列，高优先级任务到达即被服务，低优先级任务则可能因等待而超时。
- 2.
队列状态信息（QSI）驱动的重定向机制：利用等待延迟的累积分布函数（CDF）估计低优先级任务错过截止时间的概率，当该风险超过阈值时将任务重定向至云服务器（CS）。
- 3.
基于多智能体近端策略优化（MAPPO）的决策算法：采用集中式训练与分布式执行（CTDE）范式，每个SD上的DRL智能体观察局部环境状态，通过策略比率裁剪机制稳定学习过程，实现DNN划分点和ES选择的联合优化。
四、研究结果
4.1 系统模型与问题公式化
研究人员将时间离散化为固定长度的时隙，每个时隙内每个SD生成一个包含数据大小、优先级和最大容忍延迟的推理任务。系统采用三层架构：SD层负责初始层计算和中间结果传输；ES层提供计算服务并维护优先级队列；CS层作为最终保障处理被重定向的任务。优化目标是在保证所有优先级队列稳定的前提下最小化长期平均任务完成成本。
4.2 MAPPO算法设计
在CTDE框架下，每个智能体的观测包括本地任务特征、信道状态、所选ES的队列长度等信息。全局评论家（critic）在训练阶段获取所有智能体的状态和动作，指导各智能体更新策略。动作空间由离散的划分点选择和连续的ES选择组成。奖励函数综合考虑延迟、能耗和截止时间违反惩罚。策略比率裁剪机制防止过大的策略更新，确保学习稳定性。
4.3 仿真实验
研究人员在三种经典DNN模型（VGG16、ResNet50和AlexNet）上进行了全面实验。对比基准包括：非重定向优先级排队、随机卸载、单智能体DRL等方法。结果显示：（1）所提MAPPO算法在所有DNN模型上均实现了最快的收敛速度和最高的收敛值；（2）QSI驱动的重定向机制有效降低了低优先级任务的截止时间违反率；（3）在任务到达率较高时，所提方案的优势更加明显，延迟降低达18.38%，能耗降低达26.86%。
4.4 消融实验
通过移除QSI重定向机制、替换为随机卸载等消融实验，验证了各组件的重要性。结果表明，联合优化划分和卸载比单独优化任一任务效果更好，而QSI重定向机制对低优先级任务的保护作用不可或缺。
五、讨论与结论
讨论部分指出，现有研究通常假设静态系统条件或忽略任务优先级差异，而本文提出的框架能够动态适应队列状态和负载波动。研究表明，将队列状态信息纳入决策过程对于保障异构优先级任务的可靠性至关重要。在结论部分，研究人员总结道：本文提出了一个队列感知的端-边-云协作DNN推理框架，通过优先级感知排队模型和QSI驱动的重定向机制解决了低优先级任务的过度延迟问题；在此基础上，设计了基于MAPPO的多智能体决策算法，实现了DNN划分和ES选择的联合优化；实验证明该方案在延迟和能耗方面均优于现有基线方法，适用于大规模、动态的IIoT环境。未来工作可考虑引入更复杂的任务依赖关系和移动性管理。
