基于混合深度强化学习的边缘协作网络加权成本最小化：工作负载迁移与资源分配策略

为解决5G异构网络中移动边缘计算(MEC)面临的多智能体协作效率低、传统深度强化学习(DRL)算法资源分配失效等难题，研究人员提出融合D3QN与DDPG的OMRA-DRL框架，结合K-Means聚类与专家混合系统(MoE)，实现工作负载迁移与资源分配的联合优化。实验表明该方案平均累积奖励提升15%，未完成率降低5%，为边缘协作网络提供创新解决方案。

　　

在5G与物联网技术爆发的时代，智能手机、无人机和可穿戴设备等无线移动终端(WMT)产生的海量数据，正让传统云计算面临资源调度僵化、回传延迟高的瓶颈。尽管移动边缘计算(MEC)通过将算力下沉到网络边缘缓解了这一问题，但多边缘服务器协同工作时，仍存在三大核心矛盾：多智能体DRL协作困难、边缘服务器决策效率低下、传统DDQN/DDPG算法难以适应动态环境。这些痛点导致VR/AR、在线游戏等实时应用常出现卡顿，AI驱动的智能终端也因资源分配不均而性能受限。

针对这一挑战，长春工程学院（Changchun Institute of Technology）联合吉林大学的研究团队在《Future Generation Computer Systems》发表创新成果。他们构建了无人机(UAV)辅助的多WMT-MEC服务器协作框架，提出名为OMRA-DRL的混合DRL方案。该研究通过K-Means聚类简化多目标优化，采用专家混合系统(MoE)提升决策效率，并创新性结合D3QN与DDPG算法：前者通过最大优势选择策略(MMSS-D3QN)优化服务器选择，后者专注资源分配。关键技术还包括考虑工作负载优先级差异的动态信道建模，以及基于优势函数的长期风险评估机制。

网络模型设计
研究构建包含6个移动终端和4个MEC服务器的测试场景，通过莱斯信道模拟UAV链路动态特性，将工作负载按计算密度、时延敏感度分为5类。

MoE系统实现
门控网络根据输入的工作负载集群特征，动态激活3个专家网络：D3QN专家处理高优先级任务，DDPG专家优化资源分配，混合专家协调迁移决策。

MMSS-D3QN创新
改进的D3QN算法引入优势函数评估，选择具有最大长期收益的MECS节点，使视频流类任务迁移准确率提升22%。

实验数据显示，在2000次训练周期后，OMRA-DRL的收敛速度比传统DDPG快1.8倍。与基准算法相比，其平均累积奖励达158.7分（提高15.3%），工作负载未完成率稳定在6.8%以下（降低5.2%）。特别在突发流量场景下，该方案通过动态带宽调整使系统吞吐量保持95%以上。

这项研究的突破性在于首次实现工作负载聚类-MoE决策-DRL优化的全链路协同。通过将复杂问题分解为"边缘协作选择"和"资源分配优化"两个子问题，不仅解决了多智能体DRL的"维度灾难"，还为6G时代的分布式智能计算提供了范式。研究者特别指出，MMSS-D3QN中基于优势函数的风险评估机制，可延伸应用于车联网V2X场景的紧急任务调度。未来通过引入联邦学习，有望进一步降低边缘节点的管理开销。