基于进化强化学习策略的物联网计算资源新型协作分配方法

《Future Generation Computer Systems》：New collaborative allocation method of computing resources for the Internet of Vehicles based on evolutionary reinforcement learning strategy

　　崔莉|张杰|张德刚|张婷|杜瑞豪|鲍传鹏|姜星茹
天津工业大学智能计算与新型软件技术重点实验室，天津，300384，中国

**摘要**
移动边缘计算（MEC）是一种将计算、存储等能力部署到网络边缘的范式。通过减少数据传输延迟和网络负载，它为车辆互联网（IoV）应用中的高可靠性和超低延迟服务提供了关键支持。然而，在理想的静态环境中，人们可能期望边缘服务器预先加载所有可能的服务程序，但实际限制（如有限的缓存容量和计算资源）以及车辆场景的高度动态性，使得服务缓存和资源分配变得特别具有挑战性。为了解决这些问题，本文提出了一种动态的缓存感知资源分配方案。该方法通过联合优化不同优先级任务的效用函数和服务缓存命中率，在边缘服务器之间实现缓存资源的动态平衡。在此基础上，设计了一种基于进化强化学习的算法——具有双尺度状态表示和策略表示的进化强化学习（ERL-Re2），以有效管理计算资源，从而提高IoV系统的整体执行效率。仿真结果表明，与现有的基线算法（如DDPG或传统的强化学习方法A2C）相比，所提出的方案将平均系统能耗降低了13.14%，并将平均任务完成延迟缩短了11.9%，同时在高度动态的环境中保持85%以上的缓存命中率。这验证了其在复杂车辆网络场景中的有效性和优越性。

**引言**
车辆互联网（IoV）是构建未来智能交通系统的核心信息和通信技术[1]。利用车对一切（V2X）通信，它实现了车辆与其周围环境（包括其他车辆、路边基础设施、行人和云）之间的实时和可靠的数据交换[2]。然而，实现这些功能需要大量的计算能力，而传统的云计算模型无法满足这一需求，因此引入了MEC[3]。通过在网络边缘（例如，在基站、路边单元（RSU）内部或附近）部署计算和存储资源，MEC为IoV应用提供了附近的处理能力[4]。这反过来提出了一个关键的研究挑战：如何高效、公平和智能地分配这些分布式且有限的边缘资源，以应对车辆环境的高度动态性[5]。
在IoV和MEC的集成场景中，资源分配问题成为制约整体系统性能的核心瓶颈[6]。传统的静态或集中式资源分配机制由于无法适应车辆网络环境的高度动态性，在实际应用中大多不够适用[7]。具体来说，车辆的高移动性导致与边缘服务器的连接时间短暂以及信号质量的显著波动[8]。此外，任务到达的随机性（例如，突发性的感知和计算任务）以及网络状态的时间变化性使得资源需求难以预测[9]。因此，迫切需要一种能够实时感知环境状态（例如，信道条件、服务器负载、任务队列）并实现快速响应和动态调整的计算和通信资源分配机制[10]。
近年来，深度强化学习（DRL）已被广泛应用于解决IoV背景下的任务卸载和资源分配问题[11]。通过与环境的交互，DRL学习到最优策略以实现自适应资源分配。传统的DRL方法（如DDPG和DQN）依赖于稳定的梯度下降[12]。然而，在IoV场景中，车辆的高移动性导致网络拓扑发生剧烈变化，这通常会导致传统DRL方法的收敛缓慢甚至不收敛，使它们无法应对瞬态环境条件[13]。此外，单一的强化学习算法在复杂的资源分配空间中的探索能力有限，容易陷入局部最优解。因此，在缓存容量受限的情况下，它们往往无法识别全局最优配置。另一方面，大量关于IoV和MEC的研究通常简化地假设计算任务直接卸载到边缘节点，忽略了任务执行所需的服务程序是否已经缓存在这些节点上的关键前提[14]。这种简化与现实世界的部署环境大相径庭。实际上，许多计算任务依赖于特定的服务程序来执行，而且边缘节点的存储资源也是有限的，这意味着并非所有服务程序都可以预先缓存[15]。为了解决上述挑战，本文提出了一种基于进化强化学习（ERL）的资源分配算法ERL-Re2，并采用0-1背包缓存策略来解决边缘节点中的服务程序缓存问题。本工作的主要贡献如下：
1. 与现有的MEC-IoV研究不同，这些研究通常假设边缘节点能够直接执行所有计算任务，本文明确考虑了任务执行对特定服务程序的依赖性。所提出的模型全面考虑了与每个服务程序相关的任务的流行度和优先级，并利用这些指标作为评估缓存价值的基础。随后，将服务缓存问题表述为一个0-1背包问题，旨在在有限的存储资源约束下得出最优缓存策略。
2. 为了解决车辆网络应用中不同任务的延迟敏感性差异，本文引入了一种任务优先级机制并设计了差异化的效用函数。对于高优先级任务，严格限制任务完成延迟；对于低优先级任务，允许一定的延迟，从而在确保关键任务性能的同时提高整体系统资源利用率。
3. 本文提出了一种基于ERL-Re2的资源分配算法。通过利用进化计算的全局探索能力，该算法有效补偿了传统强化学习在动态拓扑环境中表现出的显著性能波动。因此，它可以适应各种不确定性，如变化的网络拓扑、信道质量波动以及由高速车辆移动引起的随机任务到达，从而实现计算资源的协调动态调度和智能卸载决策。

本文的其余部分组织如下：第2节回顾了与MEC和IoV集成相关的现有研究。第3节详细阐述了所提出的IoV系统架构，包括计算和通信模型，并随后制定了系统的最终优化目标。第4节介绍了基于ERL-Re2和0-1背包缓存策略的资源分配算法。第5节通过仿真评估了所提算法的性能，并与各种基线算法进行了比较。最后，第6节总结了本文并讨论了潜在的未来研究方向。

**相关工作**
IoV场景中的资源分配问题是一个高度复杂和具有挑战性的研究领域。其核心在于协作管理和智能调度动态的、异构的、稀缺的边缘资源，以满足车辆应用的严格性能要求[16]。目前，关于IoV环境中资源分配的研究主要沿着两种代表性的算法方法发展[17]。第一类包括...

**系统模型和问题描述**
在IoV中，存在一些场景，其中车辆生成的任务与特定的应用服务密切相关，需要RSU上具备相应的服务才能有效执行任务。例如，处理实时更新的地图数据或与交通管理系统交互的任务要求RSU具有相关的服务接口和数据处理能力。本节通过提出一个系统模型来应对上述场景...

**0-1背包缓存策略和基于进化强化学习的资源分配算法**
在本节中，针对上述IoV场景，我们首先将优化问题表述为一个马尔可夫决策过程（MDP），提出了一种基于0-1背包的缓存策略来解决RSU内的服务缓存放置问题，随后引入了ERL-Re2算法来确定最优的任务卸载和资源分配策略。该算法通过共享状态表示促进高效的知识共享，通过...

**实验测试和结果分析**
在本节中，我们选择了五种现有的代表性算法作为与所提出的ERL-Re2资源分配策略进行比较实验的基线方法。这些算法包括基于A2C的协作服务缓存和任务卸载（ACSCTO）、改进的软演员-评论家（ISAC）、深度确定性策略梯度（DDPG）、优势演员-评论家（A2C）和遗传算法（GA）。每种基线算法的具体配置如下：...

**结论**
在本文中，我们通过联合优化服务缓存和资源分配问题，实现了对动态车辆网络环境的高效适应。所提出的方案不仅通过基于背包问题的缓存决策优化了边缘节点的存储资源利用率，还通过先进的进化强化学习算法实现了计算资源的精确分配。比较仿真实验表明，所提出的方案...

**作者贡献声明**
崔莉：撰写——原始草稿、验证、软件、方法论、调查、数据整理、概念化。
张杰：可视化、资源、项目管理、形式分析、概念化。
张德刚：撰写——审阅与编辑、监督、资源、方法论、资金获取、形式分析。
张婷：撰写——审阅与编辑、资源、方法论、调查、资金获取。
杜瑞豪：可视化、验证、软件、数据整理。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究工作得到了天津市自然科学基金重点项目的支持（项目编号25JCZDJC00420，编号18JCZDJC96800）。