车辆网络中基于强化学习的移动性及资源感知切换技术

《Physical Communication》：Reinforcement learning for mobility and resource aware handover in vehicular networks

　　

摘要

车辆网络需要持续且可靠的连接性，以支持那些对安全性要求高且对延迟敏感的应用。然而，车辆的快速移动、不断变化的无线条件以及动态的边缘资源状况，使得基站切换成为一个复杂的决策问题。传统的基于阈值的方法通常依赖于无线电测量，而在还需考虑移动环境以及目标基站资源状态时，这些方法的效率较低。因此，它们可能会导致不必要的基站切换、链路质量下降以及延迟增加。现有的基于学习机制以及考虑移动边缘计算因素的基站切换研究，从不同角度分析了无线质量、移动性和资源因素。不过，在目标基站选择过程中，能够同时展现移动环境、无线链路质量以及候选基站资源状态的集成式仿真评估仍然较为有限。本文提出了一种基于强化学习的基站切换调度器，该调度器在DriveNetSim中实现，能够综合考虑无线质量、移动环境以及基站资源状态来选择目标基站。该调度器通过接收信号强度指示值、距离、CPU利用率、内存利用率以及整体负载等信息构建跨领域状态表示，并通过多目标奖励函数来优化基站切换决策。在为这项研究专门开发的车辆通信仿真工具DriveNetSim中对所提出的调度器进行了测试，该仿真工具可用于模拟车辆的移动、无线信号传播以及基站的动态负载情况。实验结果表明，该算法能够实现近乎最优的基站切换效果，使信号强度的中位数提高2–8分贝，并且在存在车辆移动和干扰的情况下仍能保持稳定的信干噪比。此外，它还能将基站切换频率降低65%，选择的目标基站的CPU和内存利用率也更接近最优值。随着策略的不断优化，初期决策错误减少了90%以上，长期误差趋近于零，端到端延迟也降低了17%。这些结果表明，综合考虑移动性、无线质量以及候选基站的资源状况，可以提高动态车辆环境中的基站切换可靠性、稳定性与效率。

引言

车辆通信系统已成为下一代智能交通系统的关键组成部分，而在这类系统中，可靠的连接性对于实时感知、协调以及那些对安全性要求极高的自动驾驶车辆应用而言至关重要[1]、[2]。在这样的环境中，基站切换管理不再仅仅取决于无线信号质量，还必须考虑到车辆的快速移动以及目标基站的计算能力，因为通信的连续性与服务的可靠性都会同时受到影响[3]。与传统蜂窝网络不同，车辆网络面临着拓扑结构快速变化、信道条件高度动态以及小区频繁切换等问题，这使得做出高效的基站切换决策变得极为困难[4]、[5]。

传统的基站切换框架主要依赖基于信号阈值的方法（例如参考信号接收功率、信噪比、触发时间以及切换裕度等）[6]、[7]，这类方法适用于静态或低移动性的环境，但在高速车辆通信场景中效率较低[8]。虽然有一些考虑移动性的改进方案纳入了车速或停留时间等因素，但它们仍然依赖规则式的调整方式，因此在不同的交通状况和基础设施配置下难以实现良好的扩展性。正是这些局限性，促使人们需要开发出能够同时兼顾移动性、连接性以及计算资源的自适应且具备资源意识的基站切换策略[9]。

近年来，机器学习技术在自适应基站切换控制方面展现出巨大潜力。Q学习以及深度Q网络可以通过经验学习来动态调整决策[10]、[11]、[12]。然而，许多此类模型仍然以信号为核心，忽视了计算资源（如CPU利用率、内存可用性或边缘服务器的拥堵状况）以及移动环境因素。同样，演员-评论家架构虽然提升了系统的稳定性与学习效率，但往往仍仅限于优化无线相关指标[13]、[14]。

当前的主要问题在于，尚未出现一种能够同时优化无线、计算以及移动性因素的集成式学习框架。现有的框架只能分别处理这些不同方面的问题，要么为了保证连接性而导致资源过度负担，要么在任务迁移时未考虑实际的车辆移动情况。此外，固定的阈值方法无法适应非静态的环境，而黑盒式的强化学习模型则缺乏操作透明度[15]、[16]。因此，车辆基站切换系统必须通过学习一种能够平衡连接强度、计算负荷以及车辆移动情况的策略，从而打通这些不同的领域（见图1、图2）。

为了解决这些问题，本研究提出了一种强化学习调度器，该调度器能够同时优化无线信号质量、基站资源利用率以及车辆移动性。该调度器通过最大化一个多目标奖励函数来确定每种状态下的最佳目标基站，该奖励函数会综合考虑信号强度、负载均衡以及切换稳定性等因素。此外，还有一个混合安全机制，会利用RSSI阈值来检测那些不安全或可信度低的基站切换决策，从而在无需替代策略学习的前提下确保连接的稳定性。

本研究的主要贡献如下：

• 1)
  我们设计了一种强化学习基站切换调度器，用于优化车辆基站切换决策中的无线、资源以及移动性相关因素。该设计不依赖TTT和HOM之类的固定阈值，而是能够实现自适应的基站切换控制。
• 2)
  我们构建了一种跨领域的状态表示方法，通过标准化后的RSSI、CPU利用率、内存使用情况以及距离等指标来描述每个基站的特点，从而使调度器能够实时掌握与通信相关的信息以及计算方面的指标。
• 3)
  我们设计了一个多目标奖励模型，能够同时分析信号质量、负载均衡以及切换稳定性等因素。该奖励函数确保算法能够适应动态的车辆环境，从而实现稳定的连接以及高效的资源利用。
• 4)
  我们在DriveNetSim仿真工具的基础上专门为其扩展了一个用于本研究的新环境。该环境将车辆移动性、信号传播以及基站资源动态变化整合在同一个仿真框架中，便于研究人员和行业人士模拟车辆环境的真实运行情况。

本文的其余部分结构如下：第2节将回顾车辆网络中基站切换管理的相关文献以及行业背景；第3节介绍所提出的方法，包括网络拓扑结构、信号建模以及强化学习模型的构建方式；第4节详细说明实验设置、仿真配置以及评估参数，随后给出性能测试结果、对比分析以及重要观察结论；最后，第5节对全文进行总结，并指出未来研究的方向。

章节要点

文献综述

近年来，车辆网络中的基站切换管理领域出现了诸多新进展，这些进展融合了传统方法、移动性考虑因素、计算资源可用性以及学习技术等多种新兴技术[17]、[18]、[19]。本节将对不同类型的基站切换方法进行分类并进行分析：即传统基站切换方法、考虑移动性的方法、考虑资源状况的模型以及基于学习优化的方法。这些分类为深入理解车辆网络中的基站切换问题奠定了基础。

方法论

所提出的模型是一种基于演员-评论家架构的基站切换调度器，它在具有循环移动特性的车辆边缘网络上运行。该调度器能够结合道路感知定位功能、信号建模技术以及按需进行的基站选择功能。其详细结构如图1所示。本节将介绍嵌入在该仿真工具中的网络拓扑结构以及移动性模型，这两者共同用于模拟车辆的运动特性、基站的分布情况，以及在实际计算约束条件下的实时决策过程。相关的符号说明如下

评估方法

所提出的框架是借助DriveNetSim[53]仿真工具进行评估的，该仿真工具可用于模拟车辆的动态移动、无线信号的变化以及基站资源的状况，具体如图2所示。实验的目的是验证该调度器在降低基站切换延迟和决策遗憾的同时，能否确保连接的稳定性以及基站资源得到公平利用。该框架整合了车辆移动性、信号衰减以及智能化的基站切换管理功能。

结论与未来工作

本研究针对车辆网络中需要考虑移动性和资源状况的基站切换问题展开了研究，因为在这样的环境中，快速变化的无线条件以及动态的移动边缘计算资源会限制传统阈值方案的效能。我们提出了一种强化学习调度器，该调度器能够同时整合RSSI、移动性、CPU利用率、内存利用率以及整体负载等指标，并在专为这项研究开发的DriveNetSim仿真工具中实现了该调度器。实验结果表明，通过学习得到的策略与最优策略高度一致

代码获取方式

本研究所使用的完整DriveNetSim仿真工具、数据集、配置文件以及实验相关资料，均已通过DriveNetSim仓库[53]公开提供。

CRediT作者贡献说明

Afzal Badshah：撰写——审阅与编辑、撰写——初稿、方法论设计、概念构思。Tariq Alsahfi：撰写——审阅与编辑、验证工作、软件相关开发。Amira Turki：撰写——审阅与编辑、验证工作、相关调查分析。Amani Ibraheem：撰写——审阅与编辑、可视化处理、软件相关工作。Abdulrahman Ahmed Gharawi：撰写——审阅与编辑、资源相关研究、形式化分析。Ali Daud：撰写——审阅与编辑、项目管理工作。

利益冲突声明

作者们声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

Afzal Badshah|Tariq Alsahfi|Amira Turki|Amani Ibraheem|Abdulrahman Ahmed Gharawi|Ali Daud