基于图神经网络和深度强化学习的车对车资源分配方法

《Physical Communication》：Graph Neural Network and Deep Reinforcement Learning Based Approach for V2V Resource Allocation

　　

• •
  构建了一种基于链接类型的稀疏动态图，该图能够明确区分异构V2V网络中的定向VLC干扰和全向RF干扰。
• •
  引入了基于SINR的自监督GNN预训练方法，将节点嵌入与物理层信道质量相结合，从而解决奖励信号稀疏的问题。
• •
  与基准方法相比，GNN-D3QN可使SINR提升6%–12%，延迟降低14%–31%，吞吐量提高25%–87%。

引言

随着智能交通系统（ITS）的快速发展，车辆互联网（IoV）作为其关键组成部分，利用车对一切（V2X）通信技术来实现异构网络实体之间的低延迟、高可靠性信息交换[1]、[2]。在密集的城市环境中，越来越多的连接式和自动驾驶车辆投入使用，这给底层通信基础设施带来了更大压力，而这些基础设施又直接关系到交通规划的目标，如减少拥堵、避免碰撞以及实现自适应交通管理[3]、[4]、[5]。传统的基于射频（RF）的车对车（V2V）通信在交通密集的情况下会面临严重的频谱资源匮乏和同频道干扰问题。相比之下，可见光通信（VLC）由于拥有丰富的未授权带宽且具有抗电磁干扰的能力，成为一种极具潜力的互补技术。因此，VLC/RF异构V2V通信能够充分利用这两种传输方式的优点，以满足安全关键的车辆应用所要求的严格服务质量标准[6]、[7]。

然而，在车辆环境中部署VLC还会面临一些实际挑战，除了基本的视距传播要求以及发射器和接收器之间必须保持精确的几何对准外，周围车辆或路边建筑物的物理遮挡也可能突然中断视距连接[8]。雾、雨、雪等恶劣天气条件会显著增加光信号衰减，从而缩短有效通信距离[9]。来自阳光和路灯的环境光干扰则会产生时变背景噪声，进一步降低信号质量[10]。此外，车辆的高移动性会导致链路几何结构频繁变化，使得LED发射器与光电二极管接收器之间难以保持对准，进而导致链路持续时间较短，给实时资源管理带来困难。所有这些因素共同作用，使得独立的VLC链路在现实的城市环境中不可靠，这也凸显出采用VLC/RF混合架构的必要性，即让这两种技术在动态条件下相互补充。

当多个V2V链路同时共享有限的通信资源时，由于干扰的存在，它们的信道选择和发射功率控制决策会相互关联，从而使联合优化问题变得属于非确定性多项式时间难题（NP-hard）。在VLC/RF车辆网络中，这种内在的关联性尤为明显[11]，因为定向VLC链路与全向RF干扰共存，从而产生不对称且取决于网络拓扑的干扰模式。由于深度强化学习（DRL）具有无模型特性，并且能够通过与环境交互不断学习有效的策略，因此已被广泛用于V2X通信系统的资源管理领域[12]、[13]、[14]。

在VLC/RF异构V2V场景中，资源分配通常涉及离散信道选择和发射功率级别控制的联合动作空间。多个智能体之间的强烈干扰耦合会加剧Q值估计的不确定性，导致传统的深度Q网络（DQN）算法在训练过程中出现Q值过高和策略波动的问题。为了解决这一问题，人们提出了双对抗深度Q网络（D3QN），它通过采用对抗结构来提升对结构化状态的表征能力，进而提高在离散联合动作空间中的决策稳定性[15]、[16]、[17]。不过，当车辆密度增加或网络拓扑频繁发生变化时，不同的干扰环境可能会对应极为相似的状态表征，这使得强化学习智能体难以区分关键的决策场景，从而导致学习行为不稳定，且策略的泛化能力有限。

图神经网络（GNNs）作为专为图结构数据设计的深度学习模型，为车辆网络中的资源分配提供了新的思路[18]。GNNs通过结合网络拓扑结构和邻居节点的信息，从不同类型的通信链路中提取特征[19]。与那些假设图结构固定的传统GNN模型不同，图采样聚合（GraphSAGE）采用归纳学习方法，通过学习通用的聚合函数而非针对特定节点的嵌入方式，这使得GraphSAGE能够自然地适应节点数量及其连接模式的动态变化，非常适合那些有新车辆不断加入和离开的网络环境[20]。

通过将GNNs与D3QN框架相结合，可以充分发挥结构建模和序列决策的优势。为此，本文提出了GNN-D3QN，这是一种用于VLC/RF异构V2V网络的分布式资源分配框架。该框架构建了一种基于链接类型的稀疏动态图，能够将VLC的定向约束和RF的全向干扰明确地编码到图拓扑结构中。同时，该框架还采用了具有自监督SINR预测功能的边权重感知型GraphSAGE模型，用于学习能够同时体现拓扑特征和物理层通信质量的节点嵌入。这些学到的嵌入信息会与本地观测数据一起作为输入传递给D3QN，从而在部分可观测条件下实现基于结构的联合信道选择和功率控制。本文的主要贡献如下：

（1）基于链接类型的稀疏动态图构建。与现有的全图模型或仅考虑距离的模型不同，本文提出的一种稀疏动态图能够明确区分受行驶方向和视野范围限制的定向VLC链路与全向RF链路。边的权重包含了传播路径损耗和链接类型系数，因此这种图表示方法首次实现了对VLC/RF异构V2V网络中定向不对称性和车辆移动性的同时捕捉，同时还保持了O(NK)的计算复杂度，便于在大规模环境中实现实时应用。

（2）将自监督SINR预测作为GNN的辅助任务。现有的GNN-DRL方法仅依赖稀疏的强化学习奖励信号来训练图特征提取器，从而导致得到的嵌入信息与物理层通信质量之间缺乏明确的关联。本文则将SINR预测作为一种自监督的辅助任务，在GNN预训练阶段加以运用，从而将节点嵌入直接与可测量的物理量联系起来。这一方法解决了端到端GNN-DRL训练中奖励信号稀疏的问题，所获得的嵌入信息在面对未知网络配置时依然具有良好的有效性。

（3）分布式GNN-D3QN协同优化框架。本文设计了一种分布式GNN-D3QN框架，通过将GNN嵌入信息与本地观测数据相结合，使每个智能体在部分可观测条件下也能具备全局拓扑感知能力。这样一来，就可以实现基于结构的联合信道选择和功率控制，从而在高密度、强干扰的车辆环境中显著提升SINR、传输速率和延迟性能，充分证明了该框架在下一代ITS应用中的实用性和适应性。

需要指出的是，本文主要研究的是VLC/RF异构V2V场景，而这正是更广泛的V2X生态系统中所存在的干扰最为严重、物理环境最为复杂的子问题之一，相关研究结果可为通信技术的优化提供借鉴。与车对基础设施（V2I）和车对行人（V2P）通信不同，V2V通信涉及的点对点拓扑结构变化极为迅速，而且定向VLC链路与全向RF链路的共存还会产生不对称的干扰模式，而传统的平面状态表示方法以及现有的基于GNN的方法都无法准确捕捉这些特征。此外，GNN-D3QN不仅能够实现对基于链接类型的异构干扰进行建模，还能解决该场景下GNN预训练过程中奖励信号稀疏的问题。本文提出的基于链接类型的图构建方法和自监督GNN预训练策略，为解决涉及V2I和V2P的更广泛V2X场景中的通信资源优化问题提供了一种极具前景的架构框架。

本文的其余部分结构如下：第2节回顾相关研究，第3节介绍系统模型，第4节阐述用于资源分配的GNN-D3QN方法。该方法利用改进后的GraphSAGE模型，从基于车辆的本地观测数据中提取包含全局信息的低维特征，然后再将这些特征与D3QN模型相结合，共同解决资源分配问题。第5节给出仿真结果及性能分析。最后，第6节对全文进行总结。

章节摘要

相关研究

本章围绕三个主题对现有文献进行了综述：（1）基于深度强化学习的V2X资源分配方法；（2）以动态图模型为特色的基于GNN的资源分配方法；（3）车辆网络中的多模态和异构通信方法。通过这些综述，指出了现有方法存在的关键局限性，这些局限性也正是推动GNN-D3QN方法诞生的原因。

系统模型

本文通过一种基于仿真的方法来解决VLC/RF异构V2V网络中的联合信道选择和功率控制问题，该仿真方法包括四个阶段：（1）基于物理原理的异构信道建模，其中考虑了VLC的光学传播特性、大气衰减以及RF的路径损耗，以此生成真实的SINR观测值和奖励信号；（2）在部分可观测条件下对资源分配问题进行概率马尔可夫决策过程（POMDP）建模，以反映系统的分布式特性

用于资源分配问题的GNN-D3QN方法

本章介绍了所提出的用于VLC/RF异构车辆网络中联合信道选择和功率控制的GNN-D3QN框架。

仿真结果与分析

本章通过系统的仿真实验来验证所提出的GNN-D3QN资源分配方法的性能，重点评估其在动态拓扑、强干扰以及VLC/RF异构V2V场景下的表现。通过与多种其他算法的比较，全面展示了该方法在处理异构VLC/RF V2V资源分配问题方面的优势。

结论

本文提出了一种基于图神经网络和深度强化学习整合的车辆网络资源分配框架，即GNN-D3QN。通过引入带边权重的GraphSAGE模型，可以将车辆间的通信关系建模为一种稀疏加权动态图，借此将复杂的全球拓扑结构以及各链路之间的干扰耦合关系转化为低维的、具备结构感知能力的特征表示，随后再利用这些特征表示

CRediT作者贡献说明

尹荣荣：概念构思。杨宇：初稿撰写。秦浩：概念构思。史海东：概念构思。张晓伟：概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

尹荣荣|杨宇|秦浩|史海东|张晓伟