FR-GAT-SAC：基于频率关系感知的图注意力柔性演员-评论家方法，用于抗干扰资源分配

《Computer Networks》：FR-GAT-SAC: Frequency-relation-aware graph attention soft actor-critic for anti-jamming resource allocation

　　•频率信道被建模为图节点以进行抗干扰分配。
•类型化的频率关系边用于刻画异构信道耦合。
•顺序条件动作生成器降低了联合动作输出复杂度。
•FR-GAT-SAC在三种信道规模下提升了奖励与SINR满意度。

引言

在恶意且时变的干扰环境下，可靠的资源分配对于无线通信系统至关重要[1]。动态频谱接入长期以来被认为是通过允许通信系统根据观测到的频谱状况调整其工作信道来提高频谱利用率的重要机制[2]。在现有的抗干扰机制中，跳频（FH）通过动态切换工作信道来避开受干扰的频谱区域，并维持通信可靠性。干扰技术已从预定义模式（如扫频式干扰和部分频带干扰）演变为基于感知的跟随式干扰和反应式干扰，并进一步发展为涉及学习或策略协调的智能/自适应策略。跟随式干扰机跟踪观测到的信道使用情况，而反应式干扰机在检测到通信活动时发起干扰。具体而言，Wang等人[3]利用深度学习识别用户的频谱接入模式，并指导针对性干扰策略（包括基于强化学习的攻击），并在软件无线电平台上进行了实验验证。Zhang和Wu[4]通过构建一个领导者-多跟随者Stackelberg博弈，并在多个干扰机之间协调频率和功率分配，研究了针对基于DRL的跳频通信的协同干扰。这些研究强调了在设计和评估抗干扰资源分配策略时考虑干扰机对通信行为响应能力的重要性。由此产生的非平稳信道条件使得传统的抗干扰方案难以维持稳定的通信性能[5]，[6]。

强化学习（RL）已成为自适应抗干扰决策的一种有前景的方法，因为智能体可以在没有完全先验了解干扰机的情况下，通过与环境的交互来学习资源分配策略[7]，[8]。早期研究采用Q-learning根据观测到的奖励来选择通信信道[9]。深度Q网络（DQN）和双DQN方法随后使用神经网络在更大的状态空间中逼近动作价值函数[10]，[11]。策略梯度和演员-评论家方法为涉及多个耦合决策的无线资源分配提供了额外的灵活性。近端策略优化（PPO）通过约束策略更新来提高训练稳定性[12]，而软演员-评论家（SAC）通过熵正则化策略学习促进探索[13]，[14]。近期研究进一步将可扩展策略优化和图辅助强化学习应用于动态频谱接入和认知无线电资源管理[15]，[16]。这些发展展示了RL在动态抗干扰资源分配中的潜力，尽管其性能仍然很大程度上依赖于频谱状态和信道关系的表示。

然而，大多数现有的基于RL的抗干扰和动态频谱接入方法将频谱观测编码为展平的特征向量，并将频率信道视为独立的动作候选[17]，[18]，[19]，[20]。这种表示丢弃了频率信道之间的结构化依赖，因此在复杂干扰下可能提供不充分的信息。在实际宽带抗干扰场景中，干扰或压制可能占据连续的频率区域，而非独立地影响孤立的信道[1]，[21]。因此，相邻信道可能经历相关的干扰状况，且它们在频谱中的相对位置提供了有用的区域上下文。在实用通信系统中，类似的连续频域资源分组也被采用，例如3GPP NR中的带宽部分和CSI子带[22]，[23]。因此，为了在保留信道级决策粒度的同时保留这种频域结构，可用信道被划分为若干预定义的不重叠连续频率区域。例如，相邻信道可能同时受到频谱泄漏的影响，而同一频带内的信道可能表现出相似的干扰变化。不同频带中相应位置的信道也可能对扫频或周期性干扰表现出相关响应。基于多层感知器（MLP）的编码器无法显式保留这些关系结构。卷积神经网络（CNN）可以捕捉规则网格上的局部模式，但不能自然地表示异构或非局部信道关系[24]。相比之下，图神经网络（GNN）为从图结构观测中学习提供了灵活的框架[25]，[26]。图信号处理进一步表明，可以利用图支撑信号的底层拓扑来处理这些信号[27]，[28]。这些特性使基于图的表示非常适合对动态干扰环境中频率信道之间的结构化依赖进行建模。

GNN和图注意力网络（GAT）在无线通信中受到越来越多的关注，因为许多无线系统自然地表现出图结构化特征[29]，[30]。在这些模型中，用户、基站、车辆或通信链路可以建模为图节点，而边表示空间邻近性、干扰关系、资源冲突或通信链路。GAT通过为相邻节点分配自适应注意力权重进一步改进了图表示[31]。例如，GAT已被用于加强多智能体资源管理中基站之间的协作[32]，在车载网络中提取车对车链路之间的干扰相关特征[33]，在海上物联网系统中建模异构时序结构[34]，以及在无人机辅助抗干扰设备到设备网络中处理高维混合动作空间[35]。这些研究表明，图注意力机制可以通过捕捉无线环境中的结构化依赖来改进基于RL的决策。

然而，现有的基于图的无线资源分配方法主要围绕用户、链路、基站或车辆等通信实体构建图。频率信道本身通常仍被视为独立的资源索引，而非具有物理频域关系的图节点。尽管相关研究探索了用于频率分配的图着色[36]、基于GNN的信道和功率分配[37]以及基于图的频谱分配[38]，但它们的侧重点与动态干扰下的跳频抗干扰不同。此外，传统GAT模型通常将所有图边视为同质连接[31]，这不足以区分不同的频域耦合机制。关系感知和异构图神经网络已表明，不同的边类型或语义关系可以携带不同的结构信息[39]，[40]。因此，有效的跳频抗干扰策略不仅应将频率信道建模为图节点，还应区分相邻频率、频带内邻近和跨频带相同偏移关系。

另一个挑战来自信道选择、功率控制和传输速率的联合优化。类似的资源分配高维问题已在无人机辅助网络中研究过，其中用户关联、轨迹设计和功率控制被联合优化为混合整数非线性规划（MINLP）问题[41]。在考虑的跳频系统中，发射机在每个时隙选择一个信道、一个功率电平和一个速率电平。由此产生的问题也可以视为MINLP问题，因为它涉及离散动作变量和非线性SINR相关传输约束。在频率选择性无线系统中，鲁棒波形和通信设计通常需要在不确定性下平衡可靠性、速率和功率相关性能[42]。然而，直接输出所有信道-功率-速率组合上的分类分布随着信道数量的增加而变得低效。因此，需要一种可扩展的动作生成机制来降低演员输出复杂度，同时保留信道、速率和功率决策之间的条件依赖。

为解决上述挑战，本文提出了一种频率关系感知图注意力离散SAC框架，称为FR-GAT-SAC，用于跳频抗干扰中的联合信道选择、功率控制和速率自适应。所提出的框架首先将频率信道建模为图节点，并构建多种类型的频率关系边以刻画结构化的频域耦合。然后，关系感知GAT编码器将节点观测特征和可学习的边类型嵌入纳入注意力计算，从而提取拓扑增强的信道表示。基于这些表示，引入顺序条件动作生成策略，依次确定信道、速率和功率，降低演员输出复杂度，同时保留它们的条件依赖。本文的主要贡献总结如下：

1. 提出了一种用于抗干扰资源分配的频率关系图表示。联合信道-功率-速率优化可以视为混合整数非线性规划（MINLP）问题，因为它涉及离散动作变量和非线性SINR相关传输约束。与将频率信道视为独立离散动作的传统强化学习方法不同，所提方法将频率信道建模为图节点，并显式构建频域关系边以刻画信道之间的结构化相关性。

2. 设计了一种用于频域干扰建模的关系感知图注意力编码器。通过将可学习的边类型嵌入纳入注意力计算，所提编码器能够区分不同的物理频率关系，并提取拓扑增强的频谱状态特征。

3. 提出了一种顺序条件动作生成策略，以缓解联合动作空间的维度问题。基于共享FR-GAT编码器提取的状态表示，三个条件动作头依次生成信道、速率和功率决策。具体而言，首先选择信道，然后根据所选信道确定传输速率，最后根据所选信道和速率确定发射功率。这种设计将演员输出复杂度从O(NcNpNv)降低到O(Nc+Nv+Np)，同时保留信道、速率和功率决策之间的条件依赖。

4. 通过将频率关系感知图注意力编码器、顺序条件动作生成策略和离散SAC相结合，开发了FR-GAT-SAC框架。在三个独立训练种子下，最后50个回合的统计显示，在64、144和256信道场景中，FR-GAT-SAC的平均SINR满意度比GAT-SAC分别提高了3.54、4.51和3.98个百分点。此外，与平坦联合动作输出层相比，顺序条件演员在三种信道规模下将动作输出阶段的FLOPs分别降低了约96.38%、96.72%和96.84%。

本文的其余部分组织如下。第2节介绍系统模型和代表性干扰模型。第3节将抗干扰跳频决策问题形式化为马尔可夫决策过程（MDP），包括状态、动作和奖励设计。第4节介绍所提出的FR-GAT-SAC框架，包括离散SAC算法、关系感知图注意力编码器和顺序条件动作生成策略。第5节报告仿真结果，并分析不同信道规模下的奖励收敛、SINR满意度、功率-速率权衡和消融结果。第6节总结本文。

章节片段

系统模型

在本节中，我们首先介绍所考虑的跳频通信系统，然后建立典型的干扰模型。

问题形式化

根据第2节描述的信道级感知模型，接收机获得所有可用信道上的干扰状态向量mt和信道质量指示（CQI）向量qt。抗干扰跳频决策问题被形式化为一个MDP，由五元组(S,A,P,R,γ)表示，其中S表示状态空间，A表示动作空间，P表示状态转移概率，R表示奖励函数，γ表示折扣因子。强化学习的目标是……（原文中断）

提出的FR-GAT-SAC框架

为了利用频率信道之间的结构关系，本文提出了一种频率关系感知图注意力离散SAC框架，称为FR-GAT-SAC。该框架主要由三个组件组成：一个离散SAC智能体、一个关系感知图注意力编码器和一个顺序条件动作生成模块。

实验

在本节中，给出仿真结果以评估所提出的FR-GAT-SAC框架在拓扑感知跳频抗干扰系统中用于联合信道选择、功率控制和速率自适应的性能。除非另有说明，主要仿真参数总结在表1中。在所提出的框架中，频率信道被建模为图节点，动作空间由信道索引、离散发射功率电平和离散传输速率组成……（原文中断）

结论与未来工作

本文提出了FR-GAT-SAC，用于跳频抗干扰通信中的联合信道选择、功率控制和速率自适应。所提方法将频率信道建模为图节点，并采用关系感知图注意力来捕捉结构化的频域依赖。顺序条件演员进一步按顺序生成信道、速率和功率决策，将演员输出复杂度从O(NcNpNv)降低到O(Nc+Nv+Np)。在……下的仿真结果……（原文中断）

CRediT作者贡献声明

Siming Pang：初稿撰写、方法学、概念化。Xianhua Niu：审阅与编辑、资金资助。Shiyang Zhou：审阅与编辑。Boran Yang：软件、调查。Houwen Liu：软件、调查。Jianhong Zhao：软件、调查。

未引用参考文献

[45]，[46]

利益冲突声明

作者声明，他们不知道可能影响本论文所报告工作的已知竞争性经济利益或个人关系。

致谢

本工作部分受四川省先进密码学与系统安全重点实验室开放基金（批准号：SKLACSS-202603）资助，部分受国家自然科学基金（批准号：62171387）资助。

Siming Pang于2024年在中国四川大学锦城学院获得软件工程学士学位。目前在西华大学攻读计算机科学与技术硕士学位。他的研究兴趣包括用于通信的机器学习、抗干扰跳频技术和通信系统中的资源分配。

Siming Pang | Xianhua Niu | Shiyang Zhou | Boran Yang | Houwen Liu | Jianhong Zhao