FB-AII：基于反馈的自适应有意干扰技术在NextG开放无线接入网络中的应用

《Computer Networks》：FB-AII: Feedback-Based Adaptive Intentional Interference in NextG Open Radio Access Networks

　　安德鲁·阿什唐|弗朗切斯科·雷斯塔乌奇亚
中国东北大学无线物联网研究所

**摘要**
开放RAN（Open RAN）的兴起正在重塑蜂窝网络格局，使得前所未有的NextG应用成为可能。不幸的是，开放RAN网络中存在诸多漏洞，这些漏洞可能被利用来降低用户设备（UE）的性能。其中，干扰特定目标UE的干扰行为尤为有害，因为它们具有隐蔽性，并且已被证明能够完全消除目标UE的上行数据吞吐量。尽管现有的攻击方法取得了一定的成功，但仍存在一些重要问题：1）干扰者无法实际判断其攻击是否成功，因为它无法获取目标UE的吞吐量信息；2）完全消除目标UE的上行吞吐量（正如现有文献中所描述的那样）可能是不必要的，而且很可能会导致干扰者被检测到。在这项工作中，我们提出了一种隐蔽的干扰技术，该技术利用来自目标UE（或一组目标UE）的反馈来估计目标UE的吞吐量，并动态调整干扰强度。这使得干扰者能够将目标UE的吞吐量降低到所需的水平。此外，我们将攻击范围从单个目标UE扩展到一组目标UE，并提出了两种生成干扰信号的独特方法，使我们的方法比现有方法更加复杂。我们使用OpenAirInterface实现了这一方法的原型，并通过东北大学的Colosseum测试平台以及仿真验证了其性能，发现我们能够将一组目标UE的吞吐量降低到比基线低77.2%的水平，同时平均传输功率仅减少了78.8%。因此，我们的干扰方法凸显了在开放RAN网络中加强安全措施的必要性。

**1. 引言**
随着开放无线接入网络（Open Radio Access Network, RAN）范式的广泛应用，5G的部署正在全球范围内彻底改变蜂窝网络格局。公路安全研究所估计，到2030年美国可能会有450万辆自动驾驶汽车[1]，其中许多汽车将依赖于NextG技术。另一项研究预测，到2027年，全球5G智能手机的出货量将超过10亿部[2]。鉴于这些发展趋势，迫切需要了解5G/开放RAN的攻击面，以防范潜在的干扰威胁。最有害的攻击策略之一是智能干扰攻击，这类攻击通常通过干扰网络中的较小部分带宽来破坏整个网络。然而，最近出现了针对特定5G用户设备（UE）的更隐蔽的攻击方式。最近的研究开发了一种针对指定目标UE的物理上行调度信道（Physical Uplink Scheduling Channel, PUSCH）的新攻击方法，证明攻击者能够解码目标UE的下行控制信息（Downlink Control Information, DCI），确定其分配的PUSCH资源，并通过精心设计的干扰传输完全消除目标UE的上行数据通信，这些干扰仅影响分配给该目标UE的物理资源块（Physical Resource Blocks, PRBs）。这种技术的好处是可以在不影响网络其他部分的情况下破坏特定UE的通信；因此具有更高的隐蔽性。虽然这种方法可以有效降低目标UE的PUSCH吞吐量，但它并不是最隐蔽的方式，因为它会将UE的上行吞吐量降低100%，而这可能并非攻击成功所必需的（例如，对于某些应用来说，降低75%的吞吐量就足够了），并且会增加被检测到的风险。此外，现有方法的一个主要弱点是干扰者无法了解其对目标UE吞吐量降低的程度[4],[5]。这意味着干扰者无法监控其干扰策略的成功与否。不幸的是，敌对实体必然会试图开发出最隐蔽且有效的干扰技术，以避免被检测到，同时造成显著的性能下降。因此，研究人员首先需要开发此类攻击方法，以更好地理解NextG和开放RAN架构中的漏洞，从而创建更强大的防御机制（见图1）。

基于这一前提，我们开发了一种基于反馈的自适应有意干扰（Feedback-Based Adaptive Intentional Interference, FB-AII）技术，该技术不仅会干扰目标UE的PUSCH性能，还利用gNodeB（gNB）发送给目标UE的DCI消息作为反馈，以估计目标UE的吞吐量性能并相应地调整干扰策略。因此，我们的FB-AII技术比现有方法具有更高的灵活性和隐蔽性，更难以被检测到。此外，该技术允许干扰者灵活设置目标UE应降低的吞吐量水平（例如，干扰者可能希望将目标UE的性能降低到其原始值的45%）。

**下载：**
- 下载高分辨率图片（536KB）
- 下载全尺寸图片

**图1. FB-AII设备的工作流程：**
(1) 与gNB同步；
(2) 去匿名化/解码网络中活跃UE的RNTI（Radio Network Temporary Identifier）；
(3) 选择一组活跃UE的RNTI值作为“目标UE RNTI值”；
(4) 为每个目标UE设定目标吞吐量；
(5) 解码每个目标UE的DCI；
(6) 确定分配给每个目标UE的PRB；
(7) 发送干扰信号；
(8) 解码下一轮目标UE的DCI消息；
(9) 根据之前的传输估计目标UE的吞吐量。
步骤9之后，干扰者无限重复步骤6-9。网络中的非目标UE不会受到FB-AII设备引入的故意干扰的影响。

**主要贡献：**
- 我们提出了一种利用DCI消息中的信息准确估计目标UE吞吐量的方法，这将成为FB-AII方法的反馈基础。
- 我们开发了一种有意PUSCH干扰设备，该设备利用来自目标UE的吞吐量反馈实时调整其干扰策略。
- 我们提出了单目标基于反馈的自适应有意干扰（Single Target Feedback-Based Adaptive Intentional Interference, ST-FB-AII）方案，将单个目标UE的吞吐量降低到所需值，并使用OpenAirInterface（OAI）实现了该设备的原型。我们使用东北大学的Colosseum测试平台评估了ST-FB-AII的性能，并证明了其相对于现有技术的优越性[4],[5]。
- 我们提出了多目标基于反馈的自适应有意干扰（Multi Target Feedback-Based Adaptive Intentional Interference, MT-FB-AII）优化问题（OP），在一组目标UE上实现相应的吞吐量降低，并受到最大干扰传输功率的限制。我们提供了证明MT-FB-AII OP NP难度的正式证明。
- 我们提出了两种解决MT-FB-AII问题的方法：强化学习（Reinforcement Learning, RL）公式化和启发式方法，并开发了一个基于Python的蜂窝干扰仿真环境来训练和测试我们的MT-FB-AII解决方案。结果表明，MT-FB-AII可以将目标UE的吞吐量降低到比随机干扰者更接近目标值77.2%的水平，同时平均传输功率仅减少78.8%。

**其余内容结构如下：**
第2节概述了相关工作；第3节提供了关于5G网络物理层漏洞的背景信息；第4节阐述了基于DCI的吞吐量估计机制以及ST-FB-AII和MT-FB-AII问题；第5节描述了FB-AII设备的实现和评估结果；第6节提出了一种保护5G网络免受此类干扰破坏的潜在防御机制；第7节总结了我们的工作。

**附加说明：**
所有相关缩写和符号的总结可以在附录中找到。

**2. 相关工作**
最近有关于5G架构物理层漏洞的研究已经发表[6],[7],[8]。这些研究指出了5G生态系统中的许多漏洞，我们将在第3节对此进行简要评论。此外，还有多种干扰检测工作旨在通过指示设备性能的反馈量或其他手段来检测或分类干扰[8],[9],[10]。Shashank等人[9]使用5G关键性能指标（KPIs）来检测干扰，但他们没有像我们这样从这些指标计算估计吞吐量，因为他们假设干扰检测器可以查询gNB，从而获得更多KPI（这是有意干扰者无法做到的），并且他们显然没有使用反馈来创建自适应干扰设备，因为他们主要关注干扰检测。在[11],[12]中，作者在[13]的基础上进行了扩展（该研究展示了使用某种形式的干扰效果反馈进行动态干扰调整的有效性——需要注意的是，虽然他们提到了吞吐量作为潜在的反馈指标，但他们没有展示干扰者如何在蜂窝网络环境中实际获取这些信息），他们使用来自目标UE的ACK/NACK/块错误率（BLER）信息作为RL代理的干扰奖励指标；然而，他们没有使用任何额外的反馈信息来估计目标UE的吞吐量，也没有通过硬件实验验证他们的方法。此外，使用BLER作为反馈指标可能并不理想，因为在干扰存在的情况下，目标UE的调制和编码方案（MCS）可能会降低以提高鲁棒性并减少BLER[11]；因此，干扰者可能无法观察到目标UE的BLER有显著变化。相反，这种MCS的降低实际上会降低目标UE的吞吐量。因此，可以说，仅使用BLER作为干扰反馈指标可能无法完全反映对目标UE造成的损害程度——需要吞吐量反馈。最后，在[14]中，作者在WiFi有意干扰场景中使用了吞吐量作为反馈指标，但他们没有讨论蜂窝网络，也没有展示干扰者如何在现实世界环境中实际获取这些信息。

此外，我们尚未看到任何允许干扰者部分降低目标UE性能的有意干扰研究。当然，有人可能会认为，如果目标UE可以被完全破坏（如现有方法所示），那么也可以部分破坏它；然而，我们没有看到明确探讨这一想法的研究。与我们的方法类似的是Flores等人的工作[4]。他们提出了一种去匿名化技术，用于识别网络中活跃的RNTI值并破坏通过RNTI标识的目标UE。类似的技术也适用于LTE网络，作者研究了随着干扰信号强度增加的影响；正如预期的那样，干扰信号强度越高，效果越显著[5]。这两项工作都展示了通过解码目标UE的DCI、识别其分配的PRB并在这些资源上发送信号来有效破坏目标UE的PUSCH。虽然这些工作成功证明了针对目标UE的PUSCH的智能干扰攻击的可行性，但它们没有探索使用目标UE反馈来动态调整干扰强度的方法。此外，我们检查的任何蜂窝网络有意干扰研究都没有尝试将一组目标UE降低到包含每个目标UE的独特目标吞吐量的相应水平；这是一个更为复杂和具有挑战性的干扰场景。因此，我们在本工作中探索了这些方向，旨在理解和应对最隐蔽和最具破坏性的有意干扰技术。

**3. 5G物理层漏洞**
在本节中，我们将简要介绍5G物理层架构中的一些最显著的漏洞。关于这个主题的更全面的研究可以在最近的调查中找到，但这里的讨论仅代表了它们所提供信息的概览 [6]、[7]、[15]。

3.1. PRACH - 物理随机接入信道
物理随机接入信道（PRACH）主要用于特定用户设备（UE）尝试连接到5G网络时。在连接到服务gNB之前，UE和gNB会交换一个四步消息序列，该序列包含了随机接入过程。如果其中一个或多个消息无法接收，UE将无法连接到网络和服务gNB。因此，针对PRACH的干扰策略通常旨在延迟或阻止一个或多个UE连接到服务gNB。Arjoune等人认为，由于随机接入信号在网络带宽中的位置多种多样，对PRACH的攻击具有很高的复杂性 [6]。然而，他们也承认，在某些情况下，这样的干扰策略是可能的，甚至可能是有效的。

3.2. PBCH - 物理广播信道
物理广播信道（PBCH）在UE和服务gNB之间传输广播信息。与PRACH类似，PBCH也是UE网络接入过程的核心。具体来说，UE在执行小区搜索和与尝试连接的小区同步时使用PBCH。系统信息块（SIB）和主信息块（MIB）[16] 包含小区特定信息，这些信息由gNB通过PBCH传输，试图连接的UE解码这些消息以启动连接过程。对PBCH的干扰攻击可能会试图阻止UE正确解码SIB或MIB（或两者），从而延迟或阻止UE的网络接入。这样，引入PBCH干扰的效果将与之前描述的随机接入过程的中断类似（即，网络接入延迟或拒绝）。

3.3. PUSCH和PDSCH - 调度（数据）信道
PUSCH和物理下行链路调度信道（PDSCH）分别承载注册UE和服务gNB之间的上行和下行数据通信。当UE有数据要通过PUSCH发送时，它们通过物理上行控制信道（PUCCH）向服务gNB发送调度请求。接收到UE的调度请求后，gNB通过物理下行控制信道（PDCCH）向该UE发送调度授权，其中包含UE应该传输的具体PRB。同样，服务gNB在PDCCH上发送额外的指示符，以指定每个UE应该从gNB的PDSCH接收数据的PRB。干扰调度信道是最直接的干扰形式，因为它直接破坏了数据通信，而不是针对控制信道、同步信号或导致数据通信间接中断的随机接入过程。

3.4. PUCCH和PDCCH - 控制信道
PUCCH和PDCCH分别承载注册UE和服务gNB之间的上行和下行控制信息。如前所述，控制信道对于5G通信至关重要，如果它们受到故意干扰，网络将无法正常运行。针对控制信道的干扰技术试图通过中断UE和服务gNB之间交换的控制指示来破坏网络性能，从而对一个或多个UE拒绝服务。此外，由于控制消息是以定义的占空比传输的，干扰者不需要在控制消息不交换的时间（即占空比的空闲部分）发送干扰信号。类似的基于占空比的策略也可以根据信号的占空比特性应用于其他物理层漏洞。

4. FB-AII公式
在本节中，我们提供了我们的ST-FB-AII和MT-FB-AII方案的技术公式。图2展示了我们基于反馈的方法的总体概述，其中干扰者与gNB同步，解码DCI消息，通过RNTI去匿名化（参见[4]了解去匿名化过程）解码网络UE的RNTI值，决定要针对的UE以及每个目标UE应降低的相应吞吐量，确定分配给每个目标UE的PRB，根据每个UE的PRB映射发送干扰信号，然后使用下一组解码的DCI消息中的比特字段估计每个目标UE的吞吐量（详见本节后面的吞吐量估计公式描述）。然后使用这些吞吐量估计来调整下一次传输的干扰信号。然而，在继续之前，有必要简要总结DCI消息，因为这对后续内容至关重要。

下载：下载高分辨率图像（484KB）
下载：下载全尺寸图像
图2. FB-AII控制循环

4.1. 下行控制信息（DCI）
有多种DCI格式，其中一些与下行通信相关，另一些与上行通信相关。每种格式都有独特的比特字段，用于从gNB向UE传输和接收信息。最常用于上行调度授权（控制UE的上行数据通信）的主要格式是DCI格式0_1。虽然这种格式有很多比特字段，但由于篇幅限制，我们在这里无法详细解释，但以下是与我们FB-AII方法直接相关的关键比特字段。更多信息可以在[3]、[17]、[18]、[19]、[20]中找到。
- 频域资源分配（FDRA）：该字段表示分配给UE的当前PUSCH传输的频率资源。该比特字段的大小取决于带宽乘积；在我们的案例中，比特大小为11位。
- 时域资源分配（TDRA）：这是一个0、1、2、3或4位的字段，表示分配给UE的当前PUSCH传输的时域资源。在我们的案例中，比特大小为2位。
- 调制和编码方案：这是一个5位的字段，用于指定用于调度PUSCH传输的MCS。
- 新数据指示符：这是一个1位的字段，与混合自动重传请求（HARQ）过程编号字段一起工作，以指示当前传输的数据是新数据还是重传数据。
- HARQ过程编号：这是一个4位的字段，用于标识一个唯一的HARQ过程。网络支持16个并发的HARQ过程，因此需要一个4位的字段。

这些是我们用来估计目标UE物理层吞吐量的主要比特字段。还应注意的是，这些DCI消息可以通过各种方式进行加密，以防止未经授权的实体捕获和解码。在大多数情况下，DCI消息格式0_1会与UE的RNTI值一起加密。因此，要解码目标UE的DCI，必须能够访问目标UE的RNTI值；稍后我们将讨论在制定FB-AII方法时所做的RNTI假设。

4.2. 目标UE吞吐量估计
目标UE在每次接收到DCI时的PUSCH吞吐量T?(τ)可以使用公式（EQ）(1)进行估计，其中Nprb表示分配给目标UE的PRB数量（从最新的DCI上行调度授权中获得），Nprbsym表示每个PRB的符号数量（使用EQ (2)计算），Nsymbits表示每个符号的比特数量（从目标UE的MCS中获得），Δs表示符号持续时间，计算为子载波间隔的倒数，R表示从MCS值推断出的编码率，α是一个二进制指示符（0或1），表示当前传输是新数据（α = 1）还是之前传输数据的重传（α = 0）；α的值由DCI的HARQ过程ID和New Data Indicator（NDI）比特字段确定 [17]、[18]、[20]、[21]。
(1) T?(τ) = α × R × Nprb × Nprbsym × Nsymbits × Δs

需要注意的是，公式（1）中的大多数变量都是直接从目标UE的DCI消息中得出的；Nprbsym是通过EQ (2)计算的，这是两个例外之一（另一个是Δs）。EQ (2)中的Nprbsub表示单个PRB中的子载波数量，在3GPP标准中规定为12 [22]、[23]。此外，每个PRB包含一个时隙，因此Nprbslots设置为1。最后，Nslotsym表示每个时隙的符号数量，必须使用EQ (3)确定，其中μ表示配置的数值（对于15 kHz的子载波间隔，μ等于0）。因此，由于我们使用的数值为0，Nprbsym = 12 × 1 × 14 = 每个PRB 168个符号。
(2) Nprbsym = Nprbsub × Nprbslots × Nslotsym

据我们所知，文献中还没有使用UE的DCI消息来估计该UE的吞吐量的例子。鉴于这是物理层数据速率，我们将在第5节展示并讨论这种估计与应用层吞吐量的准确性。这种物理层吞吐量估计是我们FB-AII方法的关键组成部分，因为它将作为干扰者推断目标UE的降级程度并相应调整其干扰策略的反馈机制。另外，请注意：表1中列出了用于吞吐量估计的DCI字段。

4.3. ST-FB-AII公式
在我们的ST-FB-AII方案中，干扰者的目标是针对网络中的单个UE，并将该目标UE的PUSCH吞吐量降低到期望的目标吞吐量。这是通过根据使用公式（1）获得的吞吐量估计反馈来增加/减少干扰者的传输增益来实现的（除非另有说明，否则所有增益和功率水平都采用对数刻度）。如果目标UE的估计吞吐量大于干扰者设定的目标吞吐量，则增加干扰者的传输增益；如果估计吞吐量小于目标吞吐量，则减少传输增益。此外，在我们的ST-FB-AII实现中，我们对最后N条接收到的DCI消息中的目标UE吞吐量进行平均，以帮助平滑结果。ST-FB-AII算法（AL）见AL 1。

在AL 1中，干扰者最初将其传输增益设置为最低可能值，并使用公式（1）中概述的反馈公式估计目标UE的平均吞吐量（即Avg{T?(τ)），其中γtx是干扰者的传输增益。一旦完成这个初始吞吐量估计，就通过将T?(τ)乘以a（a是一个介于0和1之间的小数）来设置Ttarget（表示干扰者应降低目标UE到的吞吐量）。一旦设置了Ttarget，干扰者选择一个新的增益值并估计新的目标UE吞吐量。如果这个新的估计吞吐量高于/低于Ttarget，则干扰者的增益增加/减少预定义的步长δ，以增加/减少对目标UE的吞吐量降级程度。这个过程会无限期地继续，直到干扰者被关闭。还应该注意的是，我们没有包括一个最终收敛步骤，在该步骤中，干扰者在Avg{T?(τ)}足够接近Ttarget时永久固定其传输增益。这将假设无线信道条件是稳定且不变的；实际上，我们允许干扰者持续调整传输增益，因为即使某个传输增益在某个时间点t1非常成功，它在时间点t2可能就不那么成功了。4.4. MT-FB-AII公式为了开始我们的MT-FB-AII公式，我们定义了一组I个目标UE和一组J个频率选择性PRB，在每次接收到DCI消息时，每个目标UE i会被动态分配J个PRB中的一个Ji大小的子集。γ?(i)，如方程(4)所示，代表了对应于每个PRB的干扰传输功率水平，从第j个PRB索引位置开始，延伸到接下来Ji-1个连续的PRB，这些PRB被分配给了第i个目标UE。γ?(i)的每个元素都是一个离散变量，位于[γmin,γmax]的范围内，这个范围由干扰者无线电前端的传输增益限制所界定。(4)γ?(i)=γ(ji)γ(ji+1)...γ(ji+Ji?1)γ?{k}，如方程(5)所示，代表了一个不规则的2D（即Ji x I）矩阵，其中包含了在给定时间点被分配给某个目标UE的每个PRB的唯一干扰传输功率水平。每次接收到DCI消息时，都会生成一个新的干扰矩阵。(5)γ?{k}=γ?T(1)γ?T(2)...γ?T(I)OP(6)展示了我们的MT-FB-AII操作，其中目标吞吐量Ttargeti与估计吞吐量T?i(k)之间的总偏差被最小化，同时受到总干扰传输功率限制γmax的约束。(6)arg minγ(j)∑k=1∞∑i=1I|Ttargeti?T?i(k)|s.t.∑i=1I∑j=jiJiγ?{k}<γmax在下一小节中，我们将证明我们的mt-fb-aii操作是np难的。4.5. np难度证明为了证明op(6)是np难的，我们首先将op(6)简化为op(7)，因为干扰矩阵一次只能被考虑一个（即，过去的干扰矩阵不再相关，因为每个ue的prb分配会随着每次dci接收而变化，而未来的干扰矩阵在解码未来的dci消息之前是不可知的）。无论如何，如果op(7)是np难的，那么op(6)也是np难的，因为op(7)包含在op(6)中。(7)arg minγ(j)∑i=>< /><γmax我们通过从一个众所周知的np难问题——背包问题来证明dp(7)（因此也是op(7)）的np难度。背包问题：给定一组n个物品a，每个物品u的价值为vu，重量为wu，以及一个重量容量w，选择物品b的一个子集，使得b中物品的总价值最大化，并且b中物品的总重量不超过w。将dp(7)映射到背包问题的过程如下：•背包物品 = dp(7) prbs：定义一组n个prb，每个prb对应于背包问题中的一个物品。选择一个物品放入背包相当于选择一个prb进行干扰。•背包价值 = dp(7)吞吐量偏差：集合a中每个prb的价值是指选择该prb将最小化所有目标ue之间的目标吞吐量ttarget和估计吞吐量t?{k}的总偏差的程度。•背包重量 = dp(7)干扰传输功率：集合a中每个prb的重量是用于干扰该prb的干扰传输增益γ(j)。为了模拟背包问题的二进制特性，即一个物品要么被选中，要么不被选中，我们假设只有两个干扰传输功率水平；即零功率水平，如果被选中则不贡献总功率利用（相当于物品没有放入背包），以及高功率水平，如果被选中则贡献η到总功率利用（相当于一个重量为η的物品被放入背包）。如果这种特殊情况的op(7)是np难的，那么一般情况也是np难的。•背包重量容量 = dp(7)最大功率容量：背包问题中的重量容量w对应于最大总干扰传输功率容量γmax。下面是用背包映射表示的dp(7)的非正式版本。dp(7)作为背包问题：给定一组n个prb，每个prb u的价值为vu（由上面的第二个项目定义），重量为wu（由上面的第三个项目定义），以及给定最大总传输功率容量γmax，选择一组prb进行干扰，以最小化目标吞吐量和估计吞吐量之间的总偏差，并且与结果干扰矩阵相关的总传输增益不超过γmax。下面是用背包映射表示的dp(7)的正式版本：考虑背包问题的一个实例：•物品u,...,un•价值vu,...,vun•重量wu,...,wun•重量容量w•目标价值v?按照以下方式构建dp(7)的一个实例：•对于每个物品u，创建一个prb j•设置干扰功率η，使得γ(j)=wu∣γ(j)∈[0,1]•定义prb j的吞吐量偏差减少量为vj=vu•设置偏差阈值δt=初始偏差?v?(i)如果存在一个物品子集，使得∑wu≤w且∑vu≥v?，那么选择相应的prb将产生∑γ(j)≤γmax并且总吞吐量偏差减少≥v?；反之，如果存在满足最大吞吐量偏差和功率限制的干扰矩阵，则相应的物品构成了一个可行的背包解决方案。上述构建可以在多项式时间内完成。通过这种方式，我们证明了dp(7)的np难度，因此也证明了op(7)的np难度，这进一步意味着op(6)和mt-fb-aii的np难度。重要的是要记住，在我们的公式中，我们假设了prb之间的频率选择性。因此，选择干扰分配给目标ue i的ji个prb中的一个并不一定会有与干扰另一个ji个prb相同的效果。因此，dp(7)和op(7)都不能被分割成更小的问题并在分布式方式下解决。4.6. mt-fb-aii强化学习公式我们使用rl来解决我们的mt-fb-aii控制问题。下面概述了rl公式的详细信息。•奖励空间 - 奖励函数由两个部分组成；一部分l{k}惩罚代理在目标吞吐量集和估计吞吐量集之间的偏差（并奖励两者的一致性）；另一部分γ{k}惩罚高干扰传输功率使用并奖励低干扰传输功率使用。奖励函数如方程(10)所示。(10)?(l{k})2?βγ{k} li{k}（即奖励函数的吞吐量偏差部分）由方程(11)描述，其中计算了所有目标ue之间的实际吞吐量和目标吞吐量之间的平均偏差。(11)l{k}=1i∑i=1i|ttargeti?t?i{k}| γ{k}（即奖励函数的干扰传输功率惩罚部分）由方程(12)描述，其中计算了单个干扰矩阵的总功率利用。β在方程(10)中表示奖励函数中吞吐量偏差和干扰功率之间的缩放因子。(12)γ{k}=∑i=1i∑j=jijiγ?{k}•动作空间 - 动作空间由干扰矩阵元素组成。每个元素都是[γmin,γmax]范围内的离散变量，对应于该特定prb的干扰者的传输增益。γmin和γmax的具体值以及可能的传输增益之间的增量将由干扰者无线电前端的增益限制决定。•观察空间 - 观察空间包括上一次传输的目标ue吞吐量估计值、当前传输与每个目标ue相关的prbs，以及与上一次干扰矩阵相关的总干扰传输功率。4.7. mt-fb-aii贪心启发式算法除了我们的rl解决方案外，我们还开发了一个启发式算法来解决我们的mt-fb-aii问题。该算法在al(2)中展示。我们利用rl和启发式解决方案来验证和相互验证对方的性能。al(2)中使用的所有相关符号已经预先定义，其含义可以在附录中的表格中找到。下载：下载高分辨率图像（231kb）下载：下载全尺寸图像4.8. fb-aii公式假设在st-fb-aii和mt-fb-aii的公式中，我们假设干扰者知道目标ue的rnti值，因为这是解码相应的dci消息所必需的。最近的一篇出版物[4]概述了一种在网络中去匿名化ue并获得它们的rnti的技术。因此，我们的假设是有效的，因为存在发现ue rnti的方法（尽管这些方法可能具有挑战性），而且这项工作的目的不是重新实现所有之前的rnti去匿名化技术。在我们的st-fb-aii原型实现中，我们还假设干扰者有一个网络sim卡，以便在切换到干扰模式之前首先连接到网络。这同样不是一个不切实际的假设，也不是fb-aii方案所必需的，因为我们的实现可以修改为不需要sim卡信息（如[4]中所述）；然而，请注意，如果干扰者不知道符号持续时间，这将略微影响吞吐量估计方案。最后，我们在mt-fb-aii公式中对dci消息接收的规律性做了一些假设。我们假设ji x i干扰矩阵没有空白列；也就是说，在发送干扰信号之前，所有目标ue的dci消息都已经被接收到了。这假设所有目标ue都在相似的时间间隔内从gnb接收dci消息，并且干扰者没有错过任何dci消息，我们意识到这并不总是成立的。然而，目标ue接收dci消息的不规律性会给问题增加额外的（但不是不可克服的）复杂性，因此我们在工作中选择抽象这一点。具体来说，如果任何dci消息被错过，它将在干扰矩阵中创建一个空白列（rl需要适当处理），并且平均估计的基于dci的吞吐量会低估实际的基于dci的吞吐量。然而，我们认为这不是一个主要问题，因为在现实系统中大多数dci消息都会被成功接收，因此只要rl能够处理空白干扰矩阵列，低估问题应该是最小的。5. 实施和评估在本节中，我们概述了用于创建st-fb-aii原型的方法，并详细介绍了我们用来评估原型的实验，包括相关结果的展示。此外，我们还讨论了我们的rl mt-fb-aii模拟环境并展示了相应的结果。最后，我们总结了评估中的关键发现。5.1. st-fb-aii原型实现我们的st-fb-aii原型是通过引入对oai nr_ue堆栈[24]的一些重要修改来开发的。我们有四个重要的文件进行了修改以开发干扰者，每个文件的描述如下。第一个文件是dci_nr.c。这个文件包含了最初的dci处理函数；即nr_dci_decoding_procedure，它执行dci解码并获取dci有效载荷比特，然后保存以供进一步处理。我们复制并重命名了nr_dci_decoding_procedure函数，并在其中进行了一些修改。首先，在这个函数中，oai nr_ue使用其rnti来解码其对应的dci消息。因此，在我们复制的nr_dci_decoding_procedure函数中，我们用目标ue的rnti替换了ue rnti。结果，这个函数将解码与目标ue相关的dci消息，而不是与其自己的rnti相关的dci消息。执行此函数后，目标ue的dci消息被成功解码，有效载荷比特被保存以供进一步处理。phy_procedures_nr_ue.c是我们修改的第二个主要文件。这个文件包含了我们在前一段中讨论的函数nr_ue_pdcch_procedures。我们在这个文件中添加了一个全局变量，在每次调用nr_ue_pdcch_procedures后递减该变量。 = dp(7) prbs：定义一组n个prb，每个prb对应于背包问题中的一个物品。选择一个物品放入背包相当于选择一个prb进行干扰。•背包价值=DP(7)吞吐量偏差：集合A中每个PRB的价值是指选择该PRB将最小化所有目标UE之间的目标吞吐量Ttarget和估计吞吐量T?{k}的总偏差的程度。•背包重量 = dp(7)干扰传输功率：集合a中每个prb的重量是用于干扰该prb的干扰传输增益γ(j)。为了模拟背包问题的二进制特性，即一个物品要么被选中，要么不被选中，我们假设只有两个干扰传输功率水平；即零功率水平，如果被选中则不贡献总功率利用（相当于物品没有放入背包），以及高功率水平，如果被选中则贡献η到总功率利用（相当于一个重量为η的物品被放入背包）。如果这种特殊情况的op(7)是np难的，那么一般情况也是np难的。•背包重量容量=DP(7)最大功率容量：背包问题中的重量容量W对应于最大总干扰传输功率容量γmax。下面是用背包映射表示的DP(7)的非正式版本。DP(7)作为背包问题：给定一组n个PRB，每个PRB u的价值为vu（由上面的第二个项目定义），重量为wu（由上面的第三个项目定义），以及给定最大总传输功率容量γmax，选择一组prb进行干扰，以最小化目标吞吐量和估计吞吐量之间的总偏差，并且与结果干扰矩阵相关的总传输增益不超过γmax。下面是用背包映射表示的dp(7)的正式版本：考虑背包问题的一个实例：•物品u,...,un•价值vu,...,vun•重量wu,...,wun•重量容量w•目标价值v?按照以下方式构建dp(7)的一个实例：•对于每个物品u，创建一个prb j•设置干扰功率η，使得γ(j)=wu∣γ(j)∈[0,1]•定义PRB j的吞吐量偏差减少量为vj=vu•设置偏差阈值ΔT=初始偏差?V?(i)如果存在一个物品子集，使得∑wu≤W且∑vu≥V?，那么选择相应的PRB将产生∑γ(j)≤γmax并且总吞吐量偏差减少≥V?；反之，如果存在满足最大吞吐量偏差和功率限制的干扰矩阵，则相应的物品构成了一个可行的背包解决方案。上述构建可以在多项式时间内完成。通过这种方式，我们证明了DP(7)的NP难度，因此也证明了OP(7)的NP难度，这进一步意味着OP(6)和MT-FB-AII的NP难度。重要的是要记住，在我们的公式中，我们假设了PRB之间的频率选择性。因此，选择干扰分配给目标UE i的ji个prb中的一个并不一定会有与干扰另一个ji个prb相同的效果。因此，dp(7)和op(7)都不能被分割成更小的问题并在分布式方式下解决。4.6. mt-fb-aii强化学习公式我们使用rl来解决我们的mt-fb-aii控制问题。下面概述了rl公式的详细信息。•奖励空间 - 奖励函数由两个部分组成；一部分l{k}惩罚代理在目标吞吐量集和估计吞吐量集之间的偏差（并奖励两者的一致性）；另一部分γ{k}惩罚高干扰传输功率使用并奖励低干扰传输功率使用。奖励函数如方程(10)所示。(10)?(l{k})2?βγ{k} li{k}（即奖励函数的吞吐量偏差部分）由方程(11)描述，其中计算了所有目标ue之间的实际吞吐量和目标吞吐量之间的平均偏差。(11)l{k}=1I∑i=1I|Ttargeti?T?i{k}| γ{k}（即奖励函数的干扰传输功率惩罚部分）由方程(12)描述，其中计算了单个干扰矩阵的总功率利用。β在方程(10)中表示奖励函数中吞吐量偏差和干扰功率之间的缩放因子。(12)γ{k}=∑i=1I∑j=jiJiγ?{k}•动作空间 - 动作空间由干扰矩阵元素组成。每个元素都是[γmin,γmax]范围内的离散变量，对应于该特定prb的干扰者的传输增益。γmin和γmax的具体值以及可能的传输增益之间的增量将由干扰者无线电前端的增益限制决定。•观察空间 - 观察空间包括上一次传输的目标ue吞吐量估计值、当前传输与每个目标ue相关的prbs，以及与上一次干扰矩阵相关的总干扰传输功率。4.7. mt-fb-aii贪心启发式算法除了我们的rl解决方案外，我们还开发了一个启发式算法来解决我们的mt-fb-aii问题。该算法在al(2)中展示。我们利用rl和启发式解决方案来验证和相互验证对方的性能。al(2)中使用的所有相关符号已经预先定义，其含义可以在附录中的表格中找到。下载：下载高分辨率图像（231kb）下载：下载全尺寸图像4.8. fb-aii公式假设在st-fb-aii和mt-fb-aii的公式中，我们假设干扰者知道目标ue的rnti值，因为这是解码相应的dci消息所必需的。最近的一篇出版物[4]概述了一种在网络中去匿名化ue并获得它们的rnti的技术。因此，我们的假设是有效的，因为存在发现ue rnti的方法（尽管这些方法可能具有挑战性），而且这项工作的目的不是重新实现所有之前的rnti去匿名化技术。在我们的st-fb-aii原型实现中，我们还假设干扰者有一个网络sim卡，以便在切换到干扰模式之前首先连接到网络。这同样不是一个不切实际的假设，也不是fb-aii方案所必需的，因为我们的实现可以修改为不需要sim卡信息（如[4]中所述）；然而，请注意，如果干扰者不知道符号持续时间，这将略微影响吞吐量估计方案。最后，我们在mt-fb-aii公式中对dci消息接收的规律性做了一些假设。我们假设ji x i干扰矩阵没有空白列；也就是说，在发送干扰信号之前，所有目标ue的dci消息都已经被接收到了。这假设所有目标ue都在相似的时间间隔内从gnb接收dci消息，并且干扰者没有错过任何dci消息，我们意识到这并不总是成立的。然而，目标ue接收dci消息的不规律性会给问题增加额外的（但不是不可克服的）复杂性，因此我们在工作中选择抽象这一点。具体来说，如果任何dci消息被错过，它将在干扰矩阵中创建一个空白列（rl需要适当处理），并且平均估计的基于dci的吞吐量会低估实际的基于dci的吞吐量。然而，我们认为这不是一个主要问题，因为在现实系统中大多数dci消息都会被成功接收，因此只要rl能够处理空白干扰矩阵列，低估问题应该是最小的。5. 实施和评估在本节中，我们概述了用于创建st-fb-aii原型的方法，并详细介绍了我们用来评估原型的实验，包括相关结果的展示。此外，我们还讨论了我们的rl mt-fb-aii模拟环境并展示了相应的结果。最后，我们总结了评估中的关键发现。5.1. st-fb-aii原型实现我们的st-fb-aii原型是通过引入对oai nr_ue堆栈[24]的一些重要修改来开发的。我们有四个重要的文件进行了修改以开发干扰者，每个文件的描述如下。第一个文件是dci_nr.c。这个文件包含了最初的dci处理函数；即nr_dci_decoding_procedure，它执行dci解码并获取dci有效载荷比特，然后保存以供进一步处理。我们复制并重命名了nr_dci_decoding_procedure函数，并在其中进行了一些修改。首先，在这个函数中，oai nr_ue使用其rnti来解码其对应的dci消息。因此，在我们复制的nr_dci_decoding_procedure函数中，我们用目标ue的rnti替换了ue>当全局变量降至指定阈值以下时，`nr_ue_pdcch_procedures`函数将停止调用原始的`nr_dci_decoding_procedure`函数，转而开始调用我们修改后的`nr_dci_decoding_procedure`版本。`nr_ue_scheduler.c`和`nr_ue_procedures.c`分别是我们修改的第三个和第四个文件，在这些文件中我们添加了FB-AII吞吐量估计计算和FB-AII控制逻辑。第一个文件包含根据最新的DCI消息设置NR_UE的PUSCH传输参数的函数。干扰者通过这个函数获取进行吞吐量计算所需的目标UE的MCS、NDI和HARQ过程ID。第二个文件也用于完成吞吐量计算，并且实现了大部分控制逻辑（包括算法1）。

除了上述修改外，还有一些其他较小的改动（包括一些为了允许干扰者动态调整增益而进行的修改），但这些修改构成了我们对OAI代码的主要调整，以便实现我们的FB-AII设备。

5.2. ST-FB-AII测试平台
ST-FB-AII测试平台位于马萨诸塞州伯灵顿的东北大学，被誉为“世界上最大的网络仿真器”。已有几篇关于这个基于软件定义无线电（SDR）的庞大测试平台的优秀论文发表，这些论文很好地解释了其各个组成部分。因此，本文的目的不是重复已经在其他地方详细讨论的内容[25][26][27][28]。相反，我们将在这一简短部分中重点介绍一些重要组件，以帮助读者快速了解该平台。

标准无线节点（SRNs）：ST-FB-AII测试平台由128个标准无线节点（SRNs）组成。每个SRN配备了一个Ettus X310 USRP无线电设备、两个UBX-160子板、一个48核的Intel Xeon E5-2650 CPU以及一个NVIDIA Tesla K40m GPU[25]。这些SRN可以通过ST-FB-AII的GUI进行预约，同一预约内的所有SRN都可以通过Massive Channel Emulator（MCHEM）相互通信。在预约期间，用户可以通过CLI访问这些SRN。

Massive Channel Emulator（MCHEM）：MCHEM是实现信道估计的主要手段[25]。每个SRN都通过MCHEM与其他所有SRN相连。ST-FB-AII使用模拟真实世界RF信道条件的RF场景来设置SRN之间的信道连接[25]。这使得ST-FB-AII能够根据所选的RF场景灵活地模拟各种无线信道条件。在我们的实验中，我们选择了2.54 GHz频率下的零dB路径损耗场景。

在我们的实验中，我们使用了四个SRN：一个用于5G核心网络（CN）和gNB，另一个用于目标UE，第三个用于非目标UE，第四个用于ST-FB-AII原型。虽然最近已经有使用ST-FB-AII对WiFi和LTE网络进行干扰研究的案例[27][29]，但据我们所知，这是第一次使用该平台测试5G网络中的干扰现象。

5.3. ST-FB-AII实验及结果
我们的实验设置如图3所示，包括四个主要无线节点：(1) 一个目标UE节点，其在PUSCH上持续传输500 Kbps的UDP流量；(2) 一个非目标UE节点，也在PUSCH上持续传输500 Kbps的UDP流量（用于证明只有在有意干扰期间目标UE的吞吐量才会下降）；(3) 一个gNB节点，UEs通过该节点上传数据；(4) 我们的FB-AII设备，用于干扰目标UE的吞吐量。这四个节点都通过ST-FB-AII的MCHEM使用RF场景编号52003进行连接。

基线讨论：虽然文献中有许多不同的有意干扰方法可以用来与我们的技术进行比较，但并非所有这些方法都追求我们想要实现的目标。首先，据我们所知，现有的方法中没有一种使用来自目标UE的反馈信息来估计目标UE的吞吐量并相应地调整干扰强度。此外，只有很少一部分有意干扰研究旨在降低单个目标UE的PUSCH吞吐量。那些试图干扰其他信道（如PBCH、PRACH、PDSCH或PDCCH）的方法有着不同的目的（例如，阻止新UE接入网络、干扰下行数据或控制信道等），因此它们与我们FB-AII方法不易直接比较。即使是一种旨在降低网络中单个目标UE的PUCCH吞吐量的方法，也与我们的方法不具可比性，因为如果目标UE的PUCCH受到干扰，UE仍可以通过PUSCH发送上行控制信息。因此，我们需要比较的基线方法应该是那些专门针对单个目标UE的PUSCH进行干扰的方法。关于这个主题的主要论文是Flores等人的研究[4]，他们在其中以非动态方式完全消除了目标UE的PUSCH吞吐量。我们将这一方法作为基线，因为我们的方法不仅能够按需减少目标UE的吞吐量，而且在干扰设备每赫兹发射的功率方面也更为精细。

我们的实验结果如图4、5和6所示。图4展示了基线实验的数据，其中FB-AII设备试图将目标UE的吞吐量降至零；图5和图6分别展示了目标吞吐量设定为其初始估计值的50%和80%时的实验结果。每个图表包含三次重复实验的数据，对应于每个子图中的三列。每列有两个图表：上图显示目标UE的估计吞吐量Ttarget和干扰者的增益指数；下图显示了使用iperf3测量的目标UE和非目标UE的应用层吞吐量。下面我们将更详细地讨论每个图表中的数据。

图4. 基线结果：目标吞吐量被设置为零，这是最直接干扰的方式，也是Flores等人[4]提出的基本方法。

图5. FB-AII结果：目标吞吐量被设定为其初始测量值的50%。

图6. FB-AII结果：目标吞吐量被设定为其初始测量值的80%。

- **估计吞吐量（Mbps）和目标UE吞吐量（Kbps）**：每个图表对应列的上图和下图中的绿色曲线分别表示目标UE的估计物理层吞吐量和该实验的测量应用层吞吐量。从所有图表来看，估计吞吐量和测量吞吐量在大多数情况下呈现相同趋势，这表明我们的吞吐量估计公式运行正常。需要注意的是，物理层吞吐量的数量级远大于应用层吞吐量。这显然不仅仅是因为较低层的开销（尽管这确实有一定影响），而是因为OAI的NR_UE的吞吐量有限，因此使用我们的公式计算出的最佳吞吐量值会高估目标UE的实际吞吐量。如果使用的是商用级解决方案而不是OAI的开源5G堆栈，这种情况可能不会出现。

- **目标UE吞吐量（Kbps）和非目标UE吞吐量（Kbps）**：如图所示，尽管在有意干扰期间目标UE的吞吐量下降了，但非目标UE的吞吐量未受影响。这表明我们的FB-AII方法仅按预期影响了目标UE。值得注意的是，之前关于这个主题的主要研究[4]并未明确指出非目标UE的性能不受有意干扰的影响；这可能是因为他们实验时使用的OAI版本稳定性较差，不支持多个UE同时连接到gNB。

- **估计吞吐量（Mbps）和T_target（Mbps）**：如图所示，估计吞吐量随时间逐渐接近目标吞吐量（大部分情况下，我们在增益在两个值之间波动时停止了FB-AII设备的运行）。每个子图开始时目标吞吐量略有变化，是因为在实验中我们让FB-AII设备在γmin阶段运行了几次迭代后才进入γmid阶段（见算法1），并在每次迭代后调整了Ttarget，之后保持不变。

- **估计吞吐量（Mbps）和干扰者增益**：每行子图中的干扰者增益曲线显示了实验中使用的X310 USRP的传输增益。值得注意的是，当设置X310 USRP的传输增益时，增益为0表示最高传输增益，增益为31.5表示最低传输增益。因此，如果增益调整的结果与预期相反，请记住这一点。通常情况下，当干扰者增益增加时（图中显示为增益从0增加到31.5时，目标UE的估计吞吐量会减少），反之亦然。这样，FB-AII设备能够调整传输增益，从而将目标UE的吞吐量降低到所需值。

除了图4、图5和图6显示的结果外，我们还在图7中展示了每个实验的“干扰效率”。我们通过将目标UE达到Ttarget时的物理层吞吐量降低量除以干扰者的增益来计算干扰效率。这个指标反映了给定干扰者增益下目标UE的吞吐量降低程度。较高的干扰效率值表明在较低的干扰者增益下目标UE的吞吐量被显著降低。这个指标还反映了我们之前提到的一个重要细节：即功率谱密度——由于干扰者的带宽是固定的，功率谱密度仅取决于干扰者的传输增益。从图7可以看出，如果干扰者不需要完全消除目标UE的吞吐量，平均干扰效率会更高。这意味着我们的FB-AII方法更加灵活，因为它不仅可以按需减少目标UE的吞吐量，而且在干扰设备每赫兹发射的功率方面也更为精确。然而，由于这些方法对目标用户设备的吞吐量是未知的，当前文献中的方法（非动态的）无法充分利用这一事实；因此，它们的效果不如FB-AII显著。图7显示了干扰效率的比较：Ttarget=0代表现有最佳方法（即Flores等人[4]）的基线状态，此时目标用户设备的吞吐量完全（或几乎完全）下降。其他两个Ttarget值代表我们的FB-AII策略。蓝色条形表示单个实验的干扰效率值，相应的红色条形表示这些实验的平均干扰效率。5.4. MT-FB-AII仿真环境-仿真描述：我们创建了一个基于Python的5G蜂窝网络仿真环境，用于训练和评估我们的RL支持的MT-FB-AII方案。该仿真环境包含一组PRB、一组目标用户设备和一个干扰源。每对PRB-UE都被分配了一个唯一的信噪比（SINR）值，该值定义了干扰源通过总PRB集合中的每个PRB与每个目标UE之间的干扰传输路径。这样，PRB之间存在频率选择性，这意味着选择干扰一个PRB j1可能与干扰另一个PRB j2的效果不同。在每个训练步骤中，随机分配一组连续的PRB给每个目标UE。然后干扰源观察哪些PRB被分配给了哪些目标UE，以及上一步训练的目标UE的吞吐量估计值。代理接着选择要干扰的PRB及其相应的传输功率。一旦干扰矩阵填满了传输功率水平，就计算新的吞吐量估计值。- 吞吐量估计和DCI生成：为了使用公式（1）计算每个目标UE i的吞吐量，i必须接收一个包含计算所需比特字段（即MCS、NDI、HARQ和PRB数量）的模拟DCI消息。在实际的5G网络中，gNB根据当前信道条件为每个UE构建DCI消息。因此，为了在我们的环境中模拟真实的DCI生成，我们使用估计的SINR来模拟每个目标UE的信道条件。通过计算干扰矩阵第i列中每个PRB的个体SINR来得到每个目标UE i的SINR。这些个体PRB的SINR是使用基线SINR和上一步干扰矩阵中的干扰传输功率水平计算得出的。一旦计算出每个目标UE的上一步训练的平均SINR，就可以开始模拟DCI生成过程。首先，使用一个函数将上一步训练中的SINR和MCS值映射到BLER来估计每个目标UE的BLER。获得BLER后，用它来计算下一个MCS值。在OpenAirInterface gNB软件栈中，如果BLER大于15%，则MCS指数减1；如果BLER小于5%，则MCS指数加1。因此，我们采用了类似的阈值方案来计算目标UE的MCS值。我们省略了NDI和HARQ比特字段，因为这些字段仅在公式（1）中用于重传跟踪。因此，我们仅使用BLER来估计环境中的重传。如果上一步训练中的BLER超过某个阈值，我们将其标记为“需要重传”，并将公式（1）中的α设置为0；如果BLER低于某个阈值，我们将其标记为“无需重传”，并将α设置为1。计算目标UE i吞吐量所需的最后一个DCI比特字段是上一步训练中分配给i的PRB数量。我们已经提到PRB是随机分配的，所以在这种情况下这不是问题。综上所述，一旦知道了MCS、NDI、HARQ和分配的PRB数量，就可以使用公式（1）来估计每个目标UE的吞吐量。图8显示了我们MT-FB-AII训练过程中的2500万步奖励样本。- RL训练方法：我们在一个包含52个PRB和10个目标UE的Python仿真环境中训练了我们的MT-FB-AII RL代理。我们采用了Actor-Critic Proximal Policy Optimization（PPO）（使用Stable-Baselines3实现），并采用了一种渐进式学习方法，开始时目标UE的数量较少且奖励函数中没有传输功率惩罚，然后逐渐增加到10个UE并添加了功率惩罚。策略网络和价值网络各自由64个神经元组成的两个全连接层构成，激活函数为Tanh。我们训练了模型超过7亿步，并在训练过程中调整了一些超参数值；然而，我们在表2中展示了一个用于训练的超参数/环境变量示例列表。此外，我们大约每500万到1000万步改变一次目标吞吐量集和干扰源的总体传输功率强度相对于基线SINR。另外，每次训练停止并重新开始时（即每500万到1000万步），基线SINR也会随机改变。在我们的训练环境中，代理可以在创建干扰矩阵时选择4个干扰传输功率水平（注意这些仿真传输功率水平具有任意单位，因为它们仅表示每个PRB的干扰量或权重）。图8显示了MT-FB-AII训练奖励的2500万步样本。图9显示了MT-FB-AII仿真结果：10个目标UE、52个PRB，训练有素的RL、启发式方法和随机干扰源在4个不同的目标吞吐量测试数据集（即低、中、高和变化）上的比较。表2. RL超参数列表。超参数值学习率5e?5剪切范围0.1目标KL0.05展开长度（n步骤）2048批量大小4096每次更新的时代数20训练步骤1000万（1000万步后我们可能会调整超参数）优化器Adam折扣因子0.99GAE0.95熵系数0.0价值函数系数0.5剧集长度50步β来自公式（10）0.003目标UE数量10PRB池大小52图10显示了在我们四个测试数据集（即低、中、高和变化）上，训练有素的RL、启发式方法和随机干扰源与目标UE数量之间的比较。5.5. MT-FB-AII仿真结果我们进行了几组不同的数据收集，以评估我们训练有素的MT-FB-AII代理的性能（无论是从估计的目标UE吞吐量与目标吞吐量集之间的平均偏差，还是从干扰源使用的总传输功率来看），并与随机干扰源（随机选择PRB进行干扰及其相应的传输功率水平）进行比较。我们根据目标UE的数量、PRB的数量和整个网络的大小（即目标UE的数量和PRB的数量之和）来评估干扰源的性能。这些实验的目的是测试我们的模型在以下情况下的性能：（1）目标UE的数量增加/减少（保持PRB数量不变）；（2）网络中的PRB数量增加/减少（保持目标UE的数量不变）；（3）目标UE的数量和PRB的数量成比例增加/减少（从而改变整个网络的大小作为其最大大小的百分比）。这些评估的结果可以在图9、图10、图11和图12中看到。评估数据集：对于每个网络干扰场景（即目标UE和PRB的数量），我们使用四个不同的目标吞吐量数据集评估了我们的训练有素代理和随机干扰源。每个数据集包含一组十个目标吞吐量集，每个集合包含十个在不同范围内的随机生成的目标吞吐量值。我们将这些数据集指定为低（随机目标吞吐量在0.1 Mbps到3.0 Mbps之间）、中（随机目标吞吐量在3.5 Mbps到7.5 Mbps之间）、高（随机目标吞吐量在8.5 Mbps到18.0 Mbps之间）和变化（表示“较大方差”，包含0.1 Mbps到18.0 Mbps之间的随机目标吞吐量）。结果：图9显示了我们的MT-FB-AII RL代理（第1行）和启发式方法（第3行）与随机干扰源（第2行）在具有10个目标UE和52个PRB的网络环境中的评估结果。子图的每一列包含我们四个数据集之一（即低、中、高和变化）的结果。每个条形图中的每个条形代表该目标UE的目标吞吐量与使用公式（1）估计的吞吐量之间的平均偏差随时间的变化。如果标准差小于条形值的2%，则省略该条形的标准差。所有目标UE的平均吞吐量偏差以及干扰源使用的总传输功率记录在覆盖每个条形图的框中。如图所示，RL和启发式MT-FB-AII方法在干扰源的传输功率利用方面表现显著更好（即RL方法好66.5%到87.7%，启发式方法好80.4%到86.2%）。同样，RL和启发式技术在所有数据集上的吞吐量偏差方面也优于随机干扰源，除了低数据集外，RL/启发式方法在中、高和变化数据集上分别比随机方法好59.7%/63.6%、44.6%/50.0%和32.2%/39.4%。在低数据集上，RL/启发式方法在平均吞吐量偏差方面表现较差，但这主要是由于该数据集的目标吞吐量非常低（因此需要更多的干扰来降低目标UE的吞吐量），因此RL和启发式方法（要么试图节省传输功率，要么在功率预算下运行）没有随机干扰源那么大幅度地降低目标UE的吞吐量，后者在低数据集上使用的传输功率比RL/启发式方法多66.5%/80.4%。此外，RL和启发式解决方案在所有四个数据集上显示出相似的结果，这表明RL解决方案在模拟环境中难以学习和利用PRB的频率选择性（因为启发式方法对所有目标UE的PRB一视同仁）。然而，这并不意外，因为在每个时间步长，目标UE被分配了具有不同频率选择性的PRB，这为RL创造了一个非常具有挑战性的学习环境。图11显示了在我们四个测试数据集（即低、中、高和变化）上，训练有素的RL、启发式方法和随机干扰源与PRB数量之间的比较。图12显示了在我们四个测试数据集（即低、中、高和变化）上，训练有素的RL、启发式方法和随机干扰源与整个网络大小之间的比较。最大网络大小（即100%）对应于10个目标UE和52个PRB；50%的网络大小对应于5个目标UE和26个PRB等。图10显示了我们的RL和启发式MT-FB-AII解决方案与随机干扰源在目标UE数量（即10个目标UE、5个目标UE和2个目标UE）方面的性能比较。图10显示了我们的RL和启发式MT-FB-AII解决方案与随机干扰源在所有四个评估数据集上的性能比较；每次评估都使用了52个PRB。正如预期的那样，RL和启发式MT-FB-AII技术在所有情况下都比随机方法使用更少的传输功率（即RL少35.9%到87.7%，启发式方法少80.4%到86.1%）。在吞吐量偏差方面，随机干扰源在低数据集上总是优于MT-FB-AII；但这是在预期之中的，因为这些情况下的目标吞吐量集值非常低，而注重功率的MT-FB-AII方法无法大幅降低目标UE的吞吐量。实际上，这是随机干扰源在任何情况下优于MT-FB-AII的主要原因。这种现象在目标用户设备（UEs）较少而物理资源块（PRBs）较多的情况下尤为明显，因为干扰发生前的平均UE吞吐量会增加（因为活跃的UEs不需要与其他许多UEs共享PRB池，因此平均分配到每个UE的PRB数量更多）。这意味着MT-FB-AII可以在不同的目标UE数量下有效运行，但在需要较少的传输功率来将目标UEs降低到其相应的目标吞吐量时表现更好。当然，这也取决于干扰源的训练情况以及奖励函数对节省传输功率的重视程度。图11展示了我们的RL和启发式MT-FB-AII方法与随机干扰源在四种评估数据集上的性能比较，这些数据集分别使用了52个、38个、26个、24个和5个PRB；每次评估都使用了5个目标UE。再次强调，MT-FB-AII在传输功率利用方面始终优于随机干扰源（RL节省了55.3%到91.9%的功率，而启发式方法节省了80.4%到100%的功率）。在高和变化性数据集上，RL/启发式MT-FB-AII在吞吐量偏差方面的表现比随机干扰源好6.8%/7.6%到64.5%/76.0%，因为这些数据集中的目标吞吐量相对较高，因此需要较少的干扰就能将目标UEs降低到其相应的目标吞吐量。MT-FB-AII在低数据集上的表现通常较差（原因已在前面解释）。对于中等数据集，当有5个目标UE和26个PRB时，MT-FB-AII的表现最佳。图12展示了MT-FB-AII与随机干扰源在四种评估数据集上的性能比较，这些数据集的网络规模分别为100%（10个目标UE和52个PRB）、50%（5个目标UE和26个PRB）和20%（2个目标UE和10个PRB）。在所有情况下，RL/启发式MT-FB-AII干扰源的传输功率使用量比随机干扰源少42.7%/80.4%到89.0%/95.5%。此外，在除低数据集外的所有数据集上，RL/启发式MT-FB-AII在吞吐量降低方面的表现比随机干扰源好30.3%/39.4%到70.6%/77.2%。这意味着随着目标UE数量与PRB数量的线性增长，MT-FB-AII与随机干扰源相比仍然非常有效。最后，上述所有图表中RL和启发式方法性能的相似性进一步证明了我们方案的有效性。乍一看，可能会觉得矛盾的是，理论上能够学习和利用PRB频率选择性的RL方案在许多情况下的表现并不比简单对待所有PRB的启发式方法更好。但这可能是由于环境本身的挑战性，因为在每个时间步，目标UE会被分配具有不同频率选择性的PRB。因此，RL似乎难以充分利用这种频率选择性。然而，两种方法表现出非常相似的性能，这证实了这两种技术以及MT-FB-AII的整体成功。

5.6. 关键实验结论
这些结果的关键实验结论有四点：(1) 我们提出的新型吞吐量估计方案利用目标UE的DCI来计算物理层吞吐量，能够准确捕捉目标UE的吞吐量表现。(2) 通过调整其传输增益并根据估计的吞吐量反馈指标选择要干扰的PRBs，FB-AII设备能够将目标UE的性能降低到干扰源指定的Ttarget值范围内——这意味着干扰源可以通过提供灵活性来更微妙地影响目标UE的PUSCH吞吐量；(3) 从干扰效率的角度来看，我们的方法比现有的[4]、[5]方法更为精细——即平均每单位增益造成的降级幅度更大，因此比基线方法更为高效；(4) 我们能够使用两种不同的方法将一组目标UE降低到相应的目标吞吐量，这两种方法的表现相似，从而相互验证。

6. 防御策略
开发颠覆性5G干扰技术的主要动机是更好地理解5G架构中固有的漏洞，并制定策略来减轻不必要的干扰影响。为了确保战术和民用应用中的可靠5G通信，需要深入了解最具危害性的干扰方案。基于这一目标，我们开发了一种新型干扰技术，旨在微妙地降低目标UE的PUSCH性能。在本节中，我们将概述一个初步的想法，该想法可以作为潜在的干扰缓解技术。

6.1. 通过反干扰来缓解干扰
通过反干扰来缓解干扰的概念在理论上是相对简单的——为了使我们在本文中提出的干扰策略能够降低目标UE的性能，干扰设备首先必须解码目标UE的DCI以获取其预定的PRBs和必要的反馈信息。因此，如果干扰设备无法解码目标UE的DCI，它就无法对该UE进行干扰，因为它不知道哪些PRBs被分配给了目标UE。正如预期的那样，已经证明，如果将干扰设备处的SINR降低到某个阈值以下，智能干扰源将无法正确解码目标UE的DCI，从而无法在目标UE的PRBs上传输数据[5]。因此，通过反干扰来缓解干扰的想法涉及通过传输反干扰信号来降低干扰源的SINR，使其无法解码目标UE的DCI。虽然这个想法在理论上看起来很简单，但在实际应用中会面临几个实施挑战。下面我们概述了与这种技术相关的几个初始挑战和问题：
- 反干扰设备应放置在哪里？可能将其与gNB共置是有意义的，但这需要进一步研究。
- 如何设计定向反干扰信号，使其仅干扰智能干扰设备而不干扰网络中的合法UE。
- 这种技术依赖于事先发现有意干扰者的存在和位置（以便向正确的方向传输反干扰信号），这本身就是具有挑战性的问题，需要彻底研究。
在未来的工作中，我们希望研究反干扰的想法，以开发出能够实现稳健和可靠NextG通信的干扰缓解策略。

7. 结论
随着5G网络变得越来越普遍，研究人员必须仔细研究威胁NextG网络的关键漏洞。正如我们所指出的，智能故意干扰技术是对网络性能危害最大的技术之一。鉴于这些技术可能以极其微妙的方式被利用来降低和破坏通信，等待恶意实体开发攻击后再制定防御措施是不可取的。相反，研究人员必须首先开发最微妙的攻击方式，以了解它们的有效性并制定必要的缓解技术来防止其成功。因此，在这项工作中，我们提出了一种利用目标UE的DCI消息来估计其物理层吞吐量的新方案，然后使用该估计的吞吐量作为反馈指标，微妙且自适应地干扰5G网络中指定目标UE（或一组目标UE）的PUSCH性能。我们提供了该方法的技术框架，并证明了该技术可以通过调整干扰源的传输增益或传输功率水平将目标UE的PUSCH吞吐量降低到期望的水平。此外，我们还简要提出了一种潜在的防御机制来减轻此类不必要的干扰的影响。最后，强调了研究5G架构中漏洞的重要性，我们希望这项工作有助于为战术和民用应用开发出稳健和可靠的通信。

CRediT作者贡献声明
Andrew Ashdown：写作——审阅与编辑、撰写初稿、可视化、软件开发、项目管理、方法论研究、数据分析、概念化。
Francesco Restuccia：写作——审阅与编辑、验证、监督、项目管理、概念化。

在本文的准备过程中，作者使用了ChatGPT（OpenAI）和Claude（Anthropic）来辅助编码和头脑风暴。使用这些工具/服务后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。