面向NR/NR-U异构网络多类URLLC与eMBB切片的基于PPO的QoS感知资源管理

《Scientific Reports》：PPO-based QoS-aware resource management for multi-class URLLC and eMBB slices in NR/NR-U HetNets

　　

在多无线接入技术（multi-RAT）异构网络（HetNet）中利用新空口（NR）和非授权新空口（NR-U）技术可缓解流量拥塞并提升整体容量。因此，引入并构建一个优化问题，以在满足关键时延要求的同时通过最大化数据速率来最大化用户的服务质量（QoS）满意度。为适配异构超可靠低时延通信（URLLC）服务，考虑具有不同时延需求的多个业务类别，并采用可扩展numerology微时隙（mini-slot）技术以满足每个业务类别的QoS需求。提出一种迭代框架，将考虑共存Wi-Fi用户的用户关联的后悔匹配学习（regret matching learning）与近端策略优化（PPO）算法相结合，后者基于每个切片的预定义numerology值确定最优资源分配。提出一种对数效用函数以在满足每个用户服务需求的同时强制比例公平。仿真结果表明，所提框架实现74%的总体QoS满意度，显著优于包括NR-only、NR-Wi-Fi、NR-NR-U和LWA在内的基准架构。此外，与其他强化学习算法，如Q-network、深度Q网络（DQN）、double DQN、dueling DQN和演员-评论家（actor-critic）的比较评估证实了所提基于PPO方法的稳定性和性能。

研究人员针对第六代（6G）及Beyond Fifth Generation（B5G）中大规模机器类通信（mMTC）、增强移动宽带（eMBB）和超可靠低时延通信（URLLC）等多样业务需求，研究了多无线接入技术（multi-RAT）异构网络（HetNet）中的动态无线资源管理问题。网络切片（NS）可通过虚拟化、软件定义网络（SDN）和网络功能虚拟化（NFV）在共享物理基础设施上创建多个逻辑网络。NR可扩展numerology通过正交频分多址（OFDMA）灵活帧结构、时隙与微时隙划分支持低时延传输；非授权频段可通过Wi-Fi卸载拥塞，但Wi-Fi缺乏网络切片和可扩展numerology等NR关键特性。3GPP Release 17中的NR-U引入网络切片和可扩展numerology，并可通过载波聚合（CA）将授权NR小小区与非授权NR-U小小区结合，从而提升带宽、吞吐量并降低时延。现有研究多分别关注切片管理、NR numerologies、NR-U与Wi-Fi共存或强化学习（RL）资源分配，未在多RAT HetNet中联合利用授权与非授权频谱，也未同时处理具有不同numerology配置的多类URLLC业务，并联合优化用户关联和动态切片资源分配。基于此，研究人员提出一种聚合NR授权频段与NR-U非授权频段的multi-RAT HetNet框架，利用网络切片和可扩展numerology最大化用户QoS满意度，同时考虑不同URLLC流量类别的异构时延需求，并兼顾共存Wi-Fi用户。

研究人员构建的系统包含一个宏基站（MBS）和多个毫微微基站（FBS），部分FBS工作在NR授权频段，部分工作在NR-U非授权频段，且NR-U FBS与Wi-Fi接入点（WAP）共存。系统支持三种下行传输类型：NR、NR-U以及NR与NR-U之间的CA聚合传输。每个基站支持两类网络切片：一个eMBB切片和多个URLLC切片；URLLC进一步划分为A、B、C三类，每类作为独立切片并采用预定义numerology值，eMBB切片采用μ_s=0，三个URLLC类别采用μ_s∈{1,2,3}。研究人员提出多目标优化问题OPT-UA，目标为在满足最小速率R_min和最大时延D_max约束下最大化用户QoS满意度，并通过对数效用函数强制比例公平。该问题被分解为两个子问题：一是用户关联，二是每个基站中各切片的切片比例/资源分配。用户关联采用后悔匹配学习算法，使用户在NR、NR-U和CA等传输配置及基站之间选择，并收敛至相关均衡；资源分配采用PPO算法，每个基站本地PPO代理根据当前资源块（RB）分配状态、每切片用户数和信道质量指示（CQI）统计表示，动态调整各numerology切片的RB分配，并在带宽守恒约束下最大化累积QoS满意度奖励。研究人员还建立了NR、NR-U和CA的速率与时延分析模型，其中NR-U采用基于Cat4先听后说（LBT）的二维Markov链建模，CA时延按两条聚合链路的时隙比例拆分数据包并取最大传输时延。

关键技术方法概括：研究人员采用MATLAB R2022a进行仿真，结果由1000次Monte Carlo实现平均得到；使用Adam优化器训练网络参数，学习率为2×10^-8，mini-batch大小为64，L₂正则化因子为0.0001；用户按均匀分布随机部署；传播环境采用3GPP路径损耗模型；PPO代理离线训练2100个总episode，约800个episode达到稳定与收敛，训练约36小时，在线策略测试执行时间为13.43秒；后悔匹配算法在达到最大迭代次数或满足收敛阈值时终止。无样本队列来源，研究对象为仿真用户与基站部署。

研究结果中，仿真设置部分显示：采用一个MBS和三个FBS的multi-RAT HetNet，一个FBS仅部署NR，一个仅部署NR-U，第三个同时部署NR和NR-U以表示CA；两个非授权频段FBS使用两个非重叠信道，并部署若干WAP及每WAP服务的用户以模拟共存。每个FBS半径为50 m，部署在350×225 m²室内热点区域并处于半径1000 m的MBS覆盖下；每个FBS分为一个eMBB切片和三个URLLC切片。基准模型包括NR-only、NR-WiFi、LWA和NR/NR-U with CA；RL对比包括Q-net、DQN、double DQN、dueling DQN和actor-critic（AC），并设定R_min=1 Mbps、D_max=1 ms。

与基准架构比较部分表明：随着用户数从40增至80，所提框架的QoS满意度优于NR-only、NR-WiFi、LWA和NR/NR-U，并在U=80时达到约74%。NR-only初期约50%满意度，用户增加后因授权频段容量有限而下降；NR-WiFi因非授权Wi-Fi支持略有改善，但在80用户时降至50%；LWA可聚合NR与Wi-Fi提高容量，但Wi-Fi不支持网络切片和多numerology，难以保证SLA；NR/NR-U with CA显著提升满意度，但未区分URLLC类。所提模型通过URLLC流量分类与numerology感知切片，并利用NR与NR-U之间CA，较Model 4在U=80时提升约21%，同时保证eMBB用户速率与用户间公平。

与强化学习算法比较部分表明：DQN和double DQN初期性能高，但随用户增加快速退化至约45%；Q-net初期高于75%，高负载时下降；dueling DQN在值函数算法中表现最好，U=40时约71%，随环境动态变化较稳定。PPO在U=40时略低于dueling DQN约1.4%，但在U=80时平均QoS满意度高于74%，95%置信区间为[0.6520,0.8324]，其裁剪机制限制策略大幅波动。AC在U=40时约75%，但随用户增加退化，PPO在高负载下更稳定并达到约75%。

Jain公平性指数评估部分表明：研究人员将公平性分解为eMBB速率公平性和URLLC时延公平性。速率公平性方面，所有算法随用户数增加而下降，但PPO表现最佳且退化稳定，在高负载时速率公平指数可达73%。时延公平性方面，dueling DQN初期最高，但用户增加后下降；AC初期最低，随用户数接近80而显著提高，因其评论家更稳定、策略更一致，使用户时延更均衡；PPO在低密度和高密度下均保持稳定的时延Jain公平指数。总体上PPO能平衡速率公平与时延公平，实现最高总体用户满意度。

中断概率与统计检验部分表明：速率中断概率定义为可达数据速率低于R_min的概率，时延中断概率定义为排队时延超过D_max的概率。值函数RL算法在高用户密度下速率中断概率较高；策略式RL算法保持较低中断概率，其中AC在速率中断上略优于PPO，但以时延性能为代价。延迟中断方面，PPO表现最佳，U=40时最低中断为17.1%，用户增加后达到20.48%；DQN在值函数算法中延迟中断最好。Friedman非参数检验使用40至80用户负载条件结果，显示算法间差异具有统计显著性，速率中断全局p值为0.0001，时延中断全局p值为0.0013；PPO在速率中断分析中平均秩为1.8，在时延中断分析中总体平均秩最佳为1.25。

收敛性与复杂度部分表明：PPO、AC、dueling DQN、DDQN、DQN和Q-learning的收敛所需迭代次数在用户数从40增至80时基本稳定。PPO收敛行为近乎稳定，迭代数约从2.7增至2.8，表明其能维持稳定学习率并兼顾QoS满意度与公平性。Q-Net、dueling DQN和DDQN在低密度时迭代数约3，高密度时可能略快收敛，但以系统性能为代价；DQN效率最低，迭代数最高。复杂度方面，Q-learning为O(IT)，DQN为O(IT(V+Lh²))，dueling DQN为O(N⁰_neuN¹_neu+Σ_ι=1^LN^ι_neuN^ι+1_neu)，DDQN近似为O(2IT(V+Lh²))，AC为O(IT(L_ah_a²+L_ch_c²))；PPO沿用actor-critic结构并加入裁剪目标，训练复杂度为O(BMTΣ_l=0^LN_lN_l+1)，测试复杂度为O(|S_b|×|A_b|)，其中|A_b|=12，训练离线执行，测试阶段仅需前向传播，便于实时实现。

讨论与结论翻译：本研究提出了multi-RAT HetNet架构中eMBB与URLLC流量类别切片共存的动态无线资源分配框架。通过利用授权NR和非授权NR-U频段中的网络切片与6G可扩展numerology，并考虑共存Wi-Fi用户，研究人员构建了多目标优化问题以满足个体用户QoS需求。综合仿真评估与NR-only、NR-Wi-Fi、NR-NR-U和LWA等基准部署，以及Q-net、DQN、double DQN、dueling DQN和AC等强化学习基线算法进行比较。结果表明，所提模型实现约74%的总体QoS满意度。为评估eMBB和URLLC特定服务类别内的公平性，研究人员对eMBB用户和URLLC用户评估Jain公平性指数，证实基于PPO的分配策略在用户间维持公平资源分配。系统中断概率评估也表明，所提PPO算法在重负载下较其他深度强化学习基线具有更低中断值。尽管所提框架有效优化资源分配，但仍存在局限性：当前模型假设静态用户分布，未来需扩展至高速度用户移动和动态切换机制；未来将纳入mMTC以评估超密集设备连接下的可扩展性；将多智能体强化学习流程集成到开放无线接入网络（O-RAN）架构，特别是作为近实时RAN智能控制器（Near-RT RIC）的xApps，是走向实际实现的有价值路径。