基于深度强化学习的蜂窝网络mMTC接入控制：动态访问等级限制机制研究

《Array》：Deep reinforcement learning-based access class barring for mMTC access control in cellular networks

本文针对蜂窝网络中大规模机器类型通信(mMTC)引发的随机接入信道(RACH)拥塞问题，提出了一种基于深度强化学习(DRL)的动态访问等级限制(ACB)机制。研究团队采用对决双深度Q学习(Dueling DDQL)算法，在LTE-A和5G NR标准框架下动态调整ACB的禁止因子参数。结果表明，该机制在30,000个M2M用户设备(UE)场景下实现了0.9998的接入成功率，显著优于传统静态ACB方案(Ps≥0.95)，同时降低了接入延迟和能量消耗。这项工作为5G物联网海量连接提供了高效的接入控制解决方案。

　　

随着物联网(IoT)技术的飞速发展，全球物联网连接数预计到2033年将达到400亿规模，其中大规模机器类型通信(mMTC)作为IoT的重要应用场景，正推动着智能计量、资产追踪等领域的革命性变革。然而，当海量的M2M设备同时尝试接入主要为人与人(H2H)通信设计的蜂窝网络基站(eNB/gNB)时，物理随机接入信道(PRACH)便会面临严重的拥塞挑战。这种"信令风暴"会导致通信延迟加剧、数据包丢失甚至服务中断，成为制约mMTC规模化应用的瓶颈问题。

传统上，3GPP标准提出的访问等级限制(ACB)方案通过设置静态的禁止因子(P_ACB)和禁止时间(T_ACB)参数来缓解接入拥塞。但研究表明，在动态变化的网络环境下，固定参数配置难以实现最优的接入成功率(P_s≥0.95)。针对这一挑战，Workineh Gebeye Abera等研究人员在《Array》期刊上发表了创新性研究成果，提出了一种基于深度强化学习的动态ACB机制，为5G mMTC接入控制提供了智能解决方案。

关键技术方法方面，研究团队严格遵循3GPP Release 14标准，构建了包含H2H和M2M设备的混合通信场景。他们采用对决双深度Q学习(Dueling DDQL)算法架构，将基站定义为智能体，将禁止因子调整作为动作空间，通过设计包含成功接收前导码数量均值(E[N_sp])、变化量(ΔE[N_sp])等要素的状态空间，并创新性地引入经验回放(ER)机制，使系统能够自主学习最优的禁止因子调整策略。实验数据融合了3GPP定义的Beta(3,4)分布M2M流量模型和意大利电信的实际H2H通信数据集，确保了研究的实用性和可靠性。

系统背景与问题分析

研究人员首先深入剖析了蜂窝网络随机接入过程的技术细节。当UE需要传输数据时，必须通过四步竞争式随机接入过程与基站建立连接：首先随机选择前导码(Msg1)发送请求，基站响应随机接入响应(Msg2)，UE发送连接请求(Msg3)，最后基站进行竞争解决(Msg4)。每个小区仅有54个可用于竞争接入的前导码资源，当大量设备同时接入时就会发生前导码碰撞，导致接入失败。ACB机制通过控制禁止因子来限制每个随机接入机会(RAO)中的接入请求数量，但静态参数在动态流量环境下表现不佳。

深度强化学习ACB机制设计

研究团队创新地将基站定义为强化学习智能体，将其与包含M2M和H2H UE的环境进行交互。状态空间精心设计为四个关键指标：当前禁止因子、成功接收前导码数量的均值、均值变化量以及归一化样本标准差。动作空间包含16个离散的禁止因子调整选项，从0.05到1.0不等。奖励函数基于接入成功率的优化目标进行设计。采用的对决双深度Q网络(Dueling DQN)创新性地将Q值分解为状态值函数和优势函数，通过两个独立的网络流分别学习状态价值和动作优势，显著提高了学习效率和策略质量。

性能评估与结果分析

在负载测试中，当M2M UE数量达到30,000时，提出的机制实现了0.9998的接入成功率，接近理论最优值。关键指标显示，平均每个成功连接的UE仅需1.72次前导码传输，显著降低了设备能耗。特别是在高负载场景下(40,250个M2M UE)，机制仍能维持P_s≥0.95的优异性能，而传统的Q学习ACB方案在60,000 UE时性能急剧下降至0.1272。机制智能地将平均接入延迟控制在6,700ms左右，相比参考方案降低了约12%的延迟。

与传统方案的对比研究

与基于传统Q学习的ACB方案相比，Dueling DDQL机制在保持相近接入成功率的同时，在延迟敏感和能耗敏感场景中展现出明显优势。这主要归功于其改进的网络结构有效缓解了Q学习固有的过估计问题，并通过状态价值与动作优势的分离学习获得了更好的泛化能力。在M2M UE数量超过30,000的高负载条件下，提出的机制性能下降更为平缓，显示出更强的鲁棒性。

这项研究的重要意义在于首次将先进的Dueling DDQL算法应用于5G mMTC接入控制领域，为解决物联网海量连接挑战提供了新颖的思路。研究成果不仅验证了深度强化学习在复杂通信环境中的实用价值，还为未来B5G/6G网络的智能资源管理奠定了理论基础。通过与实际运营商数据结合的验证方式，确保了方案具备实际部署的可行性，为蜂窝网络支持大规模物联网应用提供了关键技术支撑。