《Journal of Automation and Intelligence》：Post-fault user-cell association in 5G wireless networks via federated dueling double deep Q-networks
编辑推荐：
本文提出了一种基于深度强化学习（Deep Reinforcement Learning, DRL）的5G网络故障后用户-小区关联（User-Cell Association, UA）新方法，该方法基于对偶双深度Q网络（Dueling Double Deep Q
本文提出了一种基于深度强化学习（Deep Reinforcement Learning, DRL）的5G网络故障后用户-小区关联（User-Cell Association, UA）新方法，该方法基于对偶双深度Q网络（Dueling Double Deep Q-Network, D3QN）算法，并针对UA场景定制了ε-贪婪（ε-greedy）探索机制。此外，研究人员还提出了上述方法的联邦学习（Federated Learning, FL）变体，支持UA策略的分布式训练，其中每个用户先连接至最佳信号小区，再由该小区向所选动作对应的目标小区执行关联流程。该方法将每个接入点（Access Point, AP）建模为联邦强化学习架构中的独立学习智能体，每个AP智能体观测当前用户相对于自身及相邻AP的参考信号接收功率（Reference Signal Received Power, RSRP），以及邻近区域的本地负载估计，并据此从离散动作空间中选择合适的AP进行UA，以最大化长期网络效用函数。据研究人员所知，该工作是首批将联邦深度强化学习与多智能体D3QN相结合的5G接入网故障后UA方案之一。D3QN算法基于双Q学习（Double Q-Learning），可缓解过估计偏差（overestimation bias）等已知学习问题，并通过目标网络、经验回放缓冲区（replay buffer）和状态价值解耦确保经验稳定性。该联邦设计无需共享原始用户或网络数据即可实现UA策略的分布式训练，在保护隐私的同时，具备跨大规模去中心化网络部署的控制面与边缘级可扩展性。
一、研究背景与问题
随着城市中心区域不断密集化以及现代蜂窝网络复杂度的持续提升，动态流量模式日益复杂，传统用户-小区关联（UA）策略正面临严峻挑战。在人口密集区域，移动设备（如智能手机、平板电脑和笔记本电脑）的无线连接经常遭遇服务中断或体验质量损失。UA问题在传统上被定义为将用户分配给某个接入点（AP），同时尽可能满足用户预期性能与网络约束。在商用4G和5G网络中，用户通常被分配给提供最高参考信号接收功率（RSRP）的小区，即最大RSRP（Max-RSRP）策略，并可辅以信号与干扰加噪声比（SINR）等信号质量指标进行调整。然而，这种贪婪策略在低流量条件下简单有效，却未能考虑负载分布，在密集部署场景（如城市中心、音乐会或体育赛事等人群聚集区域）中会导致网络性能次优。
传统文献中，UA问题主要通过匈牙利算法等组合优化技术解决，这类方法在小规模一对一匹配场景中高效，但在5G超密集部署和严格服务质量（QoS）要求下显得力不从心。与旧系统不同，5G引入了数百甚至数千用户与有限基站（BS）集动态关联的场景，涵盖宏小区、小小区和毫米波AP，各具容量限制和差异化覆盖，使得传统一对一关联模型不再适用，亟需更灵活的多人对单基站（many-to-one）模型，以兼顾负载均衡、异构用户需求和多频段异构网络中的联合信道分配。为应对这些复杂性，研究人员采用了凸优化技术，将UA问题建模为受功率预算、用户-BS链路质量和BS负载容量约束的资源分配问题。当非凸特性导致直接优化不可行时，则应用对偶分解和拉格朗日松弛方法将全局问题解耦为可管理的子问题。部分优化算法从负载感知角度设计，更关注避免BS容量饱和而非保障用户QoS，但此类方案往往僵化、需全局网络知识，且缺乏动态环境下的适应性和可扩展性。
上述分析方法常依赖对信道条件或流量模型的简化假设。为此，近期研究探索了机器学习（ML）方法，包括K-Means和模糊C-Means等无监督聚类技术、基于深度学习的监督模型，以及将ML与优化启发式结合的混合模型。在ML框架中，强化学习（RL）近年来已成为无线网络自适应在线决策的有前景策略，其通过与环境交互学习自适应关联策略，适用于非平稳和部分可观测场景。Q学习、深度强化学习（DRL）和深度Q网络（DQN）及多智能体RL已在复杂5G场景管理中展现出显著潜力。然而，现有基于RL的UA方案多依赖集中式训练与推理，需要全局网络状态信息，不仅带来巨大通信开销和信令瓶颈，还引发隐私担忧，尤其在多运营商或基础设施共享环境中。此外，多数先前工作将网络视为单一智能体，忽略了真实5G系统的分布式特性。多智能体强化学习（MARL）因其建模动态部分可观测环境中多智能体交互的能力，日益被视为分布式决策的关键使能技术。在此背景下，联邦深度强化学习作为分布式RL的自然延伸，允许多智能体在不共享原始本地观测的情况下协作学习无线接入策略，但现有方案通常假设正常运行条件，未明确应对小区中断后所有受影响用户立即重新关联的挑战性场景。
二、研究内容与结论
针对上述问题，本研究提出了一种隐私保护、分布式的故障后UA学习框架，基于D3QN算法并采用针对无线网络UA问题定制的探索策略。研究将UA问题置于存在小区故障的5G网络中，即某小区性能下降或服务不可用，故障区域内用户必须被重新分配至相邻AP以恢复其标称QoS。该方法将每个AP建模为联邦RL架构中的独立学习智能体，每个智能体观测当前用户相对自身及相邻AP的RSRP以及邻近区域负载估计，从离散动作空间中选择合适AP，以最大化长期网络效用。据研究人员所知，该工作是首批将联邦深度强化学习与多智能体D3QN相结合的5G接入网故障后UA方案。研究得出以下主要结论：其一，所提出的基于D3QN的DRL方法采用定制ε-贪婪探索机制，智能体可选择性利用启发式替代方案（如选择负载最轻的AP或RSRP最大的AP）进行探索，而非纯随机探索，从而提升学习效率，且D3QN缓解了标准DQN方法常见的Q值过估计问题。其二，联邦变体支持UA策略的分布式训练，无需共享原始用户或网络数据，保障隐私并实现大规模去中心化网络部署的控制面和边缘级可扩展性；在联邦设置中，每个用户连接至最佳RSRP小区，由该小区向所选动作对应的目标小区执行关联流程，符合实际5G无线接入网连接流程。
三、关键技术方法
研究人员采用了以下主要关键技术方法：第一，D3QN算法，其基于双Q学习（Double Q-Learning），通过目标网络、经验回放缓冲区和状态价值解耦缓解过估计偏差并确保经验稳定性。第二，定制ε-贪婪探索机制，允许智能体在探索阶段选择启发式替代动作（如最小负载AP或最大RSRP AP）而非纯随机动作，以提升学习效率。第三，联邦学习架构，支持多个AP智能体在分布式环境中协作训练UA策略，仅交换模型参数而不共享原始用户或网络数据。第四，马尔可夫决策过程（MDP）与RL框架，用于建模智能体与5G蜂窝网络环境的交互学习过程。第五，蜂窝网络系统建模，采用六边形小区结构，每个BS管理3个小区，配备多天线阵列并支持波束赋形。
四、研究结果
系统模型与网络建模：研究构建了包含多个宏BS的5G网络，每个BS管理3个六边形小区，配备多天线阵列并支持波束赋形，以优化信号传输并最小化相邻小区干扰。网络包含M个BS和3M个小区，每个小区拥有自己的用户集合。
RL框架与UA方法：研究将UA问题建模为MDP，每个AP作为独立学习智能体，观测RSRP和负载信息，选择关联动作以最大化长期效用。D3QN通过解耦状态价值与动作优势，结合双Q学习机制，有效缓解Q值过估计问题。
联邦学习集成：提出联邦变体，各AP智能体在本地训练模型，仅向中央服务器上传模型更新，中央服务器聚合后分发全局模型，实现隐私保护的分布式训练。
仿真设置与性能分析：研究通过仿真实验评估所提方法性能，与基准方案（如Max-RSRP）对比，验证了所提方法在故障后UA场景中的有效性，包括负载均衡改善和用户QoS恢复。
五、讨论与结论
讨论部分指出，所提出的联邦D3QN方法在保持隐私的同时实现了分布式训练，克服了集中式方案的信令瓶颈和隐私风险。结论部分总结认为，该研究提出的基于D3QN的故障后UA方法及其联邦变体，为5G网络中的用户重新关联提供了一种高效、可扩展且隐私保护的解决方案，未来工作可探索更复杂网络场景和更多智能体协作机制。
