基于深度强化学习的Wi-Fi多接入点协调调度方法

《IEEE Transactions on Machine Learning in Communications and Networking》：Deep Reinforcement Learning-Based Scheduling for Wi-Fi Multi-Access Point Coordination

　　

摘要：

多接入点协调（MAPC）是IEEE 802.11bn标准中的一个关键特性，对未来的Wi-Fi网络具有潜在影响。MAPC允许多个接入点（AP）共同进行调度决策，从而提高密集Wi-Fi环境中的吞吐量、延迟和可靠性。然而，在具有重叠基本服务集（OBSS）的各种流量和干扰条件下实现高效的调度策略仍然是一项复杂的任务。本文提出了一种方法，通过将MAPC调度问题表述为序列决策问题，并采用深度强化学习（DRL）机制来最小化OBSS部署中的最坏情况延迟。具体而言，我们在一个兼容802.11bn标准的Gymnasium环境中使用近端策略优化（PPO）训练了一个DRL代理。该环境提供了队列状态、延迟指标和信道条件的观测数据，使代理能够利用空间复用（SR）组来调度多个AP站点对同时传输。仿真结果表明，我们提出的解决方案在各种网络负载和流量模式下均优于现有的启发式策略。训练有素的机器学习（ML）模型能够持续实现更低的99百分位延迟，相比最佳基线方案提高了多达30%的性能。