毫米波网络中高效的用户调度：利用信道知识图谱实现知识转移

《Digital Communications and Networks》：Efficient user scheduling in mmWave networks: leveraging knowledge transfer with channel knowledge map

本文提出了一种基于信道知识图（CKM）的深度强化学习（DRL）算法，用于毫米波（mmWave）网络中的用户调度问题。该算法通过CKM进行知识迁移，减少对实时信道状态信息的依赖，并整合了中继选择、码本选择和波束跟踪机制，实现动态高效的资源分配。仿真结果表明，该方法较传统基线方法收敛速度提升约20%，平均队列长度减少近30%，同时将延迟控制在30毫秒以内，有效提升了系统性能和稳定性。

　　在当今快速发展的无线通信技术中，毫米波（mmWave）网络因其高带宽和低延迟的特性，成为5G及未来6G网络的重要组成部分。然而，mmWave网络的环境复杂性，如高频率带来的信号传播特性、用户设备的移动性以及可能的信号阻塞，使得传统的基于实时信道状态信息（CSI）的调度策略面临诸多挑战。本文提出了一种基于深度强化学习（DRL）和信道知识图（CKM）的知识迁移算法，旨在提升mmWave网络中用户调度策略的学习效率和性能稳定性。

### 1. 背景与挑战

随着下一代无线网络的快速发展，尤其是大规模MIMO系统的普及，高效用户调度策略变得尤为重要。MIMO系统中的用户调度不仅需要满足高吞吐量的需求，还必须应对低延迟和可靠通信质量的挑战。然而，传统的调度方法通常依赖于实时CSI，这需要持续更新以反映网络状态的快速变化。这种方法在高用户移动性或复杂干扰环境中会带来较高的计算和反馈成本。为了克服这一问题，知识迁移技术被引入，作为一种有前景的解决方案，它利用已有的知识来提升调度策略的适应性和学习效率。

在动态网络环境中，用户调度需要快速响应环境变化，这使得传统基于统计模型的方法显得不够灵活。此外，实时CSI的获取往往受到环境噪声和信道状态不确定性的影响，导致调度决策的不稳定。因此，如何在复杂和动态的网络环境中高效地进行用户调度，成为当前研究的热点。

### 2. 系统模型与问题定义

本文提出的模型基于一个由多个队列组成的系统，每个队列代表一个用户的业务需求。这一设计允许基站（BS）在不同环境条件下进行动态调度决策。在系统运行过程中，BS和用户设备（UE）通过预定义的代码本进行波束训练，以确定最优的波束对。在训练阶段，BS和UE测试各自的波束，并根据反馈选择最优的波束对。在数据传输阶段，BS和选定的UE使用该波束对进行通信。传输的调制编码方案（MCS）由预定义的映射表决定，该表根据接收信号强度（RSS）或信噪比（SNR）选择合适的MCS，以确保最高的支持传输速率。

此外，用户设备的移动性和波束跟踪机制也被纳入系统模型中。当用户设备在连续时间槽中保持在某个波束范围内时，BS可以利用波束跟踪机制来维持通信链路的稳定性。波束跟踪过程中，BS在固定的扇形区域内评估当前最优波束与邻近波束之间的差异，以确保链路质量的稳定。

为了更全面地理解系统行为，本文引入了CKM来存储和利用物理环境信息，包括大尺度信道增益、阴影效应、干扰以及到达和离开角度等。CKM提供了结构化的信道信息，使得调度策略可以在不依赖实时CSI的情况下进行优化，从而降低计算成本并提高调度效率。通过CKM，系统可以提前感知环境变化，从而在调度决策中考虑这些因素，实现更高效的资源分配。

### 3. 算法设计与实现

本文提出的解决方案基于一个部分可观测马尔可夫决策过程（POMDP）模型，该模型结合了用户调度和链路配置的优化问题。POMDP模型允许调度策略在不完全观测环境状态的情况下进行优化，同时利用CKM提供的环境信息来提升策略的适应性。为了实现这一目标，本文引入了基于PPO的强化学习算法，该算法在CKM的辅助下进行调度策略的预训练和在线适应。

PPO算法是一种基于策略梯度的强化学习方法，它通过限制策略更新的幅度来提升训练的稳定性和收敛速度。与传统的基于值函数的算法（如DQN）相比，PPO算法更适合处理高维和复杂的环境状态空间。在本文中，PPO算法通过引入熵正则化项来鼓励探索，从而避免策略过早收敛到局部最优。同时，CKM的引入使得调度策略可以从已有的知识中获得初始状态，从而加速训练过程。

在实现过程中，本文设计了两个关键的神经网络：策略网络（Actor）和价值网络（Critic）。策略网络负责生成动作概率分布，而价值网络则用于估计状态值函数。通过结合CKM，策略网络可以利用已有的信道信息进行初始训练，从而减少对实时CSI的依赖。价值网络则通过基于GAE（广义优势估计）的方法来估算优势函数，以提升策略更新的稳定性。

此外，本文还设计了知识迁移机制，将CKM作为知识源，用于初始化和指导策略学习。这一机制使得调度策略可以在不同的网络环境中快速适应，同时保持较高的性能稳定性。通过CKM，系统可以在训练前获取信道信息，从而减少训练过程中的探索次数，提升算法的收敛速度。

### 4. 实验与结果分析

为了验证所提出方法的有效性，本文进行了广泛的仿真实验，并与传统的调度方法进行了对比。实验结果表明，结合CKM和知识迁移的DRL算法在多个关键指标上均优于传统方法。具体而言，所提出的算法在收敛速度上提高了约20%，在延迟控制上保持在30毫秒以内，并且将平均队列长度减少了近30%。

仿真中，我们考虑了不同的场景，包括用户设备的移动性、信道阻塞概率以及不同的UE数量。结果表明，随着UE数量的增加，延迟和队列长度均有所上升，但所提出的算法仍然能够保持较低的延迟和稳定的队列长度。此外，实验还展示了不同训练迭代次数对性能的影响，表明随着训练次数的增加，算法的收敛速度和稳定性均有所提升。

### 5. 未来展望

本文的研究为mmWave网络中的用户调度问题提供了一种新的解决方案，即基于CKM的知识迁移DRL算法。然而，这一方法仍然存在一些挑战，例如如何在多小区环境中扩展调度策略，以及如何进一步优化算法的计算效率。未来的研究可以关注这些方面，以提升算法的可扩展性和鲁棒性。

此外，本文的实验主要集中在静态的CKM构建和使用上，但在实际环境中，CKM的构建可能受到数据稀疏性的影响。因此，如何在数据稀疏的情况下利用机器学习技术（如KNN、Kriging插值和深度神经网络）来构建完整的CKM，也是未来研究的一个重要方向。

综上所述，本文提出的方法为mmWave网络中的用户调度问题提供了一种新的解决方案，通过结合CKM和知识迁移技术，使得调度策略能够在复杂和动态的网络环境中高效运行。实验结果表明，该方法在多个关键指标上均表现出色，具有广泛的应用前景。