考虑硬件缺陷的STAR-RIS辅助毫米波NOMA系统中，用于联合资源优化的连续控制深度强化学习方法

《Scientific Reports》：Continuous control deep reinforcement learning for joint resource optimization in STAR-RIS assisted mmWave-NOMA systems with hardware impairments

　　

摘要

本文提出了一种连续控制深度强化学习框架，用于在同时发送和反射的可重构智能表面辅助的毫米波非正交多址接入网络中，实现功率分配、混合波束成形以及相移配置的联合优化。该系统通过在满足服务质量要求的同时最大化用户间的最小信干噪比，从而支持包括增强型移动宽带和超可靠低延迟通信在内的多种异构服务。实际硬件缺陷，如不完美的连续干扰消除以及同相与正交分量失衡问题，也被纳入系统模型中，以考虑剩余干扰和收发器失真效应。基于Softmax深度双确定性策略梯度算法的连续控制深度强化学习框架被开发出来，用于在这些非理想条件下共同优化网络资源。大量的仿真结果表明，所提出的STAR-RIS辅助SD3框架在可实现的总速率和收敛性能方面，均优于传统的RIS方案以及基准深度强化学习算法。此外，在信道状态信息不完美、硬件缺陷程度不同以及瑞利衰落条件变化的情况下进行的稳定性测试表明，尽管存在信道不确定性和实际收发器缺陷，该方法仍能保持优异的性能，凸显了其在下一代毫米波通信系统中的应用价值。