在主动干扰攻击下，用于联合机会性信道聚合和数据包大小适应的具有抗对手能力的深度强化学习方法

《IEEE Open Journal of the Communications Society》：Adversary-Resilient Deep RL for Joint Opportunistic Channel Aggregation and Packet-Size Adaptation Under Proactive Jamming Attacks

　　

摘要：

认知无线电网络（CRNs）允许未经许可的用户在保护已获许可的主要用户（PUs）的同时， opportunistically 利用频谱空闲资源。在支持带宽密集型服务的多用户 CRNs 中，满足高数据速率需求通常需要信道聚合，即同时使用多个空闲的已许可信道。然而，在同时存在不确定的主要用户反馈和主动干扰攻击的情况下，聚合更多信道并不总是有益的；虽然可以提高总数据速率，但也增加了数据传输失败的风险，因为成功传输要求所有选定的信道在整个控制加数据期间始终保持空闲且不受干扰。这引发了速率、可靠性和中断风险之间的根本性权衡。在本文中，我们研究了在服务质量（QoS）和可靠性约束下，信道集选择与数据包大小调整的联合优化问题。我们使用一个与信道空闲时间相关的、不依赖于具体分布的生存函数来建模剩余的主要用户空闲时间，并为主动干扰行为开发了一个类似的剩余信道无干扰模型。基于这些模型，我们推导出了一个数据包成功传输的表达式，该表达式明确考虑了由主要用户活动和干扰引起的控制开销和中断。所形成的决策问题被构建为一个无限视界的折扣马尔可夫决策过程（MDP），其可行动作取决于状态，并受到可靠性、信噪比（SNR）和总数据速率的限制。为了在线解决该问题，我们提出了一个考虑干扰和主要用户行为的深度强化学习框架，该框架结合了动作掩蔽、深度 Q 网络（DQN）、基于收敛性的探索以及候选动作的减少机制，以高效处理组合动作空间。仿真结果表明，在异构的、非无记忆的主要用户和干扰动态环境下，与分阶段、固定数据包和基于分片的基线方法相比，该框架能够实现持续的性能提升。