在受控的射频测量-重放测试平台上，评估HNP-DQNa混合神经-多项式深度Q网络在具有切换意识的频谱选择中的应用

《Sensors》：Evaluation of HNP-DQNa Hybrid Neural–Polynomial Deep Q-Network for Switching-Aware Spectrum Selection in a Controlled RF Radio-Frequency Measurement-Replay Testbed

　　

摘要

在频谱选择过程中，需要权衡干扰避免与重新调整成本之间的平衡。本文在一个八通道、基于测量的5 GHz测试平台上评估了一种混合神经-多项式深度Q网络（HNP-DQN），该平台存在外部扫描和随机干扰。该架构结合了学习到的潜在特征、逐元素二阶扩展、层归一化（LayerNorm）以及一个对抗式的双深度Q网络（DDQN）框架。在构建窗口之前，数据文件会被进行分离；评估内容包括预先检查的导频信号以及两个未检查的距离和功率传输情况。比较对象还包括基于确定性规则的方法以及使用相同DDQN训练的容量匹配多层感知器（MLP）。所有方法都在相同的轨迹上进行评估，这些轨迹由10个独立训练的种子生成，并采用Holm校正方法。在确定性扫描环境下，规则被赋予了预先设定的初始相位和逐通道的移动方向，并使用内部步进计数器来跟踪移动过程。这些调度变量以及相应的步进索引在HNP-DQN的48维观测数据中是不存在的。该规则与基于动态规划的轨迹上限相匹配，在所有三种情况下都优于HNP-DQN（性能差异表示为HNP-DQN的结果减去规则的结果：、 和 menu_counter="2">）；所有调整后的方法（）也是如此）。这种信息不对称的运行比较显示了直接利用预定扫描规范及其进展所带来的优势；然而，它并未提供一个基于信息匹配的架构 ranking。相比之下，在随机干扰环境下，经过校正后，HNP-DQN与阈值规则之间的所有比较结果均不显著，HNP-DQN与MLP之间的六组容量匹配比较也是如此。在24组探索性消融比较中，有1组结果表明变体在随机导频信号下表现更好，而另外23组的比较结果则没有明显差异。因此，本文提供了一个信息感知的、参数大致匹配的参考框架，用于评估在预定测量回放范围内何时显式知识、基于观测的控制或额外的学习复杂性是必要的。