《Internet of Things》：A practical distributed learning approach for NORA in relay-assisted ALOHA networks
编辑推荐：
本文聚焦物联网（IoT）中大规模设备接入的挑战，针对传统正交接入技术频谱效率低、碰撞率高的问题，研究了中继辅助的非正交随机接入（Relay-assisted NORA）机制。研究人员将多臂老虎机（MAB）算法与强化学习（RL）框架相结合，提出了一种分布式多智能体学习方法，使得设备能够自主、独立地学习最优的信道-功率对选择策略，以最大化中继辅助信道上的传输成功率。仿真结果表明，所提出的双重估计集成贪婪算法在成功率和收敛速度上均优于基准方案，尤其在中继位置使得两跳链路信道条件对称时性能提升显著。该工作为大规模、去中心化IoT网络的分布式随机接入优化提供了新思路。
想象一下，在一个庞大的智能工厂里，成千上万的温度、压力传感器需要将数据实时回传给中央服务器。然而，由于距离远、障碍物多，许多传感器无法直接与服务器通信。这时，一个部署在移动机器人上的中继站就显得至关重要，它能接收并转发这些信号。但随之而来的是新的难题：如何让这些互不协调、数量庞大的传感器（设备）高效、无碰撞地竞争有限的无线信道资源，将数据经由中继成功送达目的地？这不仅是智能工厂的困境，也是智慧交通、大规模传感网络等物联网（IoT）应用场景面临的普遍挑战。
传统的解决方案，比如时分多址（TDMA）或频分多址（FDMA），需要中心化的调度和严格的同步，在大规模、设备活跃度随机（突发传输）的IoT环境中开销巨大，且频谱效率不高。非正交多址（NOMA）技术通过功率域复用，允许多个用户共享相同的时频资源，提高了频谱效率。将其与免授权的随机接入协议结合，就形成了非正交随机接入（NORA）。在NORA中，设备可以随机选择不同的信道-时隙对，并以不同的功率电平发送数据包，接收端（或中继）利用连续干扰消除（SIC）技术来分离叠加的信号，从而“化解”碰撞。然而，现有研究多集中于设备直连基站的单跳场景。在实际IoT部署中，由于覆盖限制和严重的路径损耗，设备往往需要通过中继进行两跳通信。如何在一个包含中继、多信道、多设备的复杂随机接入网络中，让每个设备在没有全局协调和信道状态信息（CSI）的情况下，自主、分布式地学习最优接入策略，成为了一个悬而未决的关键问题。
为此，来自英国赫特福德大学的Haeyoung Lee、Sunyoung Lee和Youngwook Ko在《Internet of Things》期刊上发表了他们的研究成果。他们深入探究了多跳随机接入ALOHA网络，其中多个设备通过一个中继、在多个信道上与目的地通信。研究的核心是：将NORA集成到ALOHA框架中，并利用多智能体强化学习，使每个设备能够像独立探索的智能体一样，通过“试错”交互，自行学会选择最佳的信道和发射功率，以提升在整个中继辅助链路上的平均传输成功率。
为了开展这项研究，作者们构建了一个包含多个分布式设备、一个解码转发（DF）中继和一个目的地的两跳通信系统模型。网络在具有M个正交信道的时隙随机接入框架下运行。每个设备的“动作”是选择一个信道-功率对 (i, m)，其中i代表高（PH）或低（PL）两个功率电平之一，m代表信道索引，或者选择不传输（动作0）。研究的关键技术方法包括：1) 建立两跳中继辅助NORA的系统模型和信号与干扰加噪声比（SINR）分析框架，考虑了瑞利衰落和用户间碰撞的影响；2) 将每个设备的分布式接入策略学习问题建模为一个多臂老虎机（MAB）问题，其中每个“臂”对应一个信道-功率对组合；3) 推导了在给定其他设备混合策略的情况下，设备选择高功率或低功率动作所能获得的平均奖励（即成功传输概率）的闭合表达式；4) 基于此模型，设计并比较了四种基于MAB的分布式学习算法，包括传统的贪婪、ε-贪婪以及它们与双重估计机制结合的增强版本，以优化学习稳定性和收敛速度。
研究结果
1. 中继辅助NORA的平均奖励分析
研究人员首先在理论层面分析了设备在两跳链路上随机接入的平均性能。他们推导出了设备选择高功率动作 (H, m) 和低功率动作 (L, m) 时，成功传输的平均奖励（即概率）的精确数学表达式。这些表达式清晰地揭示了平均奖励如何受到背景噪声（N0）、目标信干噪比阈值（ΓH, ΓL）、信道平均增益（αˉk;m, α?k;m）以及其他设备选择各动作的概率（xk′;i,m）的复杂影响。这为后续的分布式学习算法设计提供了理论基准和性能理解的基础。
2. 基于MAB的分布式学习算法设计
在分布式实际场景中，设备没有其他设备的策略信息。因此，研究将问题转化为MAB问题，每个设备作为独立的学习智能体。作者提出了四种算法：
- •
NORA-贪婪 (NORA-Greedy)：设备总是选择当前估计奖励值最高的动作。
- •
NORA-ε-贪婪 (NORA-ε-Greedy)：以1-ε的概率选择贪婪动作，以ε的概率随机探索其他动作。
- •
NORA-双重估计贪婪 (NORA-Double-Estimation Greedy)：为每个动作维护两个独立的奖励估计器，在选择动作时使用其中一个，在更新时使用另一个，以减少估计偏差。
- •
NORA-双重估计ε-贪婪 (NORA-Double-Estimation ε-Greedy)：将双重估计机制与ε-贪婪策略结合。
3. 算法性能仿真与验证
通过大量的蒙特卡洛仿真，研究团队评估了所提算法的性能。结果表明：
- •
总体上，所提出的基于强化学习的NORA方案在成功传输率方面显著优于作为基准的传统时隙ALOHA方案。
- •
在几种学习算法中，集成双重估计机制的贪婪算法（NORA-Double-Estimation Greedy）表现最佳，不仅实现了最高的成功率，而且有效缓解了奖励估计的波动，带来了更稳定、更快速的有效收敛。
- •
研究还考察了中继位置（即两跳链路信道条件对称性与否）的影响。仿真结果揭示了一个重要发现：当两跳链路（设备-中继和中继-目的地）具有对称的平均信道条件时，所提出的学习驱动NORA方案性能提升尤为显著，优于非对称配置下的性能。 这表明在信道条件均衡的环境中，分布式学习算法能更有效地协调多用户接入，优化系统整体性能。
结论与意义
本研究的核心结论是，为多信道、中继辅助的ALOHA网络设计分布式、学习驱动的随机接入机制不仅是可行的，而且是高效的。通过将NOMA的功率域复用优势与随机接入的灵活性相结合，并引入基于MAB的多智能体强化学习框架，成功地使大量无协调的IoT设备能够自主适应无线环境，智能地选择信道和功率，从而在存在衰落和碰撞的两跳链路上最大化传输成功机会。
这项工作的意义深远。首先，它突破了传统单跳NORA研究的局限，将学习框架扩展至更贴合实际IoT部署的中继辅助场景，增强了方案的实用性和鲁棒性。其次，所提出的双重估计机制巧妙地解决了多用户环境下传统贪婪类算法固有的估计偏差和波动问题，为分布式学习算法在不稳定环境中的应用提供了新思路。最后，该研究为未来大规模、超密集IoT网络（如工业物联网、车联网）的底层接入协议设计提供了重要的理论依据和算法范本。它展示了一条通向真正“无蜂窝”、自组织、高能效物联网的路径，其中每个设备都具备自主感知、学习和决策能力，从而显著提升整体网络的频谱效率、接入成功率和可扩展性。
