基于深度强化学习的混合光–射频自适应传输框架:面向URLLC网络的超可靠低时延通信

《Telecom》:Reinforcement Learning–Based Hybrid Optical–RF Framework for Ultra Reliable Low Latency Communication (URLLC) Networks

【字体: 大 中 小 】 时间:2026年10月24日 来源:Telecom 2.8

编辑推荐:

  研究人员提出一种基于深度强化学习的混合光–射频通信框架,用于动态无线与大气信道条件下的超可靠低时延通信(Ultra-Reliable Low-Latency Communication, URLLC)网络。所提系统集成基于OptiSystem的光信道建模、MA

  
研究人员提出一种基于深度强化学习的混合光–射频通信框架,用于动态无线与大气信道条件下的超可靠低时延通信(Ultra-Reliable Low-Latency Communication, URLLC)网络。所提系统集成基于OptiSystem的光信道建模、MATLAB R2019b Simulink射频(RF)子系统实现,以及基于深度Q网络(Deep Q-Network, DQN)的自适应传输控制器,用于智能混合链路选择。自适应传输问题被建模为马尔可夫决策过程(Markov Decision Process, MDP),从而能够根据实时射频(RF)/自由空间光(FSO)信道质量、队列状态和URLLC时延要求,在仅RF、仅FSO和协作混合传输模式之间进行动态选择。性能评估采用集成OptiSystem–MATLAB联合仿真框架,在不同大气衰减和RF衰落条件下进行100次蒙特卡洛仿真运行。此外,研究人员实现了一个工作在1550 nm和28 GHz的实验室规模实验混合光–射频测试台,以验证所提框架在实际运行条件下的实践可行性和实时运行性能。仿真结果表明,与传统仅RF传输相比,所提基于深度强化学习(DRL)的框架平均时延降低约28–35%,同时在有利光信道条件下提高吞吐量性能。自适应混合框架通过智能自适应传输控制,在不同信道环境中保持接近URLLC级通信性能的可靠性。实验验证表明其与仿真预测高度吻合,在所评估的时延、可靠性和吞吐量指标上平均偏差低于6%。所得结果表明,所提强化学习驱动的混合光–射频通信框架能够在变化的无线和大气信道条件下接近严格的URLLC时延和可靠性目标,支持其在关键任务5G和新兴6G通信系统中的应用。
研究背景方面,URLLC是后5G和新兴6G无线网络中的关键服务类别,面向自主交通、工业自动化、远程手术、智能控制系统和触觉互联网等关键任务应用,通常要求端到端时延约1 ms、可靠性接近或超过99.999%。在实际无线环境中,信道衰落、干扰、频谱拥塞、动态业务变化和队列不稳定使同时满足低时延与高可靠极为困难。传统射频(Radio Frequency, RF)通信在密集业务和有限频谱下性能退化,难以持续满足URLLC服务质量要求;自由空间光通信(Free-Space Optical, FSO)具有大带宽、高速率、低干扰和免许可光谱等优势,但易受大气湍流、雾衰减、波束发散和指向失准影响。RF在恶劣环境下连接稳健但带宽和频谱受限,FSO在有利条件下高速低时延但受天气影响明显,因此混合RF/FSO架构被提出以利用互补优势。现有混合系统多依赖静态阈值切换或信道质量驱动策略,未联合考虑队列动态、时延违反和协作传输要求;在快速变化的大气和RF衰落条件下,反应式切换会导致传输决策不稳定、队列积累、链路利用低和URLLC性能保证退化。现有研究多分别关注RF网络中的URLLC时延优化或混合RF/FSO可靠性增强,针对严格URLLC要求的联合强化学习混合光–射频架构、队列感知自适应链路选择、时延感知调度和协作混合传输仍研究不足,且较少在统一框架中结合真实光/RF信道建模与实验室规模实验验证。因此,研究人员开展本研究以弥补上述空白。

研究人员提出基于强化学习的混合光–射频URLLC框架,DQN代理根据瞬时信道条件、队列状态和时延要求动态选择仅RF、仅FSO或协作混合传输模式,并将自适应混合传输建模为MDP,通过与环境交互学习策略以联合优化时延、可靠性和频谱效率。研究人员构建OptiSystem–MATLAB联合仿真平台,对光湍流、RF衰落、业务动态和自适应控制进行建模,并建立1550 nm和28 GHz实验室规模混合光–射频测试台,在受控大气衰减和衰落场景下评估性能。结果表明,所提DRL框架较传统仅RF、仅FSO和静态混合切换提高分组投递可靠性并降低端到端时延;与仅RF相比平均时延降低约28–35%,与静态混合切换相比降低约18–25%,在有利光信道条件下吞吐量较仅RF提高约25–30%,可靠性接近URLLC级。实验与仿真平均偏差低于6%,支持该框架用于关键任务5G和新兴6G通信系统。

关键技术方法概括(不超过250字):研究人员采用OptiSystem建模FSO光信道,包括Gamma–Gamma湍流、天气衰减、波束发散、指向误差及雪崩光电二极管(Avalanche Photodiode, APD)检测,并评估误比特率(Bit Error Rate, BER)和光信噪比(Optical Signal-to-Noise Ratio, OSNR);在MATLAB R2019b Simulink中实现16-QAM、16×16 MIMO Rayleigh衰落与加性白高斯噪声(Additive White Gaussian Noise, AWGN)RF子系统、泊松URLLC短包业务与队列,以及采用经验回放、目标网络和ε-greedy探索的DQN控制器;开展100次独立蒙特卡洛联合仿真。实验采用实验室自建测试台,含1550 nm分布式反馈激光器、Mach–Zehnder调制器、15 m室内FSO路径、可调光衰减器与中性密度滤光片、振动平台引入波束失准、Thorlabs PDA8GS APD,以及28 GHz Keysight E4438C ESG和N9010A EXA、16-QAM、PROPSIM F8衰落模拟,50次重复、每次10 s、1000包/s、队列100包、1 ms时延约束。仿真数据来自100次独立蒙特卡洛,实验数据来自实验室自建测试台50次重复。

研究结果方面,4. 结果与讨论(Results and Discussion):通过集成OptiSystem–MATLAB/Simulink联合仿真和100次独立蒙特卡洛,并在不同RF衰落与大气衰减条件下比较仅RF、仅FSO、静态混合、阈值自适应和所提DRL策略,得出所提框架可根据瞬时RF质量、光信道、队列占用和分组时延动态决策;平均时延较仅RF降低约28–35%,较静态混合降低约18–25%;可靠性接近URLLC级;吞吐量在有利光条件下较仅RF提高约25–30%;DRL奖励在约6000–8000回合后趋于稳定;时延累积分布函数(Cumulative Distribution Function, CDF)、时延违反概率、误包率和中断概率随信噪比改善而下降。5. 实验测试台验证(Experimental Testbed Validation):通过1550 nm与28 GHz实验室规模混合光–射频测试台,在晴空/低衰减、中等衰减、严重衰减和不同RF衰落场景下重复50次,得出有利大气条件下FSO链路吞吐更高、时延更低;严重光衰减下DRL控制器将业务转向RF,避免仅FSO传输的严重丢包退化;自适应混合传输在中、重衰减下可靠性接近URLLC级,实验时延与仿真预测平均偏差低于6%。6. 仿真–实验性能比较(Simulation–Experimental Performance Comparison):通过在相同信道和大气衰减条件下比较仿真与实验,得出晴空条件下仿真与实验平均端到端时延分别为0.72 ms和0.76 ms,偏差约5.6%;中等衰减下为0.88 ms和0.92 ms,偏差约4.5%;严重衰减下为0.97 ms和1.02 ms,偏差约5.2%,实验值略超1 ms目标;可靠性方面,晴空仿真高于99.9992%、实验约99.9989%,中等衰减仿真99.9985%、实验约99.9979%,严重衰减实验约99.9955%,略低于99.999%目标;吞吐量晴空仿真约1.15 Gbps、实验约1.10 Gbps,偏差约4.5%;所有评估指标平均偏差低于6%,但可靠性差异以绝对差报告,约0.0003、0.0006和0.0015个百分点。

讨论部分总结:原文指出比较评估仅限仅RF、仅FSO、静态混合和阈值切换,未包含竞争性学习策略,因此报告的性能增益限于这些基线,与替代学习控制器的更广泛比较留待未来;实验室测试台15 m光路不能完全复现仿真中2 km光路的全部物理传播效应,未使用专用湍流室或闪烁模拟器,振动平台仅用于引入受控波束失准,不构成大气湍流模拟器,实验结果应解释为对DRL自适应传输机制的实验室规模验证而非完整物理复现;仿真与实验偏差主要来自硬件噪声、同步不确定性、对准漂移、热波动和测量分辨率限制,处于工程容差内;原文还指出期望式奖励公式不构成显式尾部风险优化,未来可研究条件风险价值(Conditional Value-at-Risk, CVaR)和分布强化学习等风险敏感扩展。

研究结论(译):该研究提出了一种基于强化学习的混合光–射频通信框架,旨在接近URLLC网络严格的时延和可靠性要求。所提系统集成基于OptiSystem的光信道建模、MATLAB Simulink RF子系统实现和深度强化学习控制器,用于动态大气与无线信道条件下的自适应传输选择。综合仿真结果表明,与仅RF、仅FSO和静态混合传输方案相比,基于DRL的混合框架取得显著性能提升。所提方法将平均时延降低至多35%,同时保持高可靠性,并在有利信道条件下将吞吐量提高约25–30%。强化学习代理在6000–8000个训练回合内收敛,确认策略优化稳定。为验证实践可行性,研究人员实现了一个工作在1550 nm和28 GHz的先进实验室规模混合光–射频测试台。实验测量与仿真预测高度吻合,在时延、可靠性和吞吐量指标上的平均偏差低于6%。模拟与真实性能的强一致性确认了集成联合仿真框架的准确性以及基于DRL自适应切换策略的鲁棒性。所提混合光–射频URLLC框架表明,智能强化学习驱动传输控制能够有效克服单链路通信系统的局限,并在一系列运行条件下支持超可靠低时延通信,其性能取决于当前RF和光信道条件。未来工作将聚焦于将所提框架扩展到真实大气条件下的长距离室外光通信环境,纳入多用户调度和网络切片机制,并研究包括多智能体强化学习和联邦学习在内的先进深度强化学习架构,用于分布式混合通信网络。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号