面向URLLC服务的可靠性与时延感知ATSSS框架

《Electronics》:Reliability- and Latency-Aware ATSSS Framework for URLLC Services

【字体: 大 中 小 】 时间:2026年09月21日 来源:Electronics 2.9

编辑推荐:

  摘要翻译:超高可靠低时延通信(URLLC)服务要求在动态网络条件下具备强时延与可靠性性能。然而,在单一接入方式下实现鲁棒的URLLC性能颇具挑战性,原因在于用户移动性、时变业务负载以及接入可用性的波动。多接入操作通过利用异构连接为增强服务鲁棒性提供了机遇。第三

  
摘要翻译:超高可靠低时延通信(URLLC)服务要求在动态网络条件下具备强时延与可靠性性能。然而,在单一接入方式下实现鲁棒的URLLC性能颇具挑战性,原因在于用户移动性、时变业务负载以及接入可用性的波动。多接入操作通过利用异构连接为增强服务鲁棒性提供了机遇。第三代合作伙伴计划(3GPP)第16版引入的接入流量引导、切换与拆分(ATSSS)能够在第五代(5G)核心网内实现运营商控制的多接入流量管理。本文针对URLLC服务提出了一种可靠性与时延感知的ATSSS框架(RL-AF),该框架将时延与可靠性感知纳入自适应流量引导和冗余传输决策中。RL-AF将联合控制问题建模为受约束马尔可夫决策过程(CMDP),并采用原始–对偶深度强化学习方法以平衡时延–可靠性性能与网络使用成本。基于真实轨迹的仿真将RL-AF与仅蜂窝(Cell-Only)、成本最小化(Cost-Min,仅Wi-Fi)、冗余传输(Redundant)、最小时延(RTT-Min)和最小丢包(Loss-Min)方案进行了对比。在残余往返时间(RTT)阈值为30 ms且丢包约束设置为0.01的条件下,RL-AF实现了约94.4%的RTT成功率、经验丢包率约1.75×10-3,平均网络使用成本为4.14,相较于始终冗余传输方案成本降低了17.2%。
论文解读文章:

**研究背景与问题**

超高可靠低时延通信(URLLC)是第五代(5G)及未来网络的关键服务类型之一,支撑工业自动化、远程控制和智能交通等关键任务应用。URLLC服务在动态网络条件下对时延和可靠性提出了严格的要求。然而,在单一接入方式下同时满足时延与可靠性约束存在显著困难:用户移动性和时变业务负载会导致瞬时性能退化,而蜂窝与Wi-Fi等不同接入方式又呈现出异构的时延和丢包特性。为直观说明这一局限,研究人员在校园内室内外移动场景下采集了20,000个ping样本,其中Wi-Fi迹线表现出显著的长尾RTT分布和39.07%的丢包率,而同期蜂窝迹线未观测到丢包。尽管这一差异不能泛化为Wi-Fi与蜂窝技术的通用性能比较,但仅依赖更可靠的接入可能会导致不必要的网络使用成本,而相对低成本的接入在瞬时条件良好时足以满足服务需求。因此,需要一种能够根据接入条件自适应平衡URLLC性能与网络使用成本的多接入控制机制。

3GPP第16版引入的接入流量引导、切换与拆分(ATSSS)框架为多接入管理提供了标准化途径,可在5G核心网中通过策略控制实现跨3GPP接入(如5G新空口NR)和非3GPP接入(如Wi-Fi)的流量引导、拆分与冗余传输。现有研究虽已从时延感知调度、吞吐量优化、架构实现等角度探索ATSSS,但尚未有工作联合考虑显式RTT违反约束与丢包约束,同时最小化网络使用成本,并直接选择单接入引导或冗余传输模式。为此,研究人员提出了可靠性与时延感知的ATSSS框架(RL-AF)。

**研究内容与结论**

RL-AF将ATSSS传输模式选择问题建模为受约束马尔可夫决策过程(CMDP),以长期网络使用成本最小化为目标,同时满足RTT违反率和丢包率约束。状态空间包含各接入的近期平均RTT、估计丢包概率以及先前传输动作导致的短期RTT波动;动作空间包括Wi-Fi引导、蜂窝引导和冗余传输三种模式。成本函数依据各接入的单位使用成本定义,冗余传输的成本为两接入成本之和。约束函数分别基于有效丢包指示和有效RTT评估URLLC时延与可靠性要求。

为求解该CMDP,研究人员提出了一种基于双深度Q网络(DDQN)的原始–对偶学习算法。该算法通过拉格朗日松弛将约束优化转化为鞍点问题,利用严重度感知的惩罚信号更新策略,并根据每回合的实际约束违反情况调整拉格朗日乘子。乘子更新采用有界规则,包含衰减项和上限,以增强学习稳定性。DDQN采用在线网络与目标网络分离的机制,并通过经验回放和软更新加以稳定。该算法无需预先知道接入网络的转移模型,能够以无模型方式学习自适应ATSSS策略。

基于经验Wi-Fi与蜂窝测量数据,研究人员构建了轨迹驱动的仿真环境,并在单独和联合约束设置下比较了RL-AF与五种基准方案(仅蜂窝、成本最小化、冗余传输、最小时延、最小丢包)的性能。结果表明:在仅RTT约束下,RL-AF在不同残余RTT阈值下均能达到接近冗余传输方案的RTT成功率,且平均网络使用成本随约束放松而下降;在仅丢包约束下,RL-AF在严格可靠性要求下实现接近冗余传输的丢包性能,并在约束放宽时降低对冗余传输的依赖;在联合约束下,RL-AF能够根据约束严格程度调整资源使用,实现接近冗余传输的服务质量性能但成本更低。例如,在RTT阈值20 ms、丢包约束0.01时,RL-AF以4.14的平均成本实现94.4%的RTT成功率,相较于始终冗余传输成本降低17.2%。在人为降低蜂窝丢包率的重训练实验中,RL-AF能够利用可靠性余量进一步降低成本,体现了策略对网络条件变化的适应性。

**关键技术方法**

研究人员采用以下关键技术方法:(1)轨迹驱动仿真,基于校园移动场景下同时采集的Wi-Fi(IEEE 802.11ac 5 GHz)与蜂窝(KT 5G NR)测量数据构建模拟环境,共20,000个对齐样本;(2)受约束马尔可夫决策过程(CMDP)建模,将ATSSS传输模式选择转化为带时延与丢包约束的序列决策问题;(3)原始–对偶深度强化学习,采用双深度Q网络(DDQN)学习策略,并通过有界拉格朗日乘子更新处理约束;(4)严重度感知的惩罚信号设计,以RTT超额程度和对数丢包概率构造代理奖励;(5)块交错的数据划分策略,按4:1比例划分训练集与测试集,防止时间相关性泄漏;(6)RTT基线校准,分别减去Wi-Fi 4 ms和蜂窝11 ms的基线时延以聚焦残余时延。

**主要研究结果**

**RTT约束下的性能**:随残余RTT阈值从10 ms变化到35 ms,RL-AF的RTT成功率始终接近冗余传输方案,并优于所有单接入比较方案;平均网络使用成本随阈值放松而下降,表明RL-AF在时延要求可满足时减少冗余传输的使用。

**丢包约束下的性能**:随丢包要求从10-4放松到10-1,RL-AF在严格要求下获得接近冗余传输的丢包性能,在要求放松时逐步转向低成本传输模式,平均成本显著下降。

**改进丢包条件下的策略重优化**:在蜂窝丢包率从0.475%降至0.075%的重训练场景中,RL-AF在严格可靠性要求下实现更低的丢包率,并在约束放松时进一步降低成本,表明重训练后的策略能够利用可靠性余量优化成本。

**联合RTT与丢包约束下的性能**:松开单一约束未必立即降低成本,因为另一约束可能仍主导决策;当联合要求放宽时,RL-AF的平均成本从4.82降至4.21不等,并在RTT阈值20 ms、丢包约束0.01时实现94.4%的RTT成功率与4.14的平均成本。多次随机种子实验显示,RTT成功率的运行间标准差在0.3%左右,且所有联合配置下RTT约束均存在正间隙,表明测试集上最优可实现性能受限于接入条件而非完美满足目标。

**讨论与结论**

讨论部分指出,现有ATSSS研究多聚焦于架构实现或单一目标优化,未能联合考虑显式RTT违反和丢包约束下的成本最小化。RL-AF填补了这一空白,其原始–对偶DDQN方法能够无模型地学习自适应策略,且在多约束场景下表现出良好的成本–性能权衡。研究结论为:RL-AF根据观测到的接入条件动态选择Wi-Fi引导、蜂窝引导或冗余传输,在满足URLLC时延与可靠性要求的同时最小化长期网络使用成本;轨迹驱动仿真证明其能达到接近冗余传输的QoS性能并降低成本;不可行的目标组合应视为可实现的最佳成本–性能权衡而非严格约束满足。未来工作将把RL-AF扩展到实际5G核心网实现与验证,并研究不同成本模型和双更新参数设置下的敏感性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号