编辑推荐:
摘要翻译:超高可靠低时延通信(URLLC)服务要求在动态网络条件下具备强时延与可靠性性能。然而,在单一接入方式下实现鲁棒的URLLC性能颇具挑战性,原因在于用户移动性、时变业务负载以及接入可用性的波动。多接入操作通过利用异构连接为增强服务鲁棒性提供了机遇。第三
摘要翻译:超高可靠低时延通信(URLLC)服务要求在动态网络条件下具备强时延与可靠性性能。然而,在单一接入方式下实现鲁棒的URLLC性能颇具挑战性,原因在于用户移动性、时变业务负载以及接入可用性的波动。多接入操作通过利用异构连接为增强服务鲁棒性提供了机遇。第三代合作伙伴计划(3GPP)第16版引入的接入流量引导、切换与拆分(ATSSS)能够在第五代(5G)核心网内实现运营商控制的多接入流量管理。本文针对URLLC服务提出了一种可靠性与时延感知的ATSSS框架(RL-AF),该框架将时延与可靠性感知纳入自适应流量引导和冗余传输决策中。RL-AF将联合控制问题建模为受约束马尔可夫决策过程(CMDP),并采用原始–对偶深度强化学习方法以平衡时延–可靠性性能与网络使用成本。基于真实轨迹的仿真将RL-AF与仅蜂窝(Cell-Only)、成本最小化(Cost-Min,仅Wi-Fi)、冗余传输(Redundant)、最小时延(RTT-Min)和最小丢包(Loss-Min)方案进行了对比。在残余往返时间(RTT)阈值为30 ms且丢包约束设置为0.01的条件下,RL-AF实现了约94.4%的RTT成功率、经验丢包率约1.75×10-3,平均网络使用成本为4.14,相较于始终冗余传输方案成本降低了17.2%。
论文解读文章:
**研究背景与问题**
超高可靠低时延通信(URLLC)是第五代(5G)及未来网络的关键服务类型之一,支撑工业自动化、远程控制和智能交通等关键任务应用。URLLC服务在动态网络条件下对时延和可靠性提出了严格的要求。然而,在单一接入方式下同时满足时延与可靠性约束存在显著困难:用户移动性和时变业务负载会导致瞬时性能退化,而蜂窝与Wi-Fi等不同接入方式又呈现出异构的时延和丢包特性。为直观说明这一局限,研究人员在校园内室内外移动场景下采集了20,000个ping样本,其中Wi-Fi迹线表现出显著的长尾RTT分布和39.07%的丢包率,而同期蜂窝迹线未观测到丢包。尽管这一差异不能泛化为Wi-Fi与蜂窝技术的通用性能比较,但仅依赖更可靠的接入可能会导致不必要的网络使用成本,而相对低成本的接入在瞬时条件良好时足以满足服务需求。因此,需要一种能够根据接入条件自适应平衡URLLC性能与网络使用成本的多接入控制机制。
3GPP第16版引入的接入流量引导、切换与拆分(ATSSS)框架为多接入管理提供了标准化途径,可在5G核心网中通过策略控制实现跨3GPP接入(如5G新空口NR)和非3GPP接入(如Wi-Fi)的流量引导、拆分与冗余传输。现有研究虽已从时延感知调度、吞吐量优化、架构实现等角度探索ATSSS,但尚未有工作联合考虑显式RTT违反约束与丢包约束,同时最小化网络使用成本,并直接选择单接入引导或冗余传输模式。为此,研究人员提出了可靠性与时延感知的ATSSS框架(RL-AF)。
**研究内容与结论**
RL-AF将ATSSS传输模式选择问题建模为受约束马尔可夫决策过程(CMDP),以长期网络使用成本最小化为目标,同时满足RTT违反率和丢包率约束。状态空间包含各接入的近期平均RTT、估计丢包概率以及先前传输动作导致的短期RTT波动;动作空间包括Wi-Fi引导、蜂窝引导和冗余传输三种模式。成本函数依据各接入的单位使用成本定义,冗余传输的成本为两接入成本之和。约束函数分别基于有效丢包指示和有效RTT评估URLLC时延与可靠性要求。
为求解该CMDP,研究人员提出了一种基于双深度Q网络(DDQN)的原始–对偶学习算法。该算法通过拉格朗日松弛将约束优化转化为鞍点问题,利用严重度感知的惩罚信号更新策略,并根据每回合的实际约束违反情况调整拉格朗日乘子。乘子更新采用有界规则,包含衰减项和上限,以增强学习稳定性。DDQN采用在线网络与目标网络分离的机制,并通过经验回放和软更新加以稳定。该算法无需预先知道接入网络的转移模型,能够以无模型方式学习自适应ATSSS策略。
基于经验Wi-Fi与蜂窝测量数据,研究人员构建了轨迹驱动的仿真环境,并在单独和联合约束设置下比较了RL-AF与五种基准方案(仅蜂窝、成本最小化、冗余传输、最小时延、最小丢包)的性能。结果表明:在仅RTT约束下,RL-AF在不同残余RTT阈值下均能达到接近冗余传输方案的RTT成功率,且平均网络使用成本随约束放松而下降;在仅丢包约束下,RL-AF在严格可靠性要求下实现接近冗余传输的丢包性能,并在约束放宽时降低对冗余传输的依赖;在联合约束下,RL-AF能够根据约束严格程度调整资源使用,实现接近冗余传输的服务质量性能但成本更低。例如,在RTT阈值20 ms、丢包约束0.01时,RL-AF以4.14的平均成本实现94.4%的RTT成功率,相较于始终冗余传输成本降低17.2%。在人为降低蜂窝丢包率的重训练实验中,RL-AF能够利用可靠性余量进一步降低成本,体现了策略对网络条件变化的适应性。
**关键技术方法**
研究人员采用以下关键技术方法:(1)轨迹驱动仿真,基于校园移动场景下同时采集的Wi-Fi(IEEE 802.11ac 5 GHz)与蜂窝(KT 5G NR)测量数据构建模拟环境,共20,000个对齐样本;(2)受约束马尔可夫决策过程(CMDP)建模,将ATSSS传输模式选择转化为带时延与丢包约束的序列决策问题;(3)原始–对偶深度强化学习,采用双深度Q网络(DDQN)学习策略,并通过有界拉格朗日乘子更新处理约束;(4)严重度感知的惩罚信号设计,以RTT超额程度和对数丢包概率构造代理奖励;(5)块交错的数据划分策略,按4:1比例划分训练集与测试集,防止时间相关性泄漏;(6)RTT基线校准,分别减去Wi-Fi 4 ms和蜂窝11 ms的基线时延以聚焦残余时延。
**主要研究结果**
**RTT约束下的性能**:随残余RTT阈值从10 ms变化到35 ms,RL-AF的RTT成功率始终接近冗余传输方案,并优于所有单接入比较方案;平均网络使用成本随阈值放松而下降,表明RL-AF在时延要求可满足时减少冗余传输的使用。
**丢包约束下的性能**:随丢包要求从10
-4放松到10
-1,RL-AF在严格要求下获得接近冗余传输的丢包性能,在要求放松时逐步转向低成本传输模式,平均成本显著下降。
**改进丢包条件下的策略重优化**:在蜂窝丢包率从0.475%降至0.075%的重训练场景中,RL-AF在严格可靠性要求下实现更低的丢包率,并在约束放松时进一步降低成本,表明重训练后的策略能够利用可靠性余量优化成本。
**联合RTT与丢包约束下的性能**:松开单一约束未必立即降低成本,因为另一约束可能仍主导决策;当联合要求放宽时,RL-AF的平均成本从4.82降至4.21不等,并在RTT阈值20 ms、丢包约束0.01时实现94.4%的RTT成功率与4.14的平均成本。多次随机种子实验显示,RTT成功率的运行间标准差在0.3%左右,且所有联合配置下RTT约束均存在正间隙,表明测试集上最优可实现性能受限于接入条件而非完美满足目标。
**讨论与结论**
讨论部分指出,现有ATSSS研究多聚焦于架构实现或单一目标优化,未能联合考虑显式RTT违反和丢包约束下的成本最小化。RL-AF填补了这一空白,其原始–对偶DDQN方法能够无模型地学习自适应策略,且在多约束场景下表现出良好的成本–性能权衡。研究结论为:RL-AF根据观测到的接入条件动态选择Wi-Fi引导、蜂窝引导或冗余传输,在满足URLLC时延与可靠性要求的同时最小化长期网络使用成本;轨迹驱动仿真证明其能达到接近冗余传输的QoS性能并降低成本;不可行的目标组合应视为可实现的最佳成本–性能权衡而非严格约束满足。未来工作将把RL-AF扩展到实际5G核心网实现与验证,并研究不同成本模型和双更新参数设置下的敏感性。