基于深度强化学习的D-OMA中自适应用户配对与资源分配以实现和速率与公平性之间的权衡
《Computer Networks》:Adaptive user pairing and resource allocation for the sum rate and fairness trade-off in D-OMA with DRL approach
【字体:
大
中
小
】
时间:2026年09月21日
来源:Computer Networks 4.7
编辑推荐:
摘要
随着最新一代电信技术中前沿技术的出现,用户接入网络的重大进步变得越来越重要。其中一项进步是delta正交多址接入(D-OMA)。鉴于第六代(6G)网络中用户数量的快速增长,确保用户间的公平性至关重要。D-OMA允许子载波部分重叠,本研究证明,优化这种重叠对于自适应地最
摘要
随着最新一代电信技术中前沿技术的出现,用户接入网络的重大进步变得越来越重要。其中一项进步是delta正交多址接入(D-OMA)。鉴于第六代(6G)网络中用户数量的快速增长,确保用户间的公平性至关重要。D-OMA允许子载波部分重叠,本研究证明,优化这种重叠对于自适应地最大化吞吐量并保持用户间的公平性起着关键作用。本文重点评估D-OMA在下行场景中的性能。由于目标函数的非凸性,我们采用深度强化学习(DRL),特别是使用决斗(dueling)架构,来解决优化问题。鉴于其复杂性,该问题被分解为两个子问题并进行次优求解。为了验证我们的仿真结果,我们还使用穷举搜索方法求解了第一个子问题中的优化问题。结果表明,以Jain公平性指数作为目标函数,结合D-OMA接入方法,与之前几代网络相比,在恒定距离下显著提高实现更高用户覆盖率这一关键目标的灵活性。所呈现的仿真结果证实了基于DRL方法得到的输出,为其有效性提供了强有力的验证。此外,我们的仿真揭示,用户在各子载波上的排列方式可能因目标函数而异,这标志着向提高新一代电信服务质量与用户满意度迈出的重要一步。
引言
如今,需要电信服务的用户和设备数量的指数级增长已构成重大挑战,这一趋势预计在未来几十年内将进一步加剧。6G网络所针对的关键绩效指标(KPI)之一是支持每平方公里多达一千万用户的能力——这比第五代(5G)网络设定的容量目标提高了十倍。这一雄心勃勃的目标对6G系统构成了重大挑战,因为满足这一需求将需要频谱管理、网络基础设施和能效方面的先进解决方案,以确保如此高用户密度下的可靠连接和性能[1]、[2]。
第六代无线通信引入了几项有望应对这些挑战的新技术。其中,D-OMA作为非正交多址接入(NOMA)的一个重要变体,涌现出来,具有相当大的潜力来增强向用户提供的服务质量(QoS),这对于未来网络至关重要[3]、[4]。
值得注意的是,NOMA已经在5G电信的背景下,被证明是动态网络接入和大规模通信的开创性进展。NOMA的重要性源于使其区别于正交多址接入(OMA)的关键特性,特别是在用户间的功率分配和子载波分组、发射端的叠加编码(SC)利用以及接收端的 successive interference cancellation(SIC)实施方面[4]。
这些特性使NOMA成为提升网络容量和效率的有前景的方法。通过允许多个用户同时共享相同的频率资源,NOMA不仅提高了频谱效率,还应对了人口密集网络中对更高数据速率和更可靠连接的日益增长的需求[5]、[6]。这种能力使NOMA成为无线通信系统演进中的关键技术,为更加动态和灵活的网络架构铺平了道路[7]。
D-OMA允许簇内子信道之间存在部分重叠,与NOMA相比呈现了一种独特的方法。这种部分重叠可以创造独特的条件,可能改善服务质量并增加单个接入点(AP)支持的用户数量[8]、[9]。需要注意的是,当子载波之间没有重叠时,NOMA可以被视为D-OMA的一个特例。
然而,D-OMA的重叠特性虽然在扩展用户带宽方面有利,但也引入了簇内干扰增加的风险。如果没有适当的优化,这种干扰会显著降低网络性能。因此,确保D-OMA的优势得到充分发挥同时缓解其潜在缺点,优化变得更加关键。
因此可以得出结论,并非每种接入方法都天然适合在蜂窝网络中实现预期目标[10]。开发并利用更先进的模型可以在应对下一代网络日益增长的需求方面发挥关键作用。然而,这需要仔细评估以确保其有效性和适用性。在本文中,我们的主要目标是调查和探索D-OMA模型的特性,旨在为其在现代通信系统环境中的潜力和局限性提供有价值的见解。
通信网络的最新进展引入了以用户为中心的KPI,如QoS和体验质量(QoE),反映了从纯技术指标向公平性和用户体验的转变[8]、[9]、[10]、[11]。随着我们迈向6G,平衡高质量服务与公平的资源分配对于网络效率和用户满意度至关重要。这种双重关注构成了我们资源分配方法的基础,旨在促进包容性并提升整体性能[12]。
这种以用户为中心的取向标志着电信业的根本性转变,凸显了需要高级资源分配策略来同时优先考虑技术性能和公平性的需求[13]、[14]、[15]。随着这些策略的演进,它们具有相当大的潜力改善各种通信场景中的用户满意度。然而,下一代网络日益增加的复杂性引入了非凸优化问题,这些问题必须在极短的时间内解决[16]、[17]。因此,快速高效的优化对于有效的资源管理变得至关重要,凸显了对创新计算技术的需求,其中基于学习的方法已成为强大的工具。
在这些方法中,强化学习(RL)已被证明在处理复杂优化任务方面特别有效[18]、[19]。利用其迭代决策框架,RL能够实现超低延迟操作——目标是降低至5G系统延迟的十分之一——同时改善整体网络性能并满足高度动态和资源密集环境中的严格QoS要求。在其与深度学习结合之前——这一组合现在被称为DRL——RL方法在优化问题中经常受到发散问题的困扰[14]、[20]。然而,通过深度学习引入的能力,这一限制已被大大缓解,从而使DRL成为一种更加稳健和可靠的优化挑战解决方案。
近期研究广泛探索了混合和自适应资源管理,以满足下一代网络的严格要求。例如,[21]引入了一种用于6G D-OMA系统的两阶段框架,通过解耦频谱分配和功率控制,在不完美SIC条件下增强能效和QoE。类似地,[22]提出了在OMA和NOMA之间的动态选择方案,采用两阶段优化方法来更有效地平衡速率-成本权衡,优于单一技术模型。此外,[23]扩展了对传输可靠性的关注,开发了一种用于上行NOMA的混合功率分配策略,通过协调功率级别优先处理关键数据,同时为非关键服务保持高吞吐量。[24]中的研究调查了D-OMA在多AP 6G网络中提升频谱和能效的潜力。利用部分子信道重叠,多目标优化框架——通过Tchebycheff方法转化为单目标——优化了功率、分配和重叠百分比。结果表明,D-OMA在频谱效率和网络性能方面优于NOMA和正交频分多址接入(OFDMA),强调了干扰管理和重叠调度的重要性。通过移动边缘计算应对物联网资源限制,[25]中的研究调查了一种双用户混合NOMA-OMA卸载策略以最小化延迟。利用 successive convex approximation,该研究建立了基于NOMA的传输通常产生优于OMA的响应性的结论,从而开发了优先使用NOMA以增强性能的自适应选择机制。
转向智能适配,基于RL的策略已被提出以克服传统优化的局限性。一个显著的例子是[26],该研究利用SARSA算法在动态NOMA-IoT网络中进行用户和子信道的联合聚类。通过适应环境变化,该框架实现了优于OMA基准的求和速率性能和更快的收敛速度,确立了RL作为复杂资源分配任务的稳健解决方案。
此外,[27]探索了NOMA的空间维度,其中研究了多输入多输出(MIMO)技术与无监督学习的集成用于用户聚类。通过与SISO和SIMO配置的性能进行基准比较,该研究证明这种方法显著提高了频谱效率和用户公平性,特别是在不同路径损耗条件下的多载波MIMO-NOMA系统中。
在本文中,我们解决D-OMA网络下行链路中的一个多目标优化问题。我们的主要目标是利用创新的D-OMA方法来求解一个基于最大化用户传输求和速率及其公平性的优化问题,其第二个目的通过Jain公平性指数衡量。在6G无线网络背景下,用户数量的增加导致网络需求显著扩展,使得用户间资源的公平分配成为一个关键问题。
为解决6G的增强覆盖率和可靠性KPI[1],本研究利用D-OMA作为关键使能技术[5]、[11]。本工作的核心贡献在于构建了一个多目标优化框架,共同最大化聚合数据速率和Jain公平性指数。通过将D-OMA与这些指标集成,所提出的方法在增强QoS和扩展网络容量方面提供了优越的灵活性,有效地在系统吞吐量和公平的资源分配之间取得平衡——这是下一代无线网络设计中的关键权衡。
为此,我们采用了D-OMA方案,这是NOMA的一种广义变体,它不仅保留了NOMA的积极属性,还在增强用户间的公平性方面发挥着关键作用。通过优化子载波的重叠,D-OMA允许不同的用户分组以最大化公平性——这是一个重要的成果,证明了这种方法的多功能性和有效性。我们的优化问题采用DRL方法,并将问题分解为两个子问题以管理复杂性。在第一个子问题中,我们优化用户分组和子载波重叠,而在第二个子问题中,我们在用户间分配功率。
我们进一步探索了不同功率水平对用户数据速率和公平性的影响,比较了固定与优化的子载波重叠场景。为了验证我们基于DRL解决方案的有效性,我们还使用穷举搜索方法求解了第一个子问题(SP1),确认了我们方法的可靠性。结果表明,D-OMA显著提高了网络性能和公平性,有助于6G通信网络的推进。这些改进带来了更好的服务质量、更高的客户满意度和网络效率、带宽利用率、稳定性以及延迟的降低。
在本文中,我们揭示了D-OMA的潜在能力,并证明其固有的灵活性使其能够在实现多种预定义目标和KPI方面发挥关键作用。凭借其适应特定设计目标的能力,D-OMA可以提供增强的QoS,并允许网络设计者根据用户需求塑造资源分配。此外,D-OMA的潜在特性表明,这种接入方式是一个有前景的多频带接入范式,它通过更高效的频谱利用缓解带宽稀缺问题。重要的是,D-OMA实现了由目标函数驱动的自适应用户分组,这是一个关键特性,直接将对优化优先级的转化映射为定制的多址配置。
本文的结构如下组织,以确保清晰性和连贯性。第2节全面讨论了系统模型,详细说明了所提出框架的基础方面和假设。在第3节中,资源分配问题被建模,随后定义和参数化了用于解决该问题的DRL方法。第4节呈现了仿真结果,对所提出方法在不同场景下的性能进行了深入分析。最后,第5节总结了论文的主要发现和见解,概述了本工作的意义。
系统模型
在本文中,我们考虑一种下行网络配置,由K个AP协作工作,为K个AP范围内的用户提供服务。这些AP协调以增强其覆盖区域内用户的QoS[2]、[4]。通过AP间的协作,小区间干扰被有效消除,从而形成一个没有小区间干扰的系统。
这种协作方法确保了无缝通信,并显著提高了整体网络数据速率。在电信优化中,数据速率是一个关键因素,直接影响网络系统的效率和服务质量 (QoS)。高数据速率对于提供更快的传输速度和改善用户体验至关重要,而这是满足日益增长的带宽密集型应用需求的关键。实现最佳数据速率需要仔细平衡多个因素,包括功率分配、干扰控制和频谱效率,以确保最佳性能。
模拟网络规范
在本节中,我们展示了所提出优化的模拟结果并考察其优势。主要目的是展示我们提出的构想所带来的改进和益处。在本文中,为了模拟优化问题,在确保模型训练得当的同时降低计算复杂度,该问题已被划分为三个不同的子问题。
如第 2 节所述,我们的目标函数包括用户总速率和公平性函数。
结论
在本研究中,我们调查了 D-OMA 在下行场景中的性能,并构建了一个多目标优化问题。引入了一种基于 D-OMA 方法的新接入数据速率表达式。针对优化问题,我们利用总速率和公平性指数作为目标函数,同时将子载波分配、子载波重叠百分比和功率分配作为关键变量,并将它们划分为两个子问题。结合此系统模型
CRediT 作者贡献声明
Mehran Kakavand:撰写 - 初稿、软件、方法论、调查、正式分析、数据整理、概念化。
Mina Baghani:撰写 - 审阅与编辑、监督、调查、正式分析、概念化。
Reza Bahri:撰写 - 审阅与编辑。
利益冲突声明
作者声明他们没有任何已知的竞争财务利益或个人关系,这些可能影响本论文报告的工作。
Mehran Kakavand|Mina Baghani|Reza Bahri
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号