基于6G技术的移动边缘计算对低地球轨道NTN-IoT系统的助力：分布式人工智能集成视角

《Pervasive and Mobile Computing》：Mobile edge computing assisted NTN-IoT systems with 6G technologies for LEO: A distributed artificial intelligence integration perspective

　　摘要：在第六代非地面网络中，大范围、对时间敏感的物联网服务受到延迟、能耗和可靠性的限制。本文提出了RLDS-NTN这一基于移动边缘计算的调度与控制框架，用于低地球轨道非地面网络物联网系统。该框架将信念-欲望-意图扩展智能体与深度强化学习、联邦模型更新以及上行链路功率域NOMA技术结合在统一的分布式决策循环中。DRL策略负责提出资源、功率和配对策略，而BDIx层则根据明确的拥塞和可行性规则对这些策略进行屏蔽、验证或替代。研究设计了两种评估环境。在基于噪声受限、晴朗天空S波段的全尺度追踪测试中，该框架实现了2.1 dB的信噪比、1.5×10?5的误码率、1.26 W的发射功率消耗、至少0.96的Jain公平性、低于0.4%的数据包丢失率以及38至46毫秒的端到端延迟。在配对条件下，通过MATLAB参考实现分离出了各组件的贡献，采用NOMA技术后传输吞吐量提升了22%，且延迟有所降低。BDIx层消除了未受监控的学习器带来的剩余误差。联邦训练的结果与仅使用本地训练及集中式训练的效果相当。在所使用的x86开发平台上，平均调度决策时间为5.2毫秒，99百分位数值为8.2毫秒，满足10毫秒的控制周期要求。这些结果仅适用于所评估的场景。

引言：第六代（6G）技术的出现要求为大范围、对时间敏感的物联网系统提供创新解决方案，以满足对超可靠低延迟通信以及更高可扩展性的需求。虽然5G网络的部署已经带来了显著的社会和经济效益，但相关研究仍在努力通过5G Advanced技术拓展其功能，并探索6G通信的新领域[1]、[2]、[3]、[4]。5G-A旨在优化网络性能，为各类设备提供无缝连接，从而为6G的变革性功能奠定基础。ITU-R第5D工作组自2021年开始规划IMT-2030及后续技术的发展方向，这一规划建立在ITU-T网络2030技术焦点小组在2018年至2020年间制定的基础服务目标之上[5]、[6]。6G愿景是构建一个物理世界、人类世界和数字世界相互融合的超连通生态系统，这一生态系统依赖于无处不在的传感器和先进的数字基础设施。根据5G-PPP标准[7]，预计将出现三种主要应用场景：(1)数字孪生：通过同步的传感器和执行器，实现对城市、工厂和人体等系统的精确模拟；(2)连接智能：利用人工智能驱动的网络基础设施，管理实体对象的虚拟副本；(3)沉浸式通信：实时传输高分辨率的空间、触觉及其他感官数据，营造出类似亲身临场的沉浸式体验。从3GPP的第17版规范开始，该组织将非地面网络引入5G生态系统，以支持直接面向手机的卫星服务。预计在6G时代，这类系统将在物联网、自主系统以及沉浸式通信领域发挥越来越重要的作用[8]。2023年的ITU-R世界无线电通信大会强调了非地面网络的战略重要性，因此分配了更多频谱资源以满足日益增长的卫星通信需求。会议指出，Ka波段以及Q/V波段是高速卫星和甚小口径终端系统所需的关键频段。这些发展将有助于5G非地面网络以及未来6G非地面网络服务的顺利部署，满足人们对低延迟、高容量通信的迫切需求。此外，WRC-23的决策还为全球频谱协调和干扰抑制提供了有力支持，进一步提升了非地面网络与地面网络的融合程度。尽管取得了这些进展，有限的频谱资源仍是非地面网络面临的一大挑战。目前有两种互补的方法正在被探索，用以优化基于卫星的5G和6G网络[9]。第一种方法是将卫星组件和地面组件集成在为GSM、LTE和5G网络预留的频段中[10]，Lynk和AST SpaceMobile等公司已在700和800 MHz频段采用了这种方案。另一种方法则利用专门为移动卫星服务分配的频段，即3GPP规定的n255和n256频段（见表1）。本文提出了一种将信念-欲望-意图扩展智能体整合到非地面网络中的新方法，以此实现实时系统的动态决策优化。通过引入基于强化学习的数据调度技术，该研究解决了非地面网络支持的物联网系统中资源分配、延迟降低和能效提升等关键问题。其创新之处在于将BDIx智能体与RLDS-NTN技术相结合，构建出一个能够适应不同环境条件、同时提升效率与可扩展性的智能非地面网络架构。本文的主要贡献如下：•提出了适用于非地面网络物联网系统的混合符号-子符号框架，其中BDIx智能体负责提供可解释的基于规则的控制系统，而DRL则能在动态的信道、移动性和流量条件下实现自适应优化；•开发了基于强化学习的数据调度算法RLDS-NTN，用于功率分配和考虑延迟的数据管理；•与现有的先进方法相比，该算法在信噪比、误码率和能效方面取得了显著提升；•详细分析了频谱利用方面的挑战，并探讨了整合卫星与地面通信技术的解决方案；•提出了一种结合移动边缘计算和无人机技术的可扩展架构，用以解决非地面网络物联网系统中的延迟和能耗问题；•在相同的统计协议下，分别对BDIx、NOMA和FL进行了受控的组件剔除实验，并给出了以调度器为核心的基准测试结果，同时还分析了系统的鲁棒性、设备密度适应性、灵敏度以及各种参数之间的权衡关系（详见第5.4节至第5.10节）。RLDS-NTN被作为一个集成的端到端框架进行评估，在该框架中，各个组件——基于DRL的调度、BDIx规则匹配、NOMA功率域复用以及联邦式的模型更新交换——协同工作，共同决定了系统的性能表现。尤其是，NOMA技术为调度器提供的每条链路的信噪比和速率计算提供了依据，而联邦式的梯度交换机制则决定了分布式智能体如何优化自身的策略。因此，第5节中的实验比较实际上是对完整RLDS-NTN系统与各基准系统的对比。除整体对比外，第5.4节还介绍了受控的组件剔除实验，即在其他条件完全相同的情况下，分别关闭或替换NOMA、FL和BDIx层。在控制层面，调度器在每个周期需要做出的决策包括：(i)资源块分配及NOMA用户复用、(ii)波束分配与接入控制、(iii)在网络拥堵时暂停新的资源块分配，以及(iv)在波束间重新分配积压的流量。因此，所获得的改进效果应被视为在该运行模式下的最佳参考值。全尺度基准测试是在相同的追踪测试假设下进行的，而组件级方法的比较则基于相同的仿真参考实现条件。因此，每种环境下的性能排序反映了不同的调度结构差异，而非测试假设带来的影响。在雨衰、干扰严重或设备密度较高的环境下进行测试时，需要重新调整评估参数。为进一步明确接入机制，所评估的RLDS-NTN框架在物联网传感器与无人机之间的上传链路采用波束内的上行链路功率域NOMA技术。具体而言，每个波束/资源块既可以服务于一个用户，也可以支持一对用户的NOMA通信，接收端则在理想消除干扰的假设下进行连续干扰消除操作。控制循环负责决定资源块分配、用户配对、功率分配、波束接入、拥堵时的暂停措施以及波束间的流量重新分配。相比之下，为简化实现过程，馈电/控制信号以及非接入链路则保持正交关系。因此，第5节中的性能结果对应的是集成NOMA技术的RLDS-NTN系统；而在其他条件相同的情况下，NOMA技术与传统OMA技术以及非理想干扰消除技术相比的测试结果则会在第5.4节中给出。本文提出的框架展示了将先进的人工智能技术与非地面网络相结合的巨大潜力，为6G时代高效、可扩展的物联网解决方案奠定了基础。与那些依赖纯DRL优化或基于系统导向的边缘服务连续性机制的现有MEC-NTN解决方案不同，本文提出的RLDS-NTN框架将自适应学习与基于符号的智能体控制相结合，从而在保证优化效率的同时，还能实现具备约束意识、易于理解的决定制定过程。特别是，BDIx智能体层引入了深思熟虑的推理机制、在网络拥堵时激活相应功能的能力，以及无冲突的意图调度功能，而这些都是纯粹基于数据驱动的方法所不具备的。本文的其余部分结构如下：第2节回顾了关于非地面网络及其与移动边缘计算结合用于物联网应用的现有研究；第3节阐述了问题描述、系统模型和架构，重点讨论了在非地面网络环境中优化通信链路、功率分配和数据调度的问题；第4节介绍了RLDS-NTN算法的设计与实现过程；第5节描述了实验设置和性能评估方法；第6节对全文进行总结，并指出了未来研究的方向。