《Network》：Techno-Economic and SLA-Aware Control of 5G Cloud-RAN via Multi-Objective and Penalty-Constrained Reinforcement Learning
Sherif M. Aboul,
Hala M. Abd El Kader,
Esraa M. Eid and
Shimaa S. Ali
编辑推荐：
第五代（5G）移动网络必须同时满足严格的时延目标、高用户密度以及跨异构服务的节能运行。云化无线接入网（C-RAN）通过集中化基带处理提供了架构灵活性，但也引入了与前传约束、动态流量变化以及与移动边缘计算（MEC）的联合无线电-计算协调相关的新控制挑战。本文提出
第五代（5G）移动网络必须同时满足严格的时延目标、高用户密度以及跨异构服务的节能运行。云化无线接入网（C-RAN）通过集中化基带处理提供了架构灵活性，但也引入了与前传约束、动态流量变化以及与移动边缘计算（MEC）的联合无线电-计算协调相关的新控制挑战。本文提出了一种统一的、人工智能驱动的优化框架，用于自适应5G C-RAN管理，其中控制器动态调整关键系统决策——包括功能分割选择、时分双工（TDD）下行链路比例、用户-远端单元（RU）关联、前传负载管理以及MEC卸载比例。为了在相同仿真设置下实现公平基准测试，研究人员将一种静态基线策略与五种自适应控制策略进行比较：深度Q网络（DQN）、近端策略优化（PPO）、深度确定性策略梯度（DDPG）、多目标强化学习（MORL）以及一种确定性的服务等级协议（SLA）感知控制器——惩罚约束分层动作控制器（PCHAC）。跨技术经济和服务关键绩效指标（KPI）的性能评估表明，与非自适应运行相比，智能控制显著改善了运营利润、尾部时延行为和能效，同时提高了SLA合规性。研究结果凸显了多目标和约束感知学习在扩展流量需求下用于下一代C-RAN编排的实用性。
随着5G移动通信网络的持续扩展，对高数据速率、超可靠低时延服务以及大规模用户连接的需求日益增长，特别是在高度动态的无线电和流量条件下。在C-RAN部署中，基带处理集中化、前传限制和分布式无线电资源共同影响系统性能，使得这些要求变得更加复杂。移动边缘计算（MEC）的集成进一步增加了系统复杂性，引入了计算相关的时延组件和对时延敏感服务的额外控制决策。传统的针对C-RAN和MEC使能系统的优化方法，如固定策略、手工启发式方法或单目标公式，在必须同时满足多个目标时，往往难以保持稳定性能。
为应对这些挑战，研究人员开发了一种人工智能驱动的优化框架，用于增强MEC能力的5G C-RAN架构，实现了跨无线电、前传和计算维度的自适应决策。该框架在统一的仿真和技术经济建模环境下评估多种智能策略。一项静态基线配置作为参考点，研究比较了五种基于人工智能的方法，这些方法代表了不同的学习和控制范式：MORL，通过显式权衡建模来平衡相互竞争的KPI；PCHAC，一种用于约束执行的确定性SLA感知控制器；以及三种标准深度强化学习算法——DQN、PPO和DDPG，它们分别涵盖了基于值的学习、策略梯度优化和连续控制决策空间。
在5G云化RAN部署中，网络运营商必须满足严格的服务级别目标，特别是针对时延敏感应用的尾部时延要求，同时限制运营成本，如能源使用和前传消耗。集中式RAN处理和MEC改善了资源池化和灵活性，但也产生了紧密耦合的配置决策，包括功能分割选择、TDD调度、卸载比例和RU休眠控制，每一项都影响用户体验和成本。由于流量负载和无线电条件随时间波动，固定的参数设置可能在资源不足时违反SLA，或在配置过度时浪费资源。这些实际约束促使研究人员开发一个技术经济、SLA感知的控制框架，该框架能够动态选择云RAN/MEC配置，以在满足时延和前传限制的同时提高运营商效用。
本研究旨在量化这些权衡，并开发一种自适应配置控制框架，以在随机流量和信道变化下，满足SLA约束的同时提高利润/效用。核心研究问题是：如何联合控制云RAN/MEC配置旋钮（功能分割、TDD比例、MEC卸载和RU休眠），以在随机流量和信道变化下满足尾部时延和前传约束的同时，最大化技术经济效用？本文的核心贡献是提出了一个统一的技术经济和SLA感知的云RAN/MEC配置控制公式和评估流程；PCHAC和深度强化学习（DRL）算法作为代表性控制器/基线被纳入，以在相同条件下展示和基准测试该框架。
为了开展研究，研究人员采用了统一的技术经济和SLA感知的配置控制公式和评估流程。所使用的关键技术方法包括以下几个主要方面：首先，构建了一个包含无线电传播、用户关联、基于SINR的链路自适应、MEC处理时延和前传性能的综合性5G C-RAN + MEC系统仿真模型。其次，定义了一个多维性能模型，该模型在可扩展场景中捕捉网络利润、能源成本、前传成本、时延行为和用户连接性。第三，提出了一种确定性的SLA感知控制器PCHAC，它通过显式的约束处理和基于惩罚的评分规则来引导操作在服务级约束下保持可行性，同时维持有竞争力的技术经济性能。最后，在相同网络拓扑、仿真参数和KPI定义下，对基线、MORL、PCHAC、DQN、PPO和DDPG六种方法进行了跨方法基准测试，并在不同用户密度下进行了详细的KPI级评估和可扩展性分析。样本队列为仿真生成的随机用户和无线电单元分布。
**6. Results and Evaluation**
所有报告结果均基于每种方法在 *N*=10 个独立随机种子上的平均值。每个种子重新初始化仿真中的随机分量（如信道和流量实现）以及学习过程（如网络初始化和探索）。图表均报告跨种子的均值，不确定性以95%置信区间（CI）表示。
**Economics (Profit, energy, fronthaul cost, net utility)**：经济性能评估显示，PCHAC在10个独立随机种子中实现了最高的平均利润（10.382 ± 0.143 $/h）和净效用（8.458 ± 0.077 $/h），表明其具有最有利的收入-成本权衡。PCHAC还实现了最低的平均能源成本（1.813 ± 0.035 $/h）和前传成本（0.012 ± 0.001 $/h），优于基线和所有学习型基线。
**Service KPIs (Latency percentiles: p50, p75, p90, p95, p99)**：服务KPI评估表明，在所有报告的百分位数中，PCHAC保持最低的时延水平，显示出改进的典型性能和更强的尾部行为。特别是在p95和p99百分位，PCHAC的不确定性范围更小，表明其具有稳定的尾部时延控制。
**Cumulative distribution functions (CDFs) of end-to-end latency**：端到端时延的累积分布函数（CDF）曲线显示，PCHAC呈现出最有利的时延分布，大部分时延值集中在18到30毫秒之间，且累积概率上升迅速。MORL和DDPG构成次优梯队，而PPO则表现出最差的时延行为。
**Channel quality indicator (CQI) distribution**：信道质量指示符（CQI）分布分析显示，PCHAC呈现出明显右移的CQI分布，将更多用户分配到较高的CQI水平（CQI 10–15）。相比之下，其他方法主要运行在较低CQI范围内。
**Per-RU fronthaul load**：每个RU的前传负载分析显示，所有方法下的前传负载均远低于1 Gbps的容量阈值。PCHAC在每个RU上通常实现最低的前传负载，表明其具有更高的前传利用率。
**Jain’s fairness index per radio unit**：每个RU的Jain公平性指数分析显示，PCHAC在大多数RU上始终实现最高或接近最高的公平性，表明其能够促进跨RU的均衡资源分配。
**Normalized multi-objective performance comparison**：归一化多目标性能雷达图显示，PCHAC在所有五个维度（利润、逆p95时延、逆能源成本、逆前传负载、连接用户数）上均实现最高归一化值，形成最外层和最均衡的轮廓。
**Percentage of users exceeding SINR thresholds**：超过信干噪比（SINR）阈值的用户百分比分析显示，PCHAC在每个阈值（0 dB、5 dB、10 dB）下均提供最强的覆盖，例如在SINR ≥ 10 dB时达到67.7%，而其他方法均低于12%。
**Profit and p95 latency vs. number of users**：利润和p95时延随用户数变化的可扩展性分析显示，PCHAC在整个用户负载范围内维持最高的平均利润和最低的平均p95时延。随着负载增加，PCHAC的优势变得更加显著。
**Energy cost vs. number of users**：能源成本随用户数变化的分析显示，PCHAC在全部负载范围内始终实现最低的平均能源成本。
**Execution time vs. number of users**：执行时间随用户数变化的分析显示，基线方法效率最高，而PPO始终记录最高的执行时间。MORL和PCHAC紧随基线之后，具有相当的执行时间。
**Sensitivity to MEC and Core Network Latency Assumptions**：对MEC和核心网络时延假设的敏感性分析通过扫描 *L
MEC* ∈ {0.3, 1, 5} ms 和 *L
core* ∈ {2, 10, 20} ms 进行。结果确认，在MEC和核心时延假设的实践范围内，相对性能趋势保持稳定。
**7. Discussion**
研究结果共同证实，跨无线电、前传和边缘计算维度的联合控制对于5G C-RAN的技术经济优化至关重要。在所有评估策略中，最强的方法通常是那些显式考虑竞争目标和运行约束的方法，而非孤立优化单一KPI。具体而言，多目标和约束感知的决策机制在负载增长下表现出更稳定的行为。从经济角度看，更好地管理利润-成本权衡的方法通过同时改善收入相关项和限制运营费用来实现更高的净效用。服务级行为最好通过结合尾部时延趋势图和时延CDF来理解。将CDF左移并使其上升更陡的方法有效地减少了平均时延和高百分位异常值。无线电侧指标提供了额外的诊断性见解。比较工作流程和复杂性分析突显了一个重要的实践权衡：自适应方法可以提供适应性，但可能带来更高的训练或推理开销，而确定性约束选择则更具可解释性和稳定性。研究结果还表明，一个有前景的部署方向是混合编排，即约束感知监督器确保SLA可行性，同时学习代理在安全边界内优化连续控制变量。
**8. Conclusions**
本文研究了集成移动边缘计算的5G云化RAN的技术经济和SLA感知编排，其中有效运行需要跨无线电配置、前传管理、RU激活行为和计算卸载的协调决策。研究人员开发了一个统一的评估框架，用于将静态基线与多种人工智能驱动策略进行基准测试。结果表明，智能控制可以通过增加经济回报，同时提升尾部时延、用户连接性和无线电侧质量分布等服务性能指标，来改善整体运营权衡。对比分析强调，旨在处理竞争目标并执行可行性约束的控制器在用户负载增加时提供了最稳定的行为。相比之下，未明确包含约束处理或多目标平衡的方法在扩展需求下可能表现出较弱的鲁棒性。总体而言，研究结果支持了多目标和约束感知学习在下一代C-RAN编排中的实践价值，尤其是在必须同时满足运营成本、前传限制和SLA目标的部署中。
