《High-Confidence Computing》:Efficient popularity and priority-aware proactive content caching for connected autonomous vehicles
编辑推荐:
摘要专业翻译
边缘服务器上的主动内容缓存是实现车载边缘网络中低延迟服务的关键使能技术。本文提出了一种优先级集成与流行度预测辅助的强化学习框架,用于主动内容缓存。该框架明确地将流行度预测与缓存决策解耦,并将延迟敏感型内容的优先级排序集成到缓存策略中,以提升缓存效
摘要专业翻译
边缘服务器上的主动内容缓存是实现车载边缘网络中低延迟服务的关键使能技术。本文提出了一种优先级集成与流行度预测辅助的强化学习框架,用于主动内容缓存。该框架明确地将流行度预测与缓存决策解耦,并将延迟敏感型内容的优先级排序集成到缓存策略中,以提升缓存效率和服务响应能力。首先,采用一种融合多头注意力机制的LSTM网络(LSTM-MHA)进行离线训练,以捕捉时间维度的需求动态并生成前瞻性的流行度估计。随后,将这些预测的紧凑摘要加入双深度Q网络(DDQN)的状态中,使得缓存决策能够获得时间信息支持并具备主动性,而无需深度Q网络(DQN)从头学习需求模式。缓存优化问题被建模为马尔可夫决策过程(MDP),通过延迟感知的优先级加权目标函数,联合优化长期缓存命中率、传输延迟和用户体验质量(QoE)。基于真实车辆移动数据集的广泛仿真结果表明,所提出的LSTM-MHA-DDQN框架在各项性能指标上持续优于基线方法,与所评估的基线方法相比,命中率提升8.9%,平均延迟降低5.3%,QoE提升5.7%。如预期所示,所提方法在高优先级(高延迟敏感型)任务上,与基线方法相比,命中率提升约15.3%,延迟降低23.1%,QoE提升17.5%。
论文解读
一、研究背景与问题
随着网联自动驾驶车辆(Connected and Autonomous Vehicles, CAVs)的快速发展,车辆配备高分辨率传感器、摄像头和持续无线连接,产生并请求大量数据,涵盖安全、交通管理、地图和娱乐等场景。车载应用不断丰富,移动流量尤其是高带宽视频内容需求急剧增长,对无线网络和回程链路造成巨大压力。虽然云平台具备充足的算力和存储资源,但远端数据中心获取数据会引入延迟和网络拥塞,难以满足车载服务的实时性需求。多接入边缘计算(Multi-Access Edge Computing, MEC)通过路侧单元(Roadside Unit, RSU)和边缘服务器将计算与存储资源下沉至网络边缘,实现更快的服务响应。主动边缘缓存作为其中关键手段,将热门内容本地存储,从而降低延迟、减轻回程压力并提升资源利用率。
然而,RSU缓存空间有限,车辆需求随时间动态变化,如何决定缓存内容成为核心挑战。现有缓存策略存在以下突出问题:
其一,内容请求不仅存在流行度差异,还存在紧迫性和重要性差异。安全告警、交通控制消息等关键内容需要极低延迟交付,但请求频率不高;而娱乐多媒体内容请求频繁但可容忍延迟。基于流行度的传统策略如最近最少使用(Least Recently Used, LRU)、最不经常使用(Least Frequently Used, LFU)或基于LSTM的流行度预测方法,倾向于缓存高频请求内容,忽略了内容紧迫性。在有限缓存空间下,这些方法可能以低优先级但高流行内容填满缓存,挤掉延迟敏感内容,导致延迟增加和QoE下降。
其二,现有学习型缓存方法存在结构性缺陷。部分工作采用两阶段设计,先预测流行度,再应用固定启发式或快照优化进行缓存决策,预测与决策模块分离,缓存选择无法从真实结果中获取反馈,预测出错时策略容易失效,难以适应需求变化。部分强化学习方法仅关注单一目标,如命中率、延迟或成本,未将延迟、QoE和内容优先级联合考虑。还有方法依赖集中控制或高计算开销,难以部署在资源受限的RSU上。多数现有策略仍属被动响应型,仅基于历史观测做决策,无法在高度动态的车载流量中预见近期需求。
内容重要性不应仅由请求频率决定,而应同时考虑流行度与紧迫性。高流行内容因降低重复检索成本值得缓存,但延迟敏感或任务关键内容即使请求率较低也应获得优先权。已有部分工作将优先级纳入缓存替换决策,但基于一次性搜索方法如二进制粒子群优化(BPSO)缺乏长期自适应能力,难以反映内容类型随时间变化的紧迫性和影响。
二、研究内容与结论
为解决静态和一次性优化方法的局限,研究人员提出一种预测与学习驱动的缓存框架,将需求预测与序列决策相结合。具体而言,采用结合多注意力机制的LSTM网络(LSTM-MHA)离线训练以捕捉时间需求动态并生成前瞻性流行度估计,将这些预测的紧凑摘要纳入双深度Q网络(Double Deep Q-Network, DDQN)的状态表示,使缓存决策具备时间感知和主动性,无需DQN从原始观测中重新学习需求模式。缓存问题被建模为马尔可夫决策过程(MDP),联合考虑缓存命中率、传输延迟和QoE,内容优先级通过奖励加权引入,而非作为独立决策变量直接优化。该设计使智能体在长期学习框架内通过结构化奖励塑造隐式地偏好紧急内容。
基于真实车辆移动数据集的仿真结果表明,该框架在各项指标上持续优于基线方法,命中率提升8.9%,平均延迟降低5.3%,QoE提升5.7%。在高优先级(高延迟敏感)任务上,命中率增益约15.3%,延迟降低23.1%,QoE提升17.5%。实验覆盖不同缓存容量,在缓存容量受限时改进最为显著,展示了在资源约束下强大的学习能力。
四、主要技术方法
研究人员采用的主要关键技术方法包括:
(1)LSTM-MHA预测模块:使用增强多注意力机制(Multi-Head Attention, MHA)的LSTM网络离线训练,捕捉请求序列的时间动态模式,输出下一请求概率的流行度预测分布。
(2)紧凑流行度表示:将预测流行度向量压缩为Top-K概率质量、最大值等紧凑统计特征,作为状态特征融入强化学习状态,避免DQN从原始数据重新学习需求模式。
(3)DDQN缓存决策:以DDQN作为核心决策模块,将LSTM-MHA预测特征与历史观测拼接形成状态,通过Q网络选择缓存动作。
(4)优先级感知的MDP建模:将缓存问题建模为MDP,奖励函数为延迟感知的优先级加权目标,联合优化命中率、延迟和QoE。
(5)层次化逐出策略:基于保留分数(综合内容优先级、预测流行度、延迟感知QoE)引导缓存替换,低价值内容先被移除,高优先级和高影响内容被保留在有限缓存中。
五、研究结果
5.1 总体性能对比
在真实车辆移动数据集上,LSTM-MHA-DDQN与LRU、LFU、LSTM-TopK、标准DQN等基线对比,命中率提升8.9%,平均延迟降低5.3%,QoE提升5.7%,验证了预测与决策联合学习的有效性。
5.2 高优先级内容性能
针对高优先级(高度延迟敏感)任务,所提方法命中率增益约15.3%,延迟降低23.1%,QoE提升17.5%,说明优先级加权奖励能有效引导缓存策略优先保留关键内容。
5.3 缓存容量影响
在不同缓存容量下,所提方法均保持一致性能优势,且在缓存容量受限时增益最为显著,表明该框架在资源约束下仍具备较强的学习与适应能力。
5.4 消融分析
通过对比去除LSTM-MHA预测特征或去除优先级加权奖励的变体,验证了各模块对整体性能的贡献,流行度预测为决策提供前瞻信息,优先级加权保障关键内容交付。
六、讨论与结论
讨论部分指出,传统基于流行度的方法在动态车载边缘环境中难以兼顾内容紧迫性,而纯强化学习方法存在预测与决策脱节或目标单一的问题。所提出的LSTM-MHA-DDQN框架通过将预测信息嵌入状态、优先级融入奖励,实现了预测与决策的端到端协同,有效提升了缓存命中率、降低了延迟并改善QoE,尤其在高优先级内容上表现突出。实验表明,该框架在缓存资源受限时仍能保持稳定性能,验证了其在实际车载边缘网络中的适用性和可扩展性。研究结论表明,将需求预测与强化学习决策深度融合、并显式建模内容优先级,是提升车载边缘缓存系统整体性能的有效途径,为后续车载边缘缓存策略设计提供了重要参考。