基于深度强化学习的无状态、主动式动态多播路由机制

《IEEE Transactions on Networking》：Stateless and Proactive Routing for Dynamic Multicast With Deep Reinforcement Learning

基于深度强化学习与时间卷积网络的无状态多播机制在SDN环境中的带宽优化与低延迟波动控制研究，提出Hawkeye机制通过动态预构建多播树和源聚合策略实现毫秒级路由决策，显著降低路径延迟波动达89.5%且带宽消耗增幅低于10%。

　　

摘要：

有状态的组播协议通过维护关于活跃组及其成员的状态信息来管理组播组成员关系。由于缺乏可扩展性、简单性和灵活性，这些协议在现代互联网中的采用率较低。虽然无状态的组播协议（如BIER）消除了大量的状态管理，但它们仍然面临复杂的树状计算问题，并且在处理并发请求时可扩展性有限。在本文中，我们提出了一种名为Hawkeye的无状态组播机制，该机制结合了深度强化学习（DRL），能够实时响应动态组播请求，并实现接近最优的组播传输效率。这种机制适用于软件定义网络（SDN）环境，在这种环境中，控制器可以对网络有全局视图，并支持灵活配置网络资源以进行流量工程。为了实时响应组播请求，我们利用基于时间卷积网络（TCN）的强化学习模型来模拟动态组成员关系的序列特征，从而能够主动为即将到来的请求构建组播树。我们还开发了一种新的源聚合机制，以帮助DRL代理在高流量组播请求下保持稳定运行。此外，为了提高Hawkeye的实用性和鲁棒性，我们设计了增量部署和单点故障处理机制，这些机制充分利用了源聚合功能，并与组播路由很好地结合在一起。通过实际网络拓扑和组播请求的测试表明，Hawkeye能够有效应对动态组播请求：它能够在5毫秒内做出路由决策，在测试拓扑中将路径延迟变化减少了89.5%，同时带宽消耗仅增加了不到10%，相比离线理论最小值而言。

引言

近年来，多媒体流量快速增长，预计到2023年将超过所有互联网流量的70% [1]。这种高带宽消耗流量的激增给网络基础设施带来了巨大压力。组播技术可以通过高效地将数据从单个发送者分发到多个接收者来减轻这一负担，从而通过消除冗余数据传输来节省带宽。不幸的是，传统的有状态网络层组播协议 [2] 由于需要在路由器中维护每个流的状态而产生了高昂的控制开销。应用层组播虽然可以减轻服务器的流量压力，但网络资源的利用率并未得到充分优化 [3]。最近，IETF引入了Bit Index Explicit Replication（BIER）[4]，这是一种无状态的源路由机制。BIER不在于中间节点中保存每个流的状态，而是使用基于位的显式转发指令来实现更高效和可扩展的组播数据包传输。