一种基于多智能体深度强化学习的异构工业物联网MPTCP拥塞控制方法

《Ad Hoc Networks》：An MPTCP congestion control method for heterogeneous IIoT networks based on multi-agent deep reinforcement learning

　　

摘要

多路径传输控制协议（MPTCP）在具有异构接入链路的工业物联网场景中具有重要意义，但带宽、延迟和丢包率的动态变化使得多路径拥塞控制面临挑战。为在保持控制稳定性的同时提升适应性，本文提出了一种基于注意力增强的多智能体拥塞控制方法（AT-MACC），该方法将BALIA启发式算法与多智能体近端策略优化框架相结合。BALIA可提供稳定的基础拥塞窗口，而每个子流智能体则根据本地观测结果生成有界修正因子。该方案采用包含LSTM和注意力机制的智能体网络来捕捉链路的时间动态特性，并通过设计双重局部-全局奖励函数来平衡传输效率与各子流之间的公平性。在基于Mininet的异构链路场景下的仿真结果表明，与LIA、OLIA和BALIA相比，AT-MACC在评估条件下实现了更高的吞吐量和更低的往返时延。这些结果为学习辅助型拥塞窗口调整的可行性提供了可控的仿真证据，而要在真实的无线工业物联网环境中进行更全面的验证则是未来的工作方向。

引言

随着各类异构通信技术的快速发展，工业物联网设备越来越能够通过Wi-Fi、蓝牙、LTE和5G等多种有线及无线接口同时接入多个网络[1]。这种多接口连接方式为跨网络数据传输创造了新的可能[2]，对于那些需要高可靠性、低延迟以及持续服务可用性的工业应用而言尤为重要，比如实时监控、控制信号传递以及智能制造等领域[4]。在本研究中，我们将这些技术作为异构工业物联网接入环境的示例。实验评估通过可配置的链路参数（包括带宽、延迟和丢包率）来抽象出它们在传输层上的差异，而非直接模拟每种接入技术的物理层或MAC层行为[5]。

尽管具备这些优势，实际的工业物联网网络通常具有高度的异构性和动态性[6]。不同的子流可能会面临截然不同的带宽、延迟[7]以及丢包率情况，尤其是在数据通过无线及混合接入链路传输时[8]。在这样的环境下，高效的多路径传输在很大程度上依赖于拥塞控制[9]。如果无法及时且协调地调整拥塞窗口，优质路径可能会被闲置，而劣质路径则可能导致过高的延迟、不稳定现象或不必要的竞争[10]。因此，自适应的多路径拥塞控制仍是实现可靠工业物联网服务的关键问题[11]。

目前大多数MPTCP拥塞控制算法都是通过将多个子流的窗口演化过程相互关联，从而扩展了加性增长与乘性减少原则（AIMD）[12]。诸如LIA[13]、OLIA[14]和BALIA[15]等代表性算法旨在保持与TCP协议的兼容性，并提升不同路径之间的公平性。然而，这些方法主要依赖预定义的更新规则以及有限的本地反馈，这限制了它们在异构且不断变化的环境中的适应性[16]。尤其是当链路不对称性变得较为明显时，传统的耦合机制可能会对快速变化的状况做出保守反应，进而无法高效地在各个子流之间分配发送机会[17]。

近期有一些研究开始探索深度强化学习在拥塞控制中的应用，因为它能够直接从网络观测数据中学习出自适应的控制策略[18]。基于深度强化学习的方法确实可以提高系统在复杂环境中的响应能力[19]，但同时也带来了诸多实际难题，包括训练过程中的计算开销、收敛效率以及决策稳定性等问题[20]。例如，DRL-CC[21]和DeepCC[22]虽然提升了系统的适应性，但其效果可能受到训练成本以及维持稳定在线控制的难度限制。在以工业物联网为应用目标的异构网络中，这些问题显得尤为突出[23]，因为在这种环境中，及时的响应能力和稳健的性能表现都是至关重要的。

基于上述分析，本文提出了一种名为注意力增强型多智能体拥塞控制（AT-MACC）的混合式拥塞控制框架，该框架将启发式控制方法与多智能体深度强化学习相结合。AT-MACC并非完全取代传统的拥塞控制方式，而是以BALIA作为稳定的基准，同时引入基于MAPPO的有界修正机制，用于对子流级别的拥塞窗口进行调节。为更好地描述不断变化的网络动态特性，该框架的智能体网络融入了LSTM和注意力模块，此外还设计了双重局部-全局奖励函数，以此平衡传输效率与子流之间的公平性。本研究重点在于所提出的混合机制的设计以及基于可控仿真的性能评估。因此，本文报告的实验结果应仅在所评估的Mininet场景范围内进行解读，而不能被视为在所有异构工业物联网条件下都具有普遍性能优势的定论性证据。

本文的主要贡献如下：

• •
  我们提出了AT-MACC，这是一种基于多智能体深度强化学习的拥塞控制算法，它整合了LSTM和注意力机制，从而能够实现对不同异构子流之间的拥塞窗口进行自适应且精细化的调控。
• •
  该方法通过将BALIA启发式算法与MAPPO的集中式训练及分布式执行机制相结合，并设计双重局部-全局奖励函数，从而实现了对快速拥塞状况的响应、吞吐量优化以及多子流之间的公平性平衡。
• •
  在所评估的仿真场景中，实验结果表明与LIA、OLIA和BALIA相比，AT-MACC在动态且异构的网络条件下能够提升吞吐量、降低延迟，并保持稳定的多路径传输性能。

本文的结构安排如下：第2节回顾了多路径拥塞控制的相关研究及其在异构网络中的局限性；第3节介绍了系统模型与问题建模方式；第4节详细阐述了AT-MACC算法，包括其双层拥塞控制机制、LSTM与注意力的融合应用以及双重局部-全局奖励函数的设计；第5节描述了仿真实验的设置，并分析了所提方法与典型MPTCP基准算法之间的性能差异；最后，第6节对全文进行总结，并探讨了未来的研究方向。

章节要点

相关研究

在多路径拥塞控制领域，传统方法大多遵循TCP拥塞控制中采用的加性增长与乘性减少策略（AIMD）。早期的基于丢包率的算法，如Coupled和EWTCP，假设各子流之间的往返时延是相同的，因此会平均分配流量到所有路径上。虽然这种方法能够实现基本的负载均衡，但难以应对网络条件中的显著波动。后续的研究则聚焦于

系统模型

图1展示了本节所提出的基于多智能体深度强化学习的拥塞控制方法的系统架构。该架构建立在MPTCP协议之上，专为在异构链路环境中的多子流传输而设计。它由五个核心模块组成：状态获取模块、启发式算法模块、深度强化学习模块、窗口决策控制模块以及接收端反馈模块。这些模块共同协作，

算法框架

在该框架中，强化学习组件被设计为作用于BALIA启发式算法之上的乘性增益控制器，而非独立的拥塞控制策略。为提升异构环境中的多路径拥塞控制的适应性与协同性，我们提出了一种结合MAPPO与启发式算法的多智能体框架。在这种设计中，深度强化学习负责提供自适应调整能力，而启发式组件则

实验设置

为了在不同网络条件下评估所提出的算法，我们设计了两种经过配置的评估场景。实验是在一台配备英特尔i7-8700处理器、32GB内存以及Ubuntu 16.04 LTS操作系统的戴尔台式机上进行的。异构网络环境是在Mininet环境中通过支持MPTCP v0.95的Linux内核来模拟的，而该算法则是使用PyTorch语言在Python环境中实现的。在模拟的链路层面，我们设置了带宽、延迟和丢包率等参数，用以体现不同的网络条件

结论

本文提出了一种名为AT-MACC的混合式多路径拥塞控制方法，该方法将BALIA启发式算法与基于MAPPO的多智能体学习框架相结合。在AT-MACC中，BALIA负责提供稳定的基础拥塞窗口，而每个子流智能体则会根据自身的本地观测结果生成有界的修正因子。为进一步提升对时间动态特性的表征能力，该框架的智能体网络融入了LSTM和注意力机制，同时通过设计双重局部-全局奖励函数，从而能够综合考虑

CRediT作者贡献说明

安欣：验证、软件开发、概念设计。何昊：软件开发。钟雷高：初稿撰写。杨金荣：论文修改与润色、项目管理。郭永安：资金筹集、形式化分析。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

安欣|何昊|钟雷高|杨金荣|郭永安