《IEICE Transactions on Communications》:A Dynamic Load Balancing Method for MQTT Shared Subscriptions Considering the State of a Group of Subscribers
编辑推荐:
MQTT 5.0规范(2019年制定)引入了共享订阅,以在多个订阅者之间分发消息,从而提升基于MQTT的数据基础设施的可扩展性和可用性。然而,当前共享订阅的订阅者选择方法依赖于实现,且许多厂商产品和开源软件仅支持静态负载均衡方法。静态负载均衡方法无法适应受其他
MQTT 5.0规范(2019年制定)引入了共享订阅,以在多个订阅者之间分发消息,从而提升基于MQTT的数据基础设施的可扩展性和可用性。然而,当前共享订阅的订阅者选择方法依赖于实现,且许多厂商产品和开源软件仅支持静态负载均衡方法。静态负载均衡方法无法适应受其他工作负载影响导致的订阅者数据处理性能变化,可能导致整体工作负载的处理延迟。在本研究中,研究人员提出了一种通过实时管理连接到代理的订阅者组状态来实现共享订阅动态负载均衡的方法。该方法扩展了MQTT控制包,通过随时将订阅者消息处理状态传输给代理,实现基于待处理消息数量的动态负载均衡。评估结果表明,与现有静态负载均衡方法相比,该方法将整体工作负载的延迟降低了98%。
### 论文解读:基于订阅者组状态的MQTT共享订阅动态负载均衡方法
#### 研究背景与问题定义
随着物联网(Internet of Things, IoT)应用的日益复杂化,如智慧城市和智能电网,对低延迟、高可扩展性的数据基础设施需求显著增加。MQTT作为一种基于发布/订阅模型的轻量级通信协议,因其小开销和可配置的服务质量(Quality of Service, QoS)被广泛用于IoT环境。MQTT 5.0引入共享订阅(Shared Subscriptions)功能,允许多个订阅者组成一个组,每条消息仅传递给组内一个订阅者,从而提高负载均衡和系统可扩展性。然而,共享订阅的订阅者选择机制未在规范中定义,多数实现仅采用静态负载均衡方法(如轮询或随机),无法适应订阅者处理性能的动态变化。当订阅者执行其他工作负载时,其处理能力可能下降,导致消息积压和整体延迟增加。现有研究(如文献[16]和[7])未充分考虑订阅者状态信息,而动态负载均衡方法(如文献[17])假设代理预知订阅者信息,缺乏实时性。因此,本研究旨在解决两个核心问题:(1)代理未收集或利用订阅者状态信息;(2)静态负载均衡无法响应订阅者处理性能的变化。
#### 研究内容与结论
研究人员提出了一种动态负载均衡方法,通过扩展MQTT控制包中的PINGREQ(一种心跳包)来实时传输订阅者状态信息到代理。该方法基于订阅者报告的待处理消息数量和平均处理时间,计算每个订阅者的评分,并动态调整消息分发比例,以选择最适合的订阅者。评估实验在两种场景下进行:订阅者性能均匀和非均匀。结果表明,在非均匀性能场景下,该方法相比随机和轮询方法将整体延迟降低98%,同时在高负载下保持低延迟。此外,可扩展性评估显示,即使发布者和订阅者数量增加,该方法仍能有效抑制延迟。研究结论指出,该方法通过实时状态管理,显著提升了MQTT共享订阅的负载均衡效率,适合部署于边缘计算和分布式环境。
#### 关键技术方法
研究人员主要采用了以下关键技术方法:
1. **控制包扩展**:扩展PINGREQ包,在payload中添加订阅者状态信息(如待处理消息数和平均处理时间),实现实时通信。
2. **评分算法**:基于待处理消息数和平均处理时间,计算每个订阅者的评分,选择评分最高的订阅者作为消息接收者。
3. **状态维护**:代理维护每个订阅者的最后PINGREQ接收时间、最后消息发送时间、发送消息数等,用于动态调整分发策略。
4. **实现平台**:使用开源软件Mochi-MQTT Server(代理)和paho.mqtt.java(客户端)实现方法,并在AWS ECS(弹性容器服务)上进行实验。样本队列包括10,000个发布者,每个每秒发送3条消息,订阅者数量从2到10个不等,性能混合(高和低)。
(注:样本队列来源为AWS ECS环境,具体机器规格见原文表3。)
#### 研究结果
**5.1 性能评估**
- **场景1(均匀性能)**:三个订阅者处理性能相同,轮询方法下每个订阅者能及时处理消息。结果显示,所提方法在延迟上等同于轮询,但优于随机方法,且避免了随机方法的连续分发问题。
- **场景2(非均匀性能)**:三个订阅者性能不同,轮询方法下慢速订阅者(Subscriber-3)延迟显著。所提方法通过动态调整分发比例,将整体延迟从约1400-1500 ms降至27.4 ms,降低98%,同时快速订阅者延迟略有增加(最多19.3 ms),表明方法实现了平滑的负载均衡。
- **额外分析**:初始阶段,PINGREQ发送时间不同步导致Subscriber-1接收过多消息,造成短暂延迟增加,但通过调整平均处理时间计算可缓解。
**5.2 可扩展性评估**
- 在AWS ECS环境中,使用10,000个发布者,每个每秒3条消息,订阅者数量从2增至10个。结果显示,所提方法在高负载下延迟低于轮询,但随订阅者增加,优势减小,因为每个订阅者分担消息减少。高性能订阅者的延迟平台化,表明评分机制未充分利用其处理能力,未来可改进为动态权重评分。
#### 讨论与结论
**讨论**:所提方法通过扩展PINGREQ实现实时状态管理,有效应对订阅者性能变化,避免过度资源分配,提升资源效率。在边缘环境中,多个工作负载共存时,方法能抑制相互影响。然而,方法依赖PINGREQ传输间隔,无法响应间隔内的局部负载增加,最佳间隔需进一步研究。
**结论**:本研究提出了一种动态负载均衡方法,通过扩展PINGREQ实现订阅者状态实时传输,基于评分算法动态选择订阅者,显著降低非均匀性能场景下的延迟。评估验证了方法的有效性和可扩展性。未来工作包括解决初始PINGREQ同步问题、引入网络延迟优先级、优化评分机制,以及评估代理资源消耗。
(注:研究由JSPS KAKENHI Grant Number 21K11846和ROIS NII Open Collaborative Research 2024 (24S0602)资助。)