一种基于强化学习的分段协作空气平衡控制方法，用于多个阻尼器

《ENERGY AND BUILDINGS》：A reinforcement learning-based segmented cooperative air balancing control method for multiple dampers

强化学习分段协同空气平衡方法通过动态目标训练和精细调整模型提升多分支系统控制效率与精度，实验误差低于3.17%

　　空气平衡是供暖、通风与空调（HVAC）系统中一种潜在的节能技术，其主要目标是确保准确的气流输送，以满足室内空气质量需求。然而，现有的空气平衡方法在处理复杂的通风管道结构和相关支路之间的强耦合关系时，存在收敛速度慢和精度低的问题。为了解决这些挑战，本文提出了一种基于强化学习的分段协同空气平衡控制方法（RLSC-AB），该方法旨在提升多挡板系统的控制效率与精度。

随着现代社会和经济的快速发展，人们对健康生活的需求日益增加，这使得生活环境、空气质量以及身心健康成为关注的焦点。HVAC系统在建筑领域广泛应用，以改善居住环境并促进相关技术的进步。然而，通风管道系统中供气与需求的不匹配不仅会降低热舒适度，还可能加剧健康风险，如呼吸系统疾病和“病态建筑综合症”。因此，在系统调试前，通风管道系统需要进行测试、调整和平衡（TAB），以确保其设计、安装、功能测试以及满足供气与需求匹配的设计要求，从而提供一个温度、湿度等环境参数稳定的舒适环境。

高效的TAB需要通过多种方法由经过认证和经验丰富的技术人员实施，以确保符合ASHRAE标准。目前，TAB通常采用迭代方法，安装人员根据各支路末端的气流情况，逐步调整挡板角度，最终实现多区域的气流平衡。然而，这种方法高度依赖于安装人员的经验，且通风管道系统的复杂性会导致整个调整过程耗时且繁琐。为提高效率，有研究提出了比例方法，该方法通过调整风机电压，使总气流输出与目标气流保持一致，随后逐步调整各支路挡板角度，以满足不同区域的气流需求。然而，这种比例方法本质上仍是一种试错法，调整过程存在一定的不确定性。

为解决比例方法中调整次数不可预测的问题，Federico Pedranzini等人提出了渐进式流量方法。该方法从通风管道最远端的挡板开始逐步调整，通过建立最远端气流与风机转速之间的控制回路，确保平衡过程中下游的运行条件保持稳定。在具有i个末端和j个支路的通风管道系统中，相比传统方法，这种方法可减少2i + j -1次挡板调整。在此基础上，Tamminen等人进一步提出了基于风机压力的方法，该方法通过利用风机的QP曲线估计气流速率，在平衡过程中保持风机静压恒定，从而逐步调整所有挡板，直至估计的气流与当前设计规范相匹配。尽管这两种方法在一定程度上提高了TAB的效率，但它们在二次调整方面仍面临挑战。

近年来，基于分布式协同控制（DCC-AB）的空气平衡方法被提出，实现了多支路通风管道系统的在线空气平衡控制。DCC-AB是一种广泛应用的空气平衡方法，它通过将共识算法集成到系统中，使通风管道系统能够进行实时调整。该方法包括两个步骤：首先，通过邻居支路之间的信息交换，确保当前气流比与目标气流比的一致性，从而实现多挡板的分布式协同控制；其次，调整系统的总气流，当总气流与目标总气流匹配时，空气平衡即告完成。然而，这种方法的收敛速度依赖于基于系统状态设置的超参数，当目标气流调整范围较大时，收敛速度会显著下降。

为了进一步提升多支路通风管道系统中气流控制的效率和精度，本文提出了一种基于强化学习的分段协同空气平衡控制方法（RLSC-AB）。该方法结合了通风管道系统的物理模型和操作机制，设计了两种调整模型：强化学习模型和动态精细调整模型。在强化学习模型中，通过在多种末端形状下进行动态目标训练库的混合训练，显著提升了模型的适应性，而无需依赖精确的物理模型。当系统接近收敛目标时，设计了动态精细调整模型来处理气流在目标值附近的调整，从而降低强化学习的训练复杂度和时间，同时提高收敛精度。本文的主要贡献包括：设计了一种基于分段强化学习的控制方法，实现了在3.17%相对绝对误差范围内的快速且准确的目标气流调整；通过在多种末端形状下的动态目标训练库进行混合训练，显著提升了模型的适应性，而无需依赖精确的物理模型；所提出的RLSC-AB方法已在实验平台上得到验证。

本文的其余部分组织如下：第二部分介绍强化学习算法的基本原理；第三部分介绍空气平衡系统的模型配置；第四部分展示RLSC-AB的实施过程；第五部分展示实验结果并进行比较分析；最后，第六部分进行总结。

强化学习算法的基本原理部分，本文主要介绍了Double DQN算法的原理及其在RLSC-AB中的应用。空气平衡的目标是使通风管道系统输出的气流与期望的气流之间的误差控制在标准范围内，而实现这一目标的关键在于通过调整挡板的角度来控制气流。RLSC-AB采用Double DQN算法，使挡板能够学习控制策略，从而实现更高效和精确的气流调节。

在空气平衡环境构建部分，介绍了空气平衡系统的组成部分及其功能。空气平衡系统负责将处理后的新鲜空气按照需求分配到不同的区域。图3展示了一个典型的空气平衡系统，包括以下几个关键元素：风机（FAN）作为整个空气平衡系统的动力源，将新鲜空气泵入管道；通风管道系统由主干管道和多个支路管道组成，主干管道直接连接风机，而支路管道则连接到主干管道，以将空气输送到各个末端。这些末端通常位于不同的区域，以满足特定的空气质量需求。

为了验证所提出的RLSC-AB方法，本文搭建了一个实验平台。该平台包括一个主干管道和三个支路管道，共有11个末端，能够实现多区域的通风控制。所有管道均采用0.6mm厚度的Z22 SGCC镀锌螺旋管道制造，主干管道直径为250mm，支路管道直径为200mm，所有弯头均为90°焊接弯头，且内部无通风孔。该实验平台的构建为验证RLSC-AB方法提供了实际的基础。

在实验验证与分析部分，本文评估了所提出的RLSC-AB方法的实用性，并在实验平台上进行了验证。在所有实验中，每个调节的调整时间均设定为20秒，以消除管道中的气流波动，使系统达到稳定状态。通过这些实验，可以直观地观察到RLSC-AB方法在不同末端形状和气流需求下的表现，以及其在提升空气平衡效率和精度方面的优势。

综上所述，本文提出了一种基于强化学习的分段协同空气平衡控制方法（RLSC-AB），旨在解决传统空气平衡方法在收敛速度和精度方面的不足。通过引入强化学习模型和动态精细调整模型，RLSC-AB能够实现快速且准确的气流调整，同时具备良好的适应性和泛化能力。实验结果表明，该方法在控制空气平衡误差方面表现出色，误差范围控制在3.17%以内，且适用于多种末端形状和气流需求的通风管道系统。这些成果为提升HVAC系统的能效和舒适性提供了新的思路和方法。