基于阻抗匹配空间分割的多智能体联合优化强化学习算法

《Engineering Applications of Artificial Intelligence》：Multi-agent joint optimization reinforcement learning algorithm based on impedance matching space segmentation

　　

摘要：为了解决电力线信道阻抗变化复杂、阻抗失配可能导致通信质量严重受损的问题，本文提出了一种基于阻抗匹配空间分割的多智能体协同优化强化学习算法，并验证和分析了多智能体联合分割在寻找最优匹配参数方面的具体优势。首先，基于Π型网络结构，分别针对窄带和宽带匹配情况推导出最优目标函数。其次，采用深度Q网络算法让多个智能体在环境中同时学习和交互，以目标函数值与最优目标函数值之差为变量的公式作为奖励，构建优化匹配模型。然后，通过仿真分别验证了两种应用场景下均匀分割的多智能体参数优化结果，并对宽带匹配场景通过非均匀分割进一步优化参数优化。最后，基于仿真验证并比较了所提算法的有效性、可靠性和动态匹配性能。训练后的最优模型所需的训练次数更少，运行时间更短，精度更高，能够有效地自动匹配电力线载波通信中负载阻抗的变化，提高和增强电力线载波通信的质量。

引言：随着科技进步，电力线通信技术的快速发展对电力线载波通信的质量提出了更高的要求。电力线的工作环境恶劣，负载阻抗随时间变化。因此，PLC调制解调器与电力线网络之间的阻抗失配是普遍存在的。由于信号反射降低了负载接收端接收到的功率，信号无法有效传输到接收端，通信质量变差。为了提高信号传输的可靠性和稳定性，实现信号源到负载的最大功率传输，阻抗匹配是其中的关键技术之一。

电力线通信系统可以根据不同的传输频率范围分为窄带电力线通信系统和宽带电力线通信系统。窄带电力线通信系统的工作频段为3–500 kHz，常用于对实时性要求较低、数据量要求较小的自动抄表、楼宇自动化等领域。宽带电力线载波通信工作在更高的频率段，其工作频段为1.8 – 100 MHz，常用于家庭网络、智能楼宇、智能社区、智能家居等需要更高数据传输速率且对延迟敏感的场景。窄带电力线系统简化了网络的频率阻抗，适用于网络阻抗随频率变化不大的情况。宽带电力线通信技术更为先进，电路设计更复杂，线路阻抗随频率变化较大，这对通信非常不利。

目前，电力线阻抗匹配方法主要分为两类。一类是分析匹配网络元件，优化耦合电路的一个关键参数，即发送端和接收端耦合变压器的匝数比。采用双向耦合器作为网络调节方法，利用中心抽头变压器实现两个绕组比，通过改变绕组比来实现PLC调制解调器与电力线信道之间的阻抗匹配。利用数字电感转换器耦合电路在N-PLC系统中实现自适应阻抗匹配。另一类是匹配网络参数的优化问题，通常使用各种智能算法来优化匹配参数。提出了基于网络松散度的网络匹配优化方法。此外，使用粒子群优化算法优化几个网络区域的匹配，实现通信节点之间的功率协调并避免网络模式下的阻抗失配。提出了基于蚁群算法的优化电力线载波通信网络方法。提出了基于改进Q学习算法的低压电力线通信匹配优化方法。提出了基于BP神经网络的阻抗匹配方法，并使用粒子群优化算法优化BP神经网络。匹配网络主要有Π型、T型和L型，一般使用L型匹配网络。通过调整L型网络的电路结构和元件值实现自适应阻抗匹配。这种方法电路元件最少，结构简单，但限制了阻抗匹配能力。L型匹配网络存在禁阻区。相反，Π型和T型匹配网络没有匹配禁阻区，但与T型匹配网络电路结构相比，Π型匹配网络需要的元件更少，占用空间更小。因此，Π型匹配网络电路具有结构简单、适应多场景、谐波抑制能力强等优势，能够更好地匹配负载阻抗和电路工作频率。

由于Π型阻抗匹配网络问题包含多个等式约束，可以转化为多目标约束优化问题，并使用智能算法求解此类问题。提出了T型和Π型可调元件网络的新设计策略，并通过二分搜索算法提高了收敛速度。提出了基于深度强化学习的Π型阻抗匹配网络多参数最优解方法。深度强化学习算法将深度神经网络与Q学习算法相结合，与其他智能算法相比，增加了经验池和目标网络的特征，有效防止智能算法陷入局部最优的情况。但仍存在进一步性能优化的空间。

因此，基于参考文献，本文提出了一种基于阻抗匹配空间分割的多智能体协同优化强化学习算法：

（1）首先，基于Π型阻抗匹配网络，设定电容和电感的搜索范围空间。将搜索空间均匀分割为8个子空间，引入多智能体分布式优化，使用深度Q网络算法寻找每个子空间阻抗匹配公式的最优解，并使用多进程并行方法实现最大并行处理。

（2）然后，针对宽带场景中仅部分子空间优化效果明显的现象，对优化效果较好的子空间进行重新分割，以进一步精确搜索并提高优化效率。

（3）最后，结合本地数据库，存储最优解并使用查表功能避免重复学习，节省时间和资源。

所提出的方法依赖于预构建的数据库和快速查表。在运行时阶段，无需迭代计算或重复求解优化目标；决策直接通过匹配数据库条目生成。对于数据库中无对应记录但位于已验证阻抗网格单元内的宽带负载，系统使用网格感知的案例检索和评估次数限制的适应度优化来获得临时匹配结果。如果查询的负载超出已验证的网格覆盖范围，仍需完整的MADQN优化。因此，该方法实现了极快的推理速度和强大的实时性能，特别适用于需要在线、低延迟、快速响应的阻抗匹配场景。

相比之下，尽管传统数值优化方法可以达到较高的精度，但对于每种新的运行条件都必须重新启动整个优化过程，导致相当大的时间消耗，难以满足实时匹配要求。

本文采用多智能体协同优化来有效缩小搜索空间。同时，以并行方式实现多智能体同时优化。通过动态调整匹配网络的电容和电感值，实现最大功率传输。

小节：最优目标匹配网络理论模型——阻抗匹配是增强电力线通信系统性能的核心技术。本工作考虑的阻抗匹配网络电路模型如图1所示，由内阻为50Ω的电源、可变匹配网络阻抗Z1和阻抗为50Ω的负载组成。本节关注源端匹配，阻抗匹配的核心条件是信道的总输入阻抗、匹配网络...

匹配空间均匀分割——匹配问题可以被视为一个多参数求解问题，如图4所示。在几何空间中求解该问题是三个参数值从（ZC1i, ZC2i, ZLi）到（ZC1k, ZC2k, ZLk）的组合优化问题，即找到一个最优组合以实现最优匹配状态。其中，边界为x=ZC1_max、y=ZC2_max、z=ZL_max；ZC1i和ZC2i、ZLi是匹配网络电容C1、C2和电感L的初始状态值。

多进程CPU核心使用——基于对阻抗匹配问题的研究，本文主要使用多进程并行方法实现多智能体同时搜索。本文引入multiprocessing模块来实现该功能。每个进程使用CPU核心的情况如图6所示。实验使用的计算机是4核CPU，可以将进程均匀分配到两个CPU核心上，分别处理每个进程任务。

仿真参数设置——①在窄带电力线匹配场景中，...

讨论——本文对现有文献进行了技术分析。尽管阻抗匹配已实现到一定程度，信号源阻抗与负载阻抗的失配已解决了负载接收端接收功率降低的问题，但现有文献仍存在一些不足。本文总结了现有方法的不足。此外，还讨论了解决问题的方法，提供了...

结论——本文提出了一种基于阻抗匹配空间分割的多智能体深度Q网络（MADQN）算法。分别在窄带匹配和宽带匹配两种应用场景中进行了仿真实验。对搜索空间进行分割，每个空间中的智能体同时优化。每个空间操作的最优结果传输到中央处理器进行比较，输出最优匹配结果。实验...

CRediT作者贡献声明：胡峥威：撰写——审阅与编辑，撰写——初稿。史嘉子：撰写——审阅与编辑，撰写——初稿。吴凡浩：撰写——审阅与编辑，撰写——初稿。夏思怡：软件。曹旺斌：验证。谢志远：验证。

本文研究数据：根据期刊的数据共享政策，本研究的数据可根据要求提供。

利益冲突声明：作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：胡峥威报告获得了国家自然科学基金的财务支持。胡峥威拥有华北电力大学（保定）的专利。如有其他作者，他们声明没有已知可能影响本报告工作的竞争性财务利益或个人关系。

致谢：本工作得到了国家自然科学基金（52177083）以及河北省科技重大专项（23281701Z）的支持。

胡峥威|史嘉子|吴凡浩|夏思怡|曹旺斌|谢志远——华北电力大学（保定）燕赵电力实验室，保定，071003，中国