电动汽车充电站集成微电网中灵活能源市场的安全与信任感知定价机制：一种多智能体强化学习方法

《Journal of Energy Storage》：Secure and trust-aware pricing mechanisms for flexible energy markets in electric vehicle charging station integrated microgrids: A multi-agent reinforcement learning approach

　　

**电动汽车集成灵活能源市场中的信任感知安全定价**
**电动汽车充电站协调与市场控制的网络弹性多智能体学习**
**FDI、DoS及延迟攻击下的信息—物理—市场集成学习**
**基于图协调的层级多智能体强化学习及其在可扩展电动汽车市场中的应用**

**引言**

交通运输的快速电气化以及电动汽车（EV）日益广泛的采用正在深刻改变电力系统运行方式，尤其是在配电网和微网层面[1]。电动汽车充电站（EVCS）引入了具有灵活性但存在不确定性的负荷曲线、双向潮流以及对实时数据交互的高度依赖。为应对这些挑战，灵活能源市场和动态定价机制已成为不可或缺的手段，使得电动汽车用户和充电站能够积极参与本地能源交易和阻塞管理[2]。然而，这些市场驱动的方案本质上具有信息—物理双重属性，因为定价信号和控制决策与通信网络及数据系统紧密相连[3]。因此，以电动汽车为核心的微网越来越容易受到网络攻击的威胁，例如虚假数据注入（FDI）、拒绝服务（DoS）和通信延迟，这些攻击可能导致定价失真、决策误导以及系统运行不稳定[4], [5]。

尽管这种脆弱性日益增长，但大多数现有的市场型控制策略仍假定数据流和通信是可靠的[6]。虽然先进的优化和强化学习方法能够协调不确定条件下的电动汽车充电，但网络安全往往仅被视为外部约束条件，或通过孤立的检测模块来应对。这种分离方式使得网络攻击得以传播，导致电价波动加剧、信任侵蚀以及系统约束违反[7]。这些风险在微网中尤为严重，因为本地市场对被操纵或延迟的信息高度敏感，且缺乏主电网所具备的冗余能力[8], [9]。在遭受网络攻击的场景下对能源市场进行评估对于部署灵活市场机制至关重要[10]。FDI、DoS和通信延迟可能损害市场效率、破坏协调机制并导致系统运行不稳定[11]。需要一种将数据完整性、通信可靠性和信任演化纳入其中的网络感知评估框架，以确保能源市场在经济效率、稳定性以及抵御不断演变的网络威胁方面保持韧性。这凸显了对集成学习方法的迫切需求，即把网络安全嵌入到市场定价和控制决策中[12]。

尽管在电动汽车集成微网和基于学习的能源市场设计方面已有诸多进展，但仍存在若干关键缺口。大多数框架假设通信可靠、数据可信，将网络干扰视为偶发事件而非持续性威胁。即使在涉及网络安全时，通常也采用静态的、基于规则的方法，且这些方法独立于市场机制运行，这限制了它们应对FDI和DoS等协同攻击的有效性。此外，许多用于电动汽车充电和定价的强化学习和多智能体学习模型仅优化经济目标，而未考虑网络威胁、信任退化或对抗性操纵，这可能导致电价波动和市场结果不公平。最后，很少有方法提供稳定性保证或验证在网络攻击条件下的稳定性，且可扩展性通常仅在小型基准系统上进行测试。这些缺口表明，亟需一种集成的、具备网络弹性和信任感知的框架，能够结合攻击检测、定价、协调和稳定性，特别适用于电动汽车驱动的微网。

大量近期研究致力于开发面向市场和驱动学习的策略，以管理大规模电动汽车接入对配电网和微网系统运营及经济的影响。基于优化的方法被广泛采用，通过协调规划和资源配置来解决电动汽车引起的电压不稳定、功率损耗和阻塞问题，如[13]所示，该研究提出了一种混合元启发式框架，在考虑随机电动汽车充电行为和负荷响应的同时，优化分布式发电和无功功率支持的选址。基于强化学习的方法进一步拓展了这一研究方向，使系统能够在不确定条件下实现自适应的长期决策。在[14]中，设计了一种无限时间范围的深度强化学习控制器，用于混合动力电动汽车/燃料电池电动汽车充电枢纽，利用门控变换器结构的演员—评论家架构稳定训练过程并提升随机到达和能源价格波动下的运营利润。类似地，[15]提出了一种用于综合能源系统的安全深度强化学习框架，将动态定价、电动汽车需求响应和可再生能源不确定性管理相结合，同时通过先进的演员—评论家架构显式强制执行潮流安全约束。在耦合的交通—电力网络中也探索了多资源协调控制，如[16]所示，该研究采用深度强化学习联合调度电动汽车、储能和光伏资源，同时在大型测试系统中维持电压稳定性和经济性能。尽管这些研究表明基于优化和学习的市场机制在提高系统效率、灵活性和稳定性方面是有效的，但它们大多假设数据流可靠且运行环境良性。网络安全考虑因素、信任退化以及对定价和控制信号的对抗性操纵往往被忽视或仅隐含处理，留下一个关键空白，即如何理解这些市场驱动和基于学习的框架在针对数据完整性、通信和决策过程的协同网络攻击下的表现。

随着电动汽车充电基础设施日益依赖实时通信和数据交换，越来越多的研究聚焦于检测和缓解电动汽车集成电力系统中的FDI和DoS等网络威胁。混合学习检测框架已被提出以应对这些脆弱性，通过结合数据驱动建模与自适应控制来实现。例如，[17]研究了智能能源枢纽中能够逃避传统基于阈值检测器的隐蔽FDI攻击，并提出了一种基于KNN的数据恢复机制，将攻击后的电气需求预测误差降至7.01%，氢需求预测误差降至15.74%。更高级的混合网络攻击场景在[18]中得到处理，该研究提出了一种配备高斯阈值和基于聚类的异常分类的模糊多智能体深度强化学习框架，在FDI和DoS联合攻击下实现了超过99%的检测准确率和亚秒级响应时间，同时维持电压和潮流稳定性。尽管有这些进展，现有以网络安全为重点的研究大多停留在检测和局部缓解层面，与市场定价、信任演化或多智能体协调决策的集成有限。因此，虽然攻击可以快速识别，但其对定价稳定性、市场公平性和长期学习行为的广泛影响仍未得到充分解决，在网络防御机制与安全能源市场运行之间留下了关键缺口。

多智能体强化学习已被证明能够有效协调分散且不确定环境中的电动汽车和能源资源，实现具有异构目标的可扩展决策。早期方法如[19]将电动汽车交互视为策略博弈，并在分时电价下应用基于信念的Q学习来协调电动汽车充放电。该方法结合了分布式训练和分散式执行，增强了公平性、隐私性和用户满意度，同时降低了成本。更新的进展如[20]提出了深度MARL框架用于实时充电控制，采用基于注意力的集中训练和分散执行方式，利用真实世界数据提高可扩展性和运营效益。在智能交通系统中，[21]引入了一种元强化学习框架，改善了电动汽车充电站分配和停车管理等任务中的协调能力和适应性。此外，车辆层面的协同控制在[22]中得到探索，该研究采用基于多智能体深度确定性策略梯度（MADDPG）的策略增强了混合动力电动汽车中的协调能力，超越了单智能体方法。尽管有这些进展，当前的MARL方法主要关注良性条件下的效率和适应性。网络安全、信任退化以及对数据的对抗性操纵被大多忽略，稳定性问题通常仅限于局部控制目标。这造成了将MARL框架扩展到网络弹性、信任感知能源市场的空白，在该类市场中，分散的智能体必须在持续网络攻击和对抗条件下可靠地做出决策。

近期研究表明，在网络—物理能源市场中，特别是在点对点交易、分布式能源管理和智能控制日益集成的背景下，稳定性、信任和韧性具有至关重要的意义。基于数字孪生的模型如[23]旨在提高对通信层攻击的韧性，确保在DoS攻击下的数据恢复和最优交易。类似地，定价机制被设计用于增强市场效率和公平性，例如[24]提出了一种基于斯塔克尔伯格博弈的无价格函数点对点定价模型，通过自适应调整价格将社会福利提高了9%，同时防止网络过载。然而，大多数研究将稳定性、定价或韧性独立处理，信任动态往往被假设或由外部施加。稳定性验证通常仅限于控制层，忽略了数据和市场信号的对抗性操纵。这一空白凸显了对统一框架的需求，该框架需要在基于学习的网络弹性能源市场中结合信任演化、网络韧性、市场定价和稳定性。表1表明，与现有研究不同，所提出的框架在协同网络攻击下，将信任感知安全定价、多智能体学习和信息—物理稳定性集成到大规模电力系统中。

本文提出了一种综合的信息—物理—经济框架，用于以电动汽车为核心的微网环境中通信可靠性和数据完整性无法假定的安全定价和灵活能源市场运行。所提出的模型被设计为一个分层但紧密耦合的系统，其中网络监测、信任评估、定价和分布式控制通过层级MARL过程联合学习和更新。在下层，电动汽车和电动汽车充电站作为自主智能体运作，基于部分且可能被篡改的观测信息做出本地充放电和参与决策。在上层，一个配备基于图聚合的集中协调机制捕捉系统级交互，包括网络阻塞、相关的网络干扰和通信诱导延迟。所提出方法的一个关键创新在于，网络攻击检测和信任评估不被视为外部过滤器，而是直接嵌入到学习和定价机制中，使得市场信号本身能够根据感知的网络风险进行自适应调整。因此，定价信号变为信任感知且具有韧性，防止恶意数据通过市场传播并破坏集体行为。

除架构集成外，所提出的框架在网络韧性、经济性能和系统稳定性之间建立了原则性联系。学习过程被显式设计以应对针对物理测量和通信通道的FDI、DoS和基于延迟的攻击。信任水平根据异常评分和历史行为动态演化，影响学习智能体中的市场参与规则和奖励结构。这种耦合确保被攻陷的智能体能够被逐渐隔离而不引起突然中断，同时合法参与者维持稳定的能源交换激励。在三套异构电力系统上的大量仿真表明，该设计在持续和高强度攻击下仍能保持有界的电压曲线、稳定的荷电状态轨迹和平滑的价格演化。重要的是，所提出的框架不仅限于小型基准系统；其可扩展性和鲁棒性在实际141节点配电网络上得到了验证，其中在经济效率、网络弹性和稳定裕度方面始终优于先进的基于学习的基准方法。通过将安全定价、信任感知决策和对抗鲁棒学习统一在一个框架内，本工作推动了网络弹性灵活能源市场实用化可部署解决方案的技术前沿。综上所述，本文的主要贡献如下：

**1. 电动汽车—充电站灵活能源市场的信任感知安全定价机制**
本文引入了一种新型信任感知定价机制，其中能源价格和市场参与规则根据电动汽车和充电站持续学习的信任水平动态调整。通过将网络攻击检测结果直接嵌入定价过程，所提出的机制防止恶意或被攻陷的智能体影响市场信号，从而在协同网络威胁下确保公平、稳定和安全的能源交换。

**2. 层级信息—物理—市场多智能体学习架构**
本文开发了一种层级MARL架构，在统一学习框架内联合捕捉网络动态、物理电力系统约束和市场交互。分散式的电动汽车和充电站智能体在部分且不确定的观测下学习本地充电和V2G策略，而上层协调层通过基于图的聚合建模全网依赖关系、通信延迟和相关干扰。这种结构实现了可扩展协调、对通信不完美的韧性以及在异构和大规模电力系统上的稳定收敛。

**3. 具有快速检测和恢复能力的集成网络韧性—稳定性协同设计**
与独立评估网络安全和稳定性的现有方法不同，本文提出了一种集成协同设计，通过学习感知的信任演化和有界市场动力学同时强制执行网络韧性和系统稳定性。所提出的框架实现了数秒级的检测延迟和数十秒级的恢复时间，同时在混合网络攻击下维持有界的电压偏差、荷电状态轨迹和价格演化。这种快速网络响应与闭环稳定性之间的紧密耦合，是迈向可部署实时安全能源市场的关键一步。

本文其余部分组织如下：第2节描述系统架构和拓扑结构，包括网络攻击场景建模。第3节详细介绍所提出的问题描述和整体解决方案框架。第4节展示仿真设置并对所提出方法进行全面评估。

最后，第5节总结了本文内容，并讨论了研究局限性与未来方向。

**论文片段**

**电网拓扑结构、灵活能源市场结构及网络攻击检测配置**

本研究探讨了一种信息-物理-通信微电网系统，其中电动汽车（EVs）和电动汽车充电站（EVCSs）参与安全、灵活的能源市场。该框架在三个基准系统上进行了测试：IEEE 69节点系统、IEEE 123节点系统和加拉加斯141节点系统，分别代表不同的网络拓扑和负荷模式。每个系统均包含支持双向功率流的EVCSs，可执行电网到车辆（G2V）和车辆到电网（V2G）操作，同时受网络约束和网络风险的影响。根据图1所示，该架构由以下部分组成：

**分层多智能体市场控制层**

整体问题被构建为一个分层约束多智能体决策问题，其中上层协调器负责调节系统级的市场和安全目标，而底层的EV/EVCS智能体则优化分散式的充电、放电和投标决策。协调器的决策变量定义于公式(47)中，其多目标奖励函数规定于公式(48)中，而底层的连续决策变量及局部目标函数则给出于公式(50)中。

**仿真设置与可重复性**

本节概述了复现实验所需的必要组件，包括数据、系统配置和算法工作流程。表2展示了仿真中使用的三个测试系统的配置：IEEE 69节点系统作为基线，具有中等负荷和电动汽车渗透率；IEEE 123节点网络用于可扩展性和鲁棒性测试；加拉加斯141节点系统则使用真实世界数据以更贴近实际地进行评估。这些系统在电动汽车和EVCS的数量上存在差异。

**结论与未来研究**

本文提出了一种具有网络韧性及信任感知的多智能体强化学习（MARL）架构，用于高电动汽车和充电站渗透率微电网环境中的安全定价与灵活能源市场运营。所提出的模型被构建为一个紧密集成的信息-物理-经济系统，由四个相互作用的层组成：用于攻击检测和通信感知的网络监控层、动态评估智能体可信度的信任与风险评估层、

**CRediT作者贡献声明**

Ali Rashid Ramul：撰写——初稿。Atefeh Salimi Shahraki：指导。Nasseer K. Bachache：撰写——审阅与编辑。Ramtin Sadeghi：方法论。

**资金支持**

本研究未获得任何公共、商业或非营利领域资助机构的专项拨款。

**利益冲突声明**

作者声明，不存在已知的竞争性经济利益或个人关系可能影响本论文所报道的工作。

Ali Rashid Ramul | Atefeh Salimi Shahraki | Nasseer K. Bachache | Ramtin Sadeghi