基于聚类和深度强化学习的电动汽车充放电调度方法 何春琪、李江

《Energies》：Electric Vehicle Charging and Discharging Scheduling Method Based on Clustering and Deep Reinforcement Learning Chunqi He and Jiang Li

　　摘要：随着电动汽车（EVs）大规模集成到电网中，不协调的充电行为加剧了电力系统中的负荷波动。深度强化学习通过动态决策优化了EV的充电和放电策略，从而减轻了负荷变化对电网的运行压力。然而，在大规模EV集成场景下，仍然存在挑战，包括状态空间的维度过高以及由此导致的训练效率下降。此外，现有的聚类方法与动态调度机制之间的耦合还不够紧密。为了解决这些问题，本研究提出了一种基于聚类的深度强化学习方法用于EV充电和放电调度，称为CDRL。首先，基于EV充电交易数据构建了一个概率行为模型来描述用户充电行为的随机性。然后采用密度-质心混合聚类（DCHC）方法对EV的充电行为特征进行聚类。接下来，在聚类层面引入了日前基础负荷预测模型，并将预测结果输入到混合整数线性规划（MILP）模型中，以生成每个聚类的充电和放电功率分配任务。在个体层面，将EV的充电和放电过程表述为马尔可夫决策过程（MDP），并使用深度Q网络（DQN）进行策略学习，从而实现了将聚类层面任务分解为个体决策。仿真结果表明，所提出的方法可以有效降低充电成本，平滑系统负荷波动，同时提高训练收敛速度和策略稳定性。

1. 引言
电动汽车（EVs）作为一种绿色交通工具，发展迅速，其全球部署量急剧增加[1,2]。2024年，全球电动汽车销量超过了1700万辆，年增长率超过25%[3]。预计到2030年，电动汽车将占全球汽车销量的大约60%[4]。随着电动汽车大规模集成到电网中，不协调的充电负荷可能会与传统的高峰需求时段重叠，形成新的负荷高峰，增加电力系统的运行压力[5,6,7,8]。从储能的角度来看，电动汽车可以作为具有显著调节潜力的分布式移动储能资源[9]。通过利用车对网（V2G）技术[10]，可以在满足用户出行需求的同时实现有序的充电和放电，从而减少高峰负荷并增加用户利益[11]。因此，优化EV充电和放电的调度不仅可以降低用户的充电成本，还可以减轻电网的压力。

电动汽车表现出强烈的分散性和随机性。当大量个体用户直接参与车对网（V2G）操作时，由此产生的信息处理需求会对调度系统造成显著压力。为了解决这个问题，一些研究尝试通过聚类方法减少决策维度，从而减轻系统的计算负担。文献[12]采用基于密度的聚类方法对EV到达时间和充电持续时间进行分组，以描述典型的用户行为模式；然而，聚类结果对异常值敏感。文献[13]通过学习集中式最优调度结果，并结合K均值算法和监督分类方法，对具有相似充电功率特性的电动汽车进行聚类。然而，这种方法依赖于高质量的最优调度数据进行反向训练，这限制了其泛化能力。文献[14]使用K均值、高斯混合模型（GMM）和DBSCAN方法对电动汽车的停车时间和可用能量进行了比较聚类分析。结果表明，单一聚类算法在不同评估指标上的表现各不相同，表明聚类精度仍有改进空间。文献[15]的作者根据电动汽车的荷电状态（SOC）应用K均值算法对其进行分类。然而，这种方法需要预先定义的聚类数量，并且对初始条件相对敏感。文献[16]的作者使用模糊C均值算法对电动汽车行为进行聚类，并识别不同的出行场景。尽管这种方法具有软聚类特性，但它容易受到初始条件的影响，可能会收敛到局部最优解。总体而言，单一聚类方法在稳定性、适应性和聚类精度方面仍存在局限性，表明需要进一步改进。

近年来，深度强化学习（DRL）越来越多地应用于电动汽车充电和放电的管理。通过代理与环境之间的持续交互，DRL实现了无需精确系统模型的自适应策略学习和动态决策优化。文献[17]提出了一种基于深度Q网络（DQN）的无模型深度强化学习框架，以在电价波动和用户出行行为不确定性的条件下优化充电成本。文献[18]开发了一种数据驱动的深度强化学习方法，用于构建电动汽车的实时充电和放电调度策略。通过DQN学习充电站使用模式，该方法在实现削峰和填谷的同时降低了充电成本。文献[19]采用基于Q学习的强化学习方法来优化充电和放电决策。文献[20]提出了一种安全的深度强化学习算法，将增强拉格朗日方法与软演员-评论家（AL-SAC）相结合，实现了充电成本最小化的同时严格满足荷电状态（SOC）约束。文献[21]基于软演员-评论家（SAC）框架开发了一种数据驱动的充电和放电调度模型。通过结合负荷驱动的实时电价机制，该方法提高了用户经济效益并增强了调度稳定性。文献[22]提出了一种无模型强化学习方法，使用SARSA算法和特征函数近似来应对随机到达和时变状态-动作空间相关的挑战。文献[23]在V2G场景中应用多智能体深度确定性策略梯度（MADDPG）算法，实现了多辆电动汽车之间的协同优化，实现了削峰和填谷，同时在时间和资源约束下提高了车辆收入。参考文献[24]提出了一种基于混合多智能体强化学习（H-PSPPO）的优化框架，实现了离散路径决策和连续充电-放电控制的联合优化。上述大多数研究都集中在直接使用深度强化学习对电动汽车进行调度，而没有考虑将聚类机制与深度强化学习相结合。在涉及大规模EV集成的场景下，这可能导致训练效率降低和调度性能不佳。

为了更清楚地说明本文在现有文献中的定位，表1从行为聚类、动态调度、方法耦合策略、适用于大规模EV场景以及预测整合的角度对相关研究进行了比较分析。表1. 相关文献的比较。现有研究通常将聚类、优化和强化学习应用于EV调度的不同阶段。然而，对于大规模EV场景，仍然缺乏一个能够同时平衡聚类层面全局优化和个体层面快速在线决策的统一调度框架。尽管聚类方法可以减少决策维度，但它们通常仅作为独立的预处理工具使用，并未有效地与后续的动态调度过程结合。深度强化学习方法虽然具有强大的动态决策能力，但在大规模EV集成场景中容易受到状态空间扩展的影响，导致训练效率降低和在线执行成本增加。因此，如何利用电动汽车的行为结构在聚类层面优化目标与个体层面实时调度之间建立有效连接仍然是当前研究的关键问题。

为了解决上述问题，本研究提出了一种基于聚类的深度强化学习（CDRL）方法用于EV充电和放电调度。首先，基于EV充电交易数据建立了一个EV行为不确定性模型，以描述关键行为变量（包括EV到达时间、离开时间和初始荷电状态）的随机性。在此基础上，将均值漂移（MS）的自适应密度估计能力与K均值++的质心优化机制相结合，开发了密度-质心混合聚类（DCHC）方法。该方法减轻了传统聚类方法对初始聚类中心的敏感性，并提高了它们处理边界模糊样本的能力，从而产生更准确可靠的聚类结果，并将EV划分为多个聚类。在聚类层面，引入了基于LSTM的日前基础负荷预测模型，然后将预测负荷输入到混合整数线性规划（MILP）模型中，以生成每个聚类的充电和放电功率分配任务。在个体层面，将聚类层面的功率目标嵌入到马尔可夫决策过程（MDP）的状态和奖励函数中，并使用深度Q网络（DQN）学习每辆电动汽车的充电和放电策略，从而实现了将聚类层面任务分解为个体决策。案例研究结果表明，所提出的方法在降低EV充电成本和抑制电网负荷波动方面优于基准方法。

所提出的CDRL框架的新颖之处不在于简单地顺序应用聚类、MILP和强化学习，而在于它连接了基于行为的聚类、聚类层面全局优化和个体层面在线决策的层次化耦合机制。具体来说，DCHC结果作为MILP基聚类调度的聚合单元，并进一步嵌入到个体层面马尔可夫决策过程（MDP）的状态表示中。MILP模型根据预测负荷生成聚类层面的充电和放电目标，而DQN学习离线训练的策略，将这些目标分解为可执行的个体EV的顺序动作。这种设计使所提出的方法与现有的基于聚类的预处理方法和单层DRL调度方法区分开来。

本研究的主要贡献总结如下：
(1) 提出了一种适用于大规模EV集成场景的层次化协作调度框架。通过基于行为的分组、聚类层面任务生成和个体层面策略分解的耦合机制，该框架将聚类结果嵌入到后续的调度优化过程中，从而降低了个体层面决策的复杂性，提高了训练效率和调度稳定性。基于多级实验分析聚类质量指标、训练收敛特性和调度性能指标，结果验证了高质量的行为聚类不仅可以改善聚类结构本身，还可以进一步加速强化学习训练，降低用户充电成本，并提高电网负荷平滑性能。
(2) 提出了一种用于EV行为建模的密度-质心混合聚类方法。通过结合自适应密度识别能力和质心优化机制，所提出的方法生成了具有更强聚类内行为一致性和更清晰聚类间边界的EV用户组，从而为聚类层面功率分配和个体层面策略学习提供了基础。

2. 研究框架和方法概述
本文提出的研究框架采用了一种层次化协作架构，在聚类层面实现全局优化，在个体层面实现自主决策。首先，基于EV充电交易数据建立了一个EV行为不确定性模型，并对关键行为变量（如EV到达时间、离开时间和充电需求）进行概率建模，以描述EV行为的随机性。然后根据它们的充电行为特征对EV进行聚类。本文采用密度-质心混合聚类（DCHC）方法，根据特征空间中样本的分布特性识别高密度区域，从而完成EV聚类划分。该方法可以根据数据分布结构自适应地确定聚类数量，并进一步引入基于质心的迭代优化机制来细化初始聚类结构，从而提高聚类内的紧凑性和聚类间的可分离性。聚类结果直接影响EV聚类调度的有效性。更高的聚类质量导致聚类内车辆的操作特性更加一致，使得整体聚类状态的表示更加准确，提高了聚类功率调度的合理性。

在聚类层面，构建了一个混合整数线性规划（MILP）模型[25]，其目标是最小化电网负荷波动和用户充电成本。在功率限制、SOC要求和离开能量需求等约束条件下，生成每个聚类在不同调度周期内的最优充电和放电功率分配任务。LSTM模型预测的基荷曲线被用作集群级混合整数线性规划（MILP）模型求解过程的输入。在DQN训练阶段，电动汽车的充电和放电过程被建模为一个马尔可夫决策过程（MDP）。从MILP模型获得的集群级电力任务被嵌入到MDP的状态表示中，并使用深度Q网络（DQN）进行策略学习。状态输入包括电价、电池荷电状态（SOC）、剩余停车时间和集群电力目标，而动作空间包括充电、放电和空闲操作。采用经验回放机制和目标网络来增强训练稳定性，使模型能够在实际调度场景中快速做出决策。在实际运行中，当新的电动汽车连接到系统时，根据它们的充电行为特征将其分配到相应的集群。然后调用与该集群相关的预训练策略来确定充电或放电动作，从而避免了重复求解大规模优化模型的需要，提高了调度决策的响应速度。通过上述层次结构，所提出的框架将集群级的全局优化分解为个体级别的自主决策。这种方法有效降低了用户的充电成本，同时减轻了电网负荷的波动。整个过程如图1所示。图1. 本研究的研究框架流程图。在所提出的框架中，MILP和DQN扮演不同的角色。MILP模型从全局优化的角度生成集群级的充电和放电目标，而需要额外的决策层将这些集群级目标转换为单个电动汽车的可行顺序动作。在本研究中，DQN作为个体级别的决策层。一旦训练完成，它可以根据新连接的电动汽车的实时状态和分配给相应集群的目标电力，快速确定充电、放电或空闲动作，无需在线重复求解大规模优化问题。因此，强化学习的引入提高了在线执行效率。

3. 基于CDRL的电动汽车充电和放电调度模型
3.1. 电动汽车充电行为不确定性建模
在电动汽车充电和放电调度中，用户行为本质上是随机的。电动汽车的连接时间、初始荷电状态和停留时间不是固定的，而是根据个别用户的需求而变化。为了在调度环境中反映这种不确定性，本研究引入了一种基于出行行为数据的电动汽车充电行为统计不确定性建模方法。根据相关研究[26]报告的电动汽车充电交易数据集，电动汽车的到达时间通过双峰高斯混合分布进行建模，以表征日常出行高峰时段周围的典型充电模式。到达时间tin的概率密度函数表示如下：
(1)
其中β0表示早晨高峰的权重，设置为0.4。μ1和μ2分别表示早晨和傍晚高峰的平均值，分别设置为9和18。σin表示标准差，设置为1。
电动汽车在接入电网时的初始荷电状态使用以下概率分布进行建模：
(2)
其中μsoc和σsoc分别表示初始SOC的平均值和标准差，分别设置为0.3和0.1。
电动汽车的停车时间tstay也被视为一个随机变量，并通过以下概率分布描述：
(3)
其中μstay和σstay分别表示停留时间的平均值和标准差，分别设置为4和2。离开时间如下确定：
(4)
上述不确定性建模用于统计表征电动汽车充电行为的随机性，并构建一个现实的训练和调度环境，从而使所提出的框架能够以隐式和数据驱动的方式适应电动汽车行为的不确定性。

3.2. 基于DCHC方法的电动汽车聚类
在电动汽车充电和放电行为数据中，诸如插电时间、拔电时间和能量需求等特征通常表现出明显的局部高密度分布和边界模糊的样本。因此，单一的聚类方法很难同时实现自适应的集群数量识别和集群内紧凑性优化。Mean Shift可以根据核密度估计识别高密度区域，而无需预先指定集群数量，适用于电动汽车行为数据的初始结构识别。然而，它对带宽参数敏感，并且在全局样本重新分配和集群中心紧凑性方面存在局限性。相比之下，K-means++可以通过优化初始质心的选择和进行迭代更新来提高集群内紧凑性，但它需要预先定义集群数量，并且对不规则分布和边界模糊的样本适应性有限。因此，本研究将Mean Shift与K-means++结合使用。具体来说，首先使用Mean Shift自适应地识别密度峰值并确定初始集群结构，然后使用K-means++进行质心细化和样本重新分配。这样，在保持集群数量识别的客观性的同时，进一步提高了集群内一致性和集群间可分离性。所提出的DCHC方法增强了集群内紧凑性，缓解了边界模糊的问题，并为集群级优化和个体级策略学习提供了更具行为一致性的电动汽车组。

3.2.1. DCHC方法的流程
为了提高集群可分离性和集群内紧凑性，本研究结合了Mean Shift（MS）方法[27]和K-means++ [28]，开发了一种密度-质心混合聚类（DCHC）方法。该方法首先使用MS根据通过核密度估计识别的特征空间结构自适应地确定集群数量。在此基础上，引入K-means++的距离加权初始化和集群内平方误差最小化机制来细化集群质心并执行样本的全局重新分配。在确保集群数量客观性的同时，这种方法提高了集群内紧凑性，并能够有效分类具有不同充电和放电行为特征的电动汽车用户。具体步骤如下：
(1)数据标准化：本研究考虑的特征变量在数值尺度上存在显著差异。为了消除不一致维度对分析结果的影响，在进一步处理之前对不同类型的特征变量进行标准化。
(5)
其中表示原始数据值，xi表示标准化后的值。
(2)聚类过程：
步骤1：在标准化特征空间中，引入核密度估计方法对样本分布的概率密度函数进行非参数建模，从而表征特征空间中每个数据点的密度梯度。估计函数表示如下：
(6)
其中n表示样本点数量；h表示带宽参数，用于平衡聚类的粒度和结果的平滑度；d是特征维度；K(?)是核函数。采用高斯核以避免硬边界效应，并提供对噪声的更好鲁棒性，从而获得更平滑的密度估计。
步骤2：以每个样本点作为初始位置，沿着核密度函数定义的密度梯度方向进行迭代更新，直到位移向量收敛到密度最大值。均值移动向量表示如下：
(7)
(8)
其中y(j)表示第j次迭代时的搜索点，j表示迭代索引。
步骤3：当两个连续迭代位置之间的位移小于预定义的阈值时，认为搜索点y(j)已收敛到模态点，迭代过程终止。否则，继续迭代计算并执行步骤2。
步骤4：合并收敛的模态点以确定集群数量。如果两个模态点之间的欧几里得距离满足
(9)
则认为它们属于同一个密度峰值，并合并为一个集群中心。合并过程后获得的模态点集形成集群中心，表示为：
(10)
其中m表示模态点，ζ表示收敛阈值，k = |I|表示集群数量。
步骤5：在确定集群数量k和初始密度中心后，引入K-means++算法进行集群质心的优化初始化。获得的密度峰值用作初始集群中心：
(11)
其中表示第l个集群的初始质心。
步骤6：在确定初始质心后，将所有样本分配给它们最近的集群中心。在第g次迭代时，样本xi的集群标签定义为：
(12)
因此，可以获得每个集群对应的样本集：
(13)
其中g表示迭代次数，表示第g次迭代时样本xi的集群标签，表示第l个集群在第g次迭代时的样本集。
步骤7：质心更新。完成样本分配后，更新每个集群的质心如下：
(14)
步骤8：收敛准则。如果满足以下条件：
(15)
则认为聚类过程已经收敛，得到最终的集群中心和相应的类别标签。否则，程序返回步骤6以继续迭代过程。

3.2.2. 聚类性能评估指标
为了评估聚类结果的合理性和稳定性，本研究引入了两个聚类评估指标：轮廓系数（SC）[29]和Calinski–Harabasz（CH）指数[30]。这些指标在评估视角上是互补的，能够从集群内紧凑性、集群间可分离性和整体结构稳定性等方面全面评估聚类性能，从而客观反映聚类结果的质量。
(1)轮廓系数
对于样本xi，轮廓系数定义为：
(16)
其中a(xi)表示样本i与同一集群内所有其他样本之间的平均距离，b(xi)表示样本i与任何其他集群内所有样本之间的最小平均距离。
在此基础上，整个聚类结果的轮廓系数定义为所有样本的轮廓系数平均值：
(17)
SC的范围是[?1, 1]，其中较大的值表示更清晰的聚类结构，便于不同聚类结果之间的横向比较。
公式(16)定义了样本级别的轮廓系数，而公式(17)通过对所有样本的平均值得出聚类结果的总体轮廓系数。在本研究中，SC和CH指数共同用于比较不同集群数量下不同聚类算法的性能，并作为确定最佳集群数量k和选择最终聚类方案的基础。
(2)Calinski–Harabasz
给定一个包含n个样本的数据集，这些样本被划分为k个集群，CH指数定义如下：
(18)
(19)
(20)
其中Rl表示第l个集群，|Rl|表示第l个集群中的样本数量，u是所有样本的平均值，ul是第l个集群的平均值。Dk项衡量了集群质心与全局平均值之间的整体分散，用于表征集群间可分离性，而Wk表示样本与其对应集群质心之间的整体分散，用于描述集群内紧凑性。
CH指数通过比较集群间分散与集群内分散的比率来评估聚类性能。较大的CH值表示更紧凑的聚类结构和更明显的集群间分离。
在本研究中，引入SC和CH指数不仅仅是为了评估聚类结果本身。更高的集群内紧凑性和集群间可分离性意味着同一集群内电动汽车的行为一致性更强，进一步增强了该集群内调度任务的代表性，并减少了集群级电力分配与个体级执行之间的偏差。

3.2.3. 基于LSTM的次日基荷预测模型
在电动汽车充电和放电调度过程中，基荷是一个重要的外部输入变量，影响集群级优化结果。为了提高所提出方法的实际应用性，在解决集群级混合整数线性规划模型之前，引入了一个次日基荷预测模块，以预测未来调度时段内的基荷曲线。预测结果随后被用作后续优化模型的输入。基础负荷序列表现出明显的时间相关性和连续的演化特征，相邻时间段之间存在强烈的相互依赖性。作为典型的循环神经网络架构，长短期记忆（LSTM）[31]网络能够有效捕捉时间序列数据中的长期依赖性，因此非常适合用于基础负荷预测。因此，本研究采用LSTM模型来进行次日基础负荷预测。该模型以连续时间段的历史基础负荷数据作为输入，学习负荷随时间的动态变化模式，并输出未来24小时内每个调度间隔的预测基础负荷值。设历史基础负荷时间序列为{Pbase,1, Pbase,2,… Pbase,t}，其中Pbase,t表示时间段t的实际基础负荷值。对于给定固定长度的历史观测窗口，LSTM模型可以表示为：(21) 其中L表示输入时间窗口的长度，设置为96；表示预测范围，也设置为96；FLSTM(·)表示LSTM预测模型；表示未来时间段t + h的预测基础负荷。LSTM网络通过遗忘门、输入门和输出门实现序列信息的选择性记忆和更新。状态更新过程可以表示为：(22) 其中xt表示时间t的基础负荷输入，ht表示隐藏状态，Ct表示单元状态。ft、it和ot分别表示遗忘门、输入门和输出门。W和b是模型参数，σ(·)是Sigmoid激活函数，⊙表示元素级乘法。完成基础负荷预测后，得到未来调度范围内每个时间段的实际基础负荷预测值{Pbase,1, Pbase,2,… Pbase,T}。随后，将这个预测负荷剖面输入到集群级别的MILP模型中，以生成不同调度期间每个电动汽车集群的充电和放电功率分配任务。通过在优化层之前引入基础负荷预测模块，所提出的框架更能应对未来系统条件的不确定性。预测的负荷剖面为集群级别的功率分配提供了更现实的输入条件，使提出的方法能够制定更实用的次日调度方案，并提高整个框架在现实世界运行环境中的适用性。

3.2.4 电动汽车集群模型
电动汽车根据其电网连接时间、出发时间和所需充电能量进行分组。分组后，每个集群的平均值用于表示该组内各个用户的初始充电状态（SOC）。充电和放电功率以及能量容量被汇总并映射到相应的集群总量上，而连接时间和出发时间则由集群中心指标表示。这种方法通过降低问题的维度简化了建模过程。汇总后，时间段t的电动汽车集群的充电和放电功率及总容量定义如下：(23) (24) (25) (26) 其中分别表示时间t的第i辆电动汽车的充电功率和放电功率；分别表示时间t的电动汽车集群Y的充电和放电功率；表示电动汽车集群Y的总额定容量。表示第i辆电动汽车的额定电池容量，EY,t表示时间t的电动汽车集群Y的总能量，Ei,t表示时间t的第i辆电动汽车的能量。(27) 其中表示时间t的集群Y的充电状态。为了平衡电网运行稳定性和用户经济性能，本研究在集群级别调度层构建了一个双目标优化模型。具体来说，第一个子目标f1用于最小化调度范围内总系统负荷与平均负荷的偏差，从而抑制负荷波动并实现削峰填谷。第二个子目标f2用于最小化电动汽车集群的总体充电和放电成本，包括电力购买成本、放电收入和电池退化成本。采用加权求和方法将上述两个子目标整合到一个统一的目标函数中。这里，β1和β2分别表示负荷调节目标和经济目标的权重系数，用于平衡电网侧运行要求和用户侧成本考虑。(28) (29) (30) 其中base,t表示时间段t的基础负荷；Z表示集群数量；T是总电动汽车调度范围；Pav表示平均负荷；和分别表示电动汽车的充电和放电状态，其中1表示活动状态，0表示空闲状态；表示时间t的集群Y的电池退化成本；λt表示时间t的分时电价。(31) (32) (33) (34) 其中表示时间t的第i辆电动汽车的电池退化成本[32]；c表示描述电池寿命与循环次数关系的线性系数，设置为0.0156；Cbat表示电池购买成本，取为58,000元人民币；表示时间t的充放电循环能量；Si,t表示时间t的第i辆电动汽车的充电状态。虽然汇总建模降低了问题的维度，但也引入了一定程度的近似误差。这种误差主要源于同一集群内个体在初始SOC、插电和拔电时间以及充电需求方面的残余异质性。因此，当使用集群平均值或集群中心参数来表示单个电动汽车时，状态表示误差是不可避免的。此外，当将集群级别的目标功率分解到个体层面时，由于可用停留时间、SOC约束和个体电动汽车之间的实时行动选择差异，也可能出现执行偏差。然而，这种近似误差对个体可行性和服务质量的影响是有限的。这可以解释如下：首先，所提出的DCHC方法提高了集群内的紧凑性和集群间的可分离性，使得同一集群内的电动汽车在插电时间、拔电时间和能量需求方面表现出高度相似性。因此，汇总变量可以有效地描述该组的典型行为。其次，集群级别模型仅用于生成集群级别的调度目标，而不是直接替代个体决策。在个体执行层面，仍必须满足下限和上限SOC以及出发能量需求约束，从而有效确保个体调度的可行性。为了解决在分解集群目标功率过程中可能出现的映射误差，将允许的偏差项引入到功率跟踪约束中，从而增强模型对个体异质性和实时波动的适应性。

3.2.5 约束
(1) 电动汽车集群充电和放电功率约束 (35) (36) 其中分别表示集群Y的最小和最大充电功率；分别表示集群Y的最小和最大放电功率。
(2) 电动汽车集群SOC约束 (37) 其中SY,min和SY,max分别表示电动汽车集群Y的最小和最大充电状态。
(3) 单个电动汽车的SOC约束 (38) 其中Si,min和Si,max分别表示第i辆电动汽车的最大和最小充电状态。
(4) 出发能量需求约束 (39) 其中表示集群Y的最小所需充电状态；T1和T2分别表示充电期和放电期；t1和t2分别表示充电和放电的开始时间；ηchar和ηdis分别是充电和放电效率，均设置为0.95。
(5) 功率输出需求约束
考虑到集群级别的功率输出被分配给单个电动汽车，要求集群内所有电动汽车的功率输出之和在指定的误差范围内满足预定的集群功率输出：(40) 其中表示时间t分配给集群Y的目标功率，ΔP表示允许的功率偏差范围。
电动汽车在集群级别的调度问题被构建为一个混合整数线性程序。在满足所有相关约束的前提下，确定不同调度期间每个集群的最佳充电和放电功率。该模型在MATLAB R2022b环境中使用CPLEX求解器进行求解。

3.3 单个电动汽车充电和放电决策模型
使用聚类算法对电动汽车进行分组后，每个集群被标记为li，并纳入马尔可夫决策过程的状态st中进行建模。在训练阶段，首先根据聚类结果对电动汽车用户进行分类，然后根据这些分类对模型进行训练。在实时调度阶段，利用训练好的深度Q网络参数，根据每辆电动汽车的充电行为特征将其分配到相应的集群中，然后可以调用相应的策略来确定充电或放电动作。在MILP模型确定集群级别的充电和放电目标后，下一步是将这些聚合功率目标分配给具有不同状态的各个电动汽车。由于电动汽车在插电时间、拔电时间、SOC和充电需求方面存在差异，将集群级别目标分解为可执行的个体动作的过程本质上是一个顺序性和状态依赖的决策问题。通过重复的在线优化来解决这个问题会导致大规模场景下的高计算复杂性。因此，每个单独电动汽车的充电和放电过程被构建为一个马尔可夫决策过程，并引入深度Q网络来学习从集群级别目标到单个电动汽车的充电、放电和空闲动作的映射。通过基于规则的方法或分布式优化方法也可以解决将集群级别目标分解为个体动作的问题。基于规则的方法实现简单，但通常依赖于手动设计的优先级或启发式阈值，这使得它们难以同时适应多个状态变量（如电价、SOC、剩余停留时间和集群功率偏差）的耦合变化。分布式优化方法虽然能够明确建模个体约束，但在大规模实时电动汽车集成场景中需要频繁解决在线优化子问题，从而导致相当大的计算开销。相比之下，基于强化学习的方法可以通过离线训练获得策略网络，并在操作过程中快速输出个体动作。因此，本研究采用DQN作为面向高效在线执行的个体级别决策方法。

3.3.1 电动汽车充电和放电的MDP建模
在强化学习框架内，代理通过与环境的交互不断学习最优策略，以最大化奖励函数。这种交互过程通常可以构建为一个马尔可夫决策过程，定义为五元组(s, a, p, rt, γ)，其中s表示状态空间，a表示动作空间，表示状态转移概率。在本研究中，采用深度Q网络（DQN）算法进行求解。不需要显式建模p；相反，模型从与环境交互中获得的状态转移数据中学习。

(1) 状态空间
代理观察时间t的环境状态，包括电价、电动汽车的剩余停车时间、SOC和集群功率。设和分别表示第i辆电动汽车的电网连接时间和出发时间，调度期间定义为t ∈ [, ]。(41) 其中表示第i辆连接的电动汽车属于第l个集群，表示时间t已经执行动作的电动汽车集群Y的总功率。
选定的状态变量从三个方面表征了电动汽车的充电和放电调度问题：即经济效率、可行性和任务耦合。分时电价反映了与当前充电或放电动作相关的经济激励。SOC表示车辆的当前可用能量状态，是决定动作可行性和状态转移的核心变量。插电和拔电时间反映了车辆出发前的时间约束，从而决定了调度策略中即时利益和出发需求之间的权衡。此外，簇标签和簇功率信息被用来将簇级调度目标嵌入到个体决策过程中，使代理能够在满足自身约束的同时响应簇级功率分配任务。因此，上述状态变量可以相对完整地描述个体电动车在动态定价环境和簇级任务约束下的决策背景。(2) 充放电动作集采用离散动作是因为它们具有结构简单、训练稳定和在线决策快速的优势，非常适合大规模电动车场景的快速调度需求。此外，它们可以直接输出所有候选动作的价值估计。尽管连续控制算法能够生成连续的功率指令，但在本研究中考虑的情景中，它们仍然需要额外处理功率范围约束和动作映射，同时涉及更复杂的模型训练和参数调整。因此，离散动作的DQN与本研究的问题表述和工程实现要求更为一致。在每个决策步骤中，电动车可以采取三种动作状态之一：放电、怠速或充电。在本研究中，充电功率被离散为三个级别{11, 7, 4}千瓦，用ai,t = {1, 2, 3}表示；放电功率也被离散为三个级别{11, 7, 4}千瓦，用ai,t = {?1, ?2, ?3}表示。电动车的完整充放电动作序列被称为其策略π，表示为π = {a1, t,…, ai,t}。(42) 鉴于本研究采用DQN作为解决算法，动作空间需要被离散化以匹配价值函数学习框架。同时，在实际的充电设施操作中，充放电控制也可以通过有限数量的功率级别来近似。基于此，充电功率和放电功率各自被离散为三个代表性级别，并增加了一个怠速状态，总共形成了七个离散动作。这种设计不仅确保了调度策略的实际可行性，还降低了训练复杂性并提高了算法稳定性。在动作空间设计中，充电功率和放电功率各自被离散为三个级别——即11千瓦、7千瓦和4千瓦，并增加了一个怠速状态，从而形成了一个有限的离散动作集。这种设置主要基于两个考虑因素。一方面，11千瓦、7千瓦和4千瓦可以分别代表高、中和低功率级别，有效地覆盖了实际交流充电场景中的常见代表性功率等级，并反映了不同的操作灵活性。另一方面，采用有限数量的功率级别可以在保持调度灵活性的同时有效控制动作空间的大小，从而避免了由于过度细粒度离散化而导致的训练复杂性显著增加。因此，这种动作设计在工程可行性和算法可训练性之间取得了平衡。(3) 状态转换在本研究中，采用SOC作为核心状态变量来表征系统动态，并据此构建了一个基于MDP的状态转换链。如图2所示，电动车在调度时间范围内的充放电行为可以被建模为一系列状态-动作-状态转换，其中状态由SOC表示，动作对应于选定的充电或放电功率。状态转换由当前状态和所选动作共同决定。图2. 电动车状态转换链。在图2中，圆圈代表不同级别的SOC状态：SOC值在0–0.4范围内对应低能量状态，0.4–0.7表示中等能量状态，0.7–1表示高能量状态。这些SOC分割阈值是根据电动车电池的安全运行范围选定的，用于区分不同能量状态下的调节灵活性。边表示在特定充放电动作下的转换路径。这个状态转换链描述了电动车能量状态随时间的动态演变。(4) 奖励函数个体层面并不直接适应簇层面MILP的输出。MILP提供了簇层面的目标功率，而个体层面的策略必须满足每辆电动车的SOC约束、停留时间和经济要求，同时尽可能紧密地跟踪簇目标功率。因此，本研究将用户的充电成本和簇功率偏差都纳入奖励函数中，使得DQN在个体约束下学习到一个动作分解策略，而不仅仅是简单地模仿MILP的输出。在电动车充放电调度过程中，最小化电动车充电成本被作为优化目标。同时，需要确保电动车簇的实际功率能够有效跟踪目标簇调度功率。因此，在设计MDP中的奖励函数时，考虑了电动车充电成本和簇功率跟踪误差。电动车在时间t的充放电成本函数定义如下：(43) 其中r1,t表示与电动车充电成本相关的奖励函数，κ是惩罚系数，设置为1.2，表示第i辆电动车在出发时的预期充电状态。为了评估簇功率调度的有效性，与簇功率跟踪误差相关的奖励定义如下：(44) 在个体层面的充放电决策过程中，电动车不仅要考虑用户的充电成本，还要尽可能紧密地跟踪簇级调度模型分配的目标功率，以确保簇级优化结果能够在个体执行层面得到有效实施。因此，本研究将充电经济性和簇级功率跟踪性能都纳入奖励函数设计中。考虑到这两个目标在现实世界调度中都具有实际重要性，因此使用加权求和公式构建了一个即时奖励函数。通过综合考虑经济性能和簇功率调度目标，个体电动车调度的即时奖励函数如下构建：(45) 其中ω1和ω2分别表示经济目标和功率跟踪目标的权重系数，它们的总和等于1。在强化学习训练过程中，代理在每个时间步骤接收一个即时奖励rt。一个剧集的累积回报是通过将所有时间段的奖励相加得到的，表示如下：(46) 其中T表示调度周期内的总时间步数，R表示总奖励函数。随着训练过程的进行，代理不断更新其策略以最大化累积回报，从而在指导个体电动车完成簇级目标功率调度任务的同时降低用户充电成本。(5) 动作价值函数在策略π下，状态-动作对(s,a)的动作价值函数定义如下：(47) 该函数表示在状态s采取动作a后，随后遵循策略π所获得的预期累积折现回报。这里，γ表示折扣因子，表示在策略π下的数学期望。最优动作价值函数可以根据贝尔曼方程如下更新：(48) 由于最优动作价值函数Q*(s,a)通常难以直接获得，因此可以使用强化学习方法进行迭代估计。当迭代计算收敛时，可以获得最优动作价值函数Q*(s,a)，从而可以得出最优策略：(49) 其中argmax表示最大化函数价值的动作；即在状态s下，选择最大化动作价值函数Q*(s,a)的动作a，从而得到最优策略π*(s)。3.3.2 深度Q网络架构为了解决个体电动车调度决策问题，引入了DQN算法来估计上述动作价值函数。通过构建Q值函数逼近器，代理被引导在动态环境中不断更新其动作价值估计。结合经验回放机制和目标网络，进一步提高了训练过程的稳定性和收敛效率。图3展示了DQN算法的总体架构和执行流程。图3. DQN算法流程。在每个时间步骤t，代理观察当前环境状态st并将其输入到在线网络Q(s,a,θ)中，该网络输出所有可用动作的Q值。为了平衡策略最优性和探索性，采用ε-贪婪策略进行动作选择：以ε的概率选择一个随机动作，以1 ? ε的概率选择Q值最大的动作。在执行所选动作后，代理与环境交互以获得即时奖励rt和下一个状态st+1，然后将结果转换元组(st,at,rt, st+1)存储在经验回放缓冲区中。为了增强训练稳定性，DQN采用了双网络结构，其中目标网络θ?的参数通过与在线网络θ的参数同步定期更新，从而避免由于目标值突变引起的训练振荡。此外，为了打破样本之间的时间相关性并提高数据利用效率，采用了经验回放机制。具体来说，每次交互生成的经验元组存储在一个固定容量的回放缓冲区中，训练期间从中随机抽取小批量数据进行学习。在训练过程中，DQN从回放缓冲区随机抽取一批经验，并提取当前状态-动作对(st,at)和下一个状态st+1。当前状态-动作对的Q值由在线网络计算，而下一个状态的最大动作价值由目标网络估计，以构建时间差分(TD)目标。(50) 这个目标与在线网络的当前输出一起用作监督信号，构建均方误差损失函数：(51) 其中θ?表示目标网络的参数，θ表示在线网络的参数。值网络的参数使用梯度下降方法更新：(52) 其中a表示学习率，表示损失函数相对于参数向量θt的梯度。每G步，目标网络的参数与在线网络的参数θ同步，以确保目标值的稳定性并防止训练振荡。最后，误差被反向传播以更新在线网络的参数，从而提高动作价值函数的估计精度。4. 案例研究分析 4.1. 案例研究设置为了验证所提出方法的有效性和可扩展性，本研究基于Scientific Data [26]发布的公共电动车充电交易数据集进行训练和测试。直接从数据集中抽取2000辆电动车的训练样本用于模型训练。在此基础上，根据第3.1节建立的概率电动车行为模型，对关键行为变量（包括到达时间、离开时间、初始充电状态和充电需求）进行随机抽样，从而为1000辆电动车生成更多的行为数据作为测试样本集。这个测试集用于评估在不同随机场景下学习到的调度策略的泛化能力和适应性。在模拟中，以某个城市典型日的预测区域基础负荷和分时电价作为输入。每辆电动车的额定电池容量设置为50千瓦时，充放电效率设置为0.95，充电/放电状态(SOC)范围限制在0.2–1之间。调度时间为24小时，调度间隔为15分钟。分时电价如表2所示。表2. 分时电价。神经网络模型由三个全连接隐藏层组成，分别包含256、128和64个神经元。输出层的维度为7，对应于三个充电功率级别、三个放电功率级别以及一个空闲状态，这些共同构成了一个离散的动作空间。在训练过程中，每个剧集中随机采样电动汽车的连接时间、离开时间以及连接时的初始电池荷电状态（SOC）。连接时间被视为剧集的起点，离开时间作为终止条件。在每个时间步骤中，智能体与环境互动，由状态、动作、奖励和下一个状态组成的元组被存储在经验回放缓冲区中。动作选择采用ε贪婪策略。在训练初期，ε被设置为1，以便智能体以高概率选择随机动作，从而充分探索状态空间并丰富回放缓冲区中的样本。当回放缓冲区中的样本数量达到预定义的阈值后，进行小批量随机采样，并通过使用均方误差损失函数通过梯度下降更新在线网络的参数。从第1500个剧集开始，ε的值根据预定义的衰减策略逐渐减小，直到达到0.01并保持稳定。学习率设置为α等于0.001，折扣因子γ等于0.95。本研究选择双深度Q网络（DDQN）[33]和近端策略优化算法（PPO）[34]作为基准方法进行比较。DDQN和PPO模型采用相同的网络架构，每个模型分别包含256个、128个和64个神经元的全连接隐藏层。ReLU函数被用作激活函数。输出层的维度为7，对应于离散的充电和放电功率级别以及空闲状态。两种算法都在相同的离散动作空间下运行，以确保比较的公平性。PPO被纳入本研究作为现代基于策略的强化学习基准，而DDQN代表基于价值的强化学习基准。与这两种方法的比较旨在从不同的强化学习角度评估所提出的框架。除了PPO和DDQN之外，还包含了一种非聚类的V2G调度策略作为控制基准。这种策略不采用所提出的分层框架，也不使用DQN将集群级目标分解为单个动作。相反，电动汽车直接参与充电和放电调度，而不经过基于集群的决策层。因此，它作为非学习和非分层的参考，用于评估所提出框架的优势。本研究中实验使用的主要参数设置如表3所示。表3. 训练参数配置。

4.2. 案例研究结果与讨论
4.2.1. 聚类结果分析
在本研究中，电动汽车根据其电网连接时间、断开时间和所需能量需求作为行为指标进行聚类。为了确定最终的集群数量，集群数k在候选范围内变化，并计算每种聚类方法的SC和CH指数。最终选择集群数量和聚类方案时，同时考虑这两个指标：较大的SC表示在样本级别上有更好的分离效果，而较大的CH指数反映了更紧凑的集群结构和更强的全局可分性。相应的评估结果如图4所示。给定选定的集群数量k，基于电动汽车充电行为参数的聚类结果如图5所示。图4. 聚类数量评估指标。图5. 聚类结果。图4展示了不同聚类算法下CH指数和SC随集群中心数量k的变化情况。较大的CH指数和SC值表示更好的聚类性能。DCHC方法获得的CH指数和SC的最大值高于FCM和K-means方法，表明所提出的聚类方法在集群间可分性和集群内紧凑性方面表现更好。在DCHC方法下，当k=7时，CH指数达到最大值，表明在该集群数量下聚类显示出最显著的集群间差异和最高的集群内相似性。同时，在k=6到k=7的范围内，SC表现良好，表明样本的集群归属关系相对较强。综合考虑两个评估指标的趋势，选择k=7作为当前数据集的最佳集群数量。

4.2.2. 预测结果
为了验证所采用的基荷预测模型的有效性，使用三种方法进行了对比实验：GRU、LSTM和ARIMA。以实际负荷曲线为参考，分析不同模型获得的预测结果，并从预测误差的角度进行定量评估。在基荷预测实验中，考虑到调度时间分辨率为15分钟，输入时间窗口长度和预测范围均设置为96小时。LSTM模型采用单层架构，有64个隐藏单元。使用Adam优化器，学习率为0.001，批量大小为32，训练周期为100个周期。为了确保公平比较，GRU模型使用与LSTM模型相同的输入-输出设置和训练超参数。ARIMA模型的参数通过稳定性测试和模型阶数识别来确定。预测结果如图6所示。MAE和RMSE被用作评估指标，分别从绝对偏差和整体波动误差的角度评估每个模型的预测性能。相应结果如表4所示。图6. 预测性能比较。表4. 不同模型下的MAE和RMSE。从图6可以看出，三种方法在局部拟合精度上存在一定差异。根据表4，LSTM取得了最佳的预测性能，MAE和RMSE值分别为50.14 kW和62.15 kW，均低于其他两种方法。这表明LSTM在捕捉基荷序列的非线性特征和时间依赖性方面具有更强的能力。GRU也表现出相对较好的拟合性能，尽管其在某些时期跟踪负荷波动的能力略逊于LSTM。相比之下，ARIMA产生的预测误差最大，MAE和RMSE值分别为95.97 kW和120.05 kW，表明传统的线性时间序列模型在处理负荷曲线的复杂波动和非线性变化方面存在一定的局限性。LSTM模型生成的预测基荷被用作后续集群级调度的负荷输入。

4.2.3. 训练结果比较
图7展示了在不同方法下电动汽车充电和放电调度模型的训练曲线。图7. 奖励曲线。图7显示了所提出的CDRL方法与比较方法在五种不同随机种子下的平均奖励值。图7中的奖励曲线代表了五种随机种子的平均结果。不同方法的收敛趋势在不同随机种子下总体一致，仅有有限的波动。因此，图中显示的平均结果可以很好地代表这些方法的整体性能。在前1500个剧集中，CDRL采用相对较大的探索率，ε设置为1。在此阶段，智能体主要选择随机动作以充分探索环境并丰富经验回放缓冲区。从第1500个剧集开始，ε逐渐衰减到0.01并保持稳定，使策略从探索阶段过渡到利用阶段。大约在3500个剧集后，CDRL的奖励曲线变得稳定，表明算法已经收敛。相比之下，DDQN和PPO分别在大约4600个和5500个剧集后收敛，收敛速度明显慢于CDRL。CDRL更快的收敛速度表明将集群信息嵌入深度强化学习的状态空间提高了训练效率。此外，与DDQN和PPO相比，CDRL在收敛后获得了最高的奖励值，意味着电动汽车的充电成本更低，调度性能更优。为了进一步提高实验结果的统计可靠性，在不同的随机种子下进行了五次独立的重复实验，并以平均值±标准差的形式报告了主要性能指标，包括充电成本、峰谷差、峰值负荷和运行时间。相应结果如表5所示。表5. 不同方法下主要性能指标的平均值±标准差。表5展示了五种不同随机种子下主要性能指标的平均值±标准差。可以看出，与基准方法相比，CDRL在充电成本、峰谷差和峰值负荷方面表现最佳。所有指标的标准差通常较小，表明所提出的方法在不同随机种子下表现出良好的稳定性。运行时间结果进一步表明，CDRL的训练开销低于基准方法。所提出方法的标准差在不同随机种子下保持在一个相对有限的范围内，表明其性能对随机初始化或随机训练轨迹不敏感。这种稳定性可以归因于基于行为的聚类机制，它减少了决策空间的变异性，以及集群级MILP指导，为个体级策略学习提供了相对稳定的目标信号。因此，表5中呈现的结果支持了所提出方法在重复随机训练条件下的鲁棒性。

为了进一步验证奖励函数中权重系数设置的合理性，对ω1和ω2进行了敏感性分析。在实验中，保持约束ω1 + ω2 = 1，并选择了多组不同的权重组合进行对比测试。在所有其他训练参数和实验设置不变的情况下，比较了不同权重设置下的模型性能，包括累计充电成本、负荷峰谷差和训练收敛行为。实验结果如表6所示。表6. 奖励函数权重系数的敏感性分析结果。从表6可以看出，奖励函数中的不同权重组合会影响经济性能和集群目标功率跟踪误差。当ω2较大时，模型更注重跟踪集群级目标功率，导致集群功率跟踪误差较小，但累计充电成本相对较高。当ω1较大时，模型更倾向于优化用户的充电经济性，这可以进一步降低累计充电成本，但也会增加个体决策与集群级目标的偏差，从而导致较大的峰谷差。相比之下，当(ω1, ω2) = (0.6, 0.4)时，模型在累计充电成本和负荷峰谷差之间取得了更好的平衡，同时收敛速度也最快。因此，在本研究中选择(0.6, 0.4)作为奖励函数的最终权重设置。

4.2.4. 不同调度方法下的成本分析
在训练阶段获得的固定网络参数被应用于对1000辆测试电动汽车进行30天的连续调度模拟。图8显示了30天内的累计充电成本曲线。图8. 1000辆电动汽车在30天内不同调度方法下的累计充电成本。在非协调充电策略下，累计充电成本最高且增长最快，表明电动汽车倾向于在电价高时同时充电。缺乏价格响应性和负荷协调机制导致充电成本持续增加。当电动汽车直接参与V2G而不进行聚类时，充电成本降低了27.31%。这种减少主要是通过在低价时段充电和在高价时段放电的价格响应策略实现的。在PPO和DDQN方法下，充电成本分别降低了33.67%和37.42%，这表明强化学习可以在动态决策过程中实现更合理的充放电时段分配。CDRL方法下的累计充电成本降低了50.51%，在所比较的方法中表现出最佳的经济性能。通过结合集群级优化和个体级学习，CDRL能够更有效地响应电价信号，并在长期运行中显示出更显著的经济优势。不同方法在训练阶段和测试阶段的平均时间消耗如表7所示。由于聚类将具有相似行为特征的电动汽车分组，同一集群内的用户表现出相似的充电行为模式，从而在调度策略上具有更高的一致性。在训练过程中，这减少了无效探索的次数并加速了收敛速度。因此，CDRL方法在所比较的方法中需要最短的训练时间。测试时间结果进一步证明了所提出框架的实际适用性。尽管训练过程需要离线计算，但一旦模型参数确定，训练好的DQN策略可以直接用于在线调度。在实时运行中，每辆新连接的电动汽车只需根据其行为特征分配到相应的集群，之后相关策略网络可以在非常短的时间内输出充电、放电或空闲动作。因此，所提出的方法避免了在在线运行中重复求解大规模优化模型，从而提高了其在实际大规模电动汽车调度场景中的可行性。图9展示了在不同电动汽车渗透率下的平均日充电成本变化情况。以1000辆测试电动汽车为基准，60%、80%和120%的渗透率分别对应600辆、800辆和1200辆电动汽车。累计30天的充电成本被汇总并平均进行分析。如图9所示，随着电动汽车集成规模的增加，平均日充电成本呈现出近似线性增长的趋势。这一结果表明，在测试范围内电动汽车数量发生变化时，所提出的CDRL调度方法能够保持一致的调度性能。充电成本的增加大致与电动汽车数量的变化成正比，没有观察到非线性激增。这些结果表明，所提出的策略在电动汽车渗透率变化时仍能保持一致的调度效果。充电成本的近似线性增长表明该方法能够很好地适应当前模拟设置下电动汽车数量的变化。因此，所提出的方法在不同电动汽车渗透率场景下显示出良好的可扩展性和性能一致性。图9. 电动汽车渗透率的敏感性分析。4.2.5. 不同调度方法下的负荷调节性能分析图10展示了五种电动汽车调度方法下的日电网负荷曲线对比。表8比较了不同调度策略下的峰谷差和峰值负荷。在未协调的充电场景下，电动汽车的充电行为集中在11:00和18:00–22:00期间，导致明显的“峰对峰”现象。峰谷差达到3459.78千瓦，峰值负荷上升到11,068.74千瓦，表明负荷波动最为严重。当电动汽车直接参与V2G而不进行聚类时，它们倾向于在谷值时段充电，在峰值时段放电。在这种情况下，峰值负荷降至10,562.36千瓦，峰谷差减少到2255.63千瓦。图10. 不同调度方法下的负荷曲线对比。表8. 不同方法下的峰值负荷对比。这表明价格响应机制可以在一定程度上实现削峰和填谷。然而，由于缺乏协调优化，整体负荷转移效果仍然有限。PPO和DDQN的调度策略表现相对相似。其中，DDQN在峰谷差方面略优于PPO，尽管两种方法的峰值负荷减少幅度相当。相比之下，所提出的CDRL方法在电动汽车充放电调度方面表现最佳。峰谷差减少到1369.28千瓦，峰值负荷降至9991.01千瓦，显著增强了削峰和填谷效果。4.2.6. 电动汽车充放电行为分析图11显示了调度期间每个集群的充放电功率。如图11所示，在00:00至06:00期间，基础负荷处于谷值水平，电价较低，因此所有集群都处于充电状态。由于某些集群内的电动汽车有即时充电需求，一部分电动汽车在08:00至10:00期间继续充电。在11:00至14:00的峰值负荷期间，集群2、4和7进行放电操作，同时满足用户的充电需求，从而减轻了电网的负荷压力。集群1和3从06:00至12:00保持充电；因此，在16:00至22:00的傍晚高峰期间，这些集群有足够的储存能量进行放电，有助于削峰。集群7的用户车辆使用需求相对较低，倾向于优先考虑经济效益，导致放电频率较高，充电成本较低。相比之下，集群5和6的车辆使用需求较高，用户倾向于优先考虑充电便利性。因此，这些集群不进行放电操作；然而，这些集群中的大多数电动汽车选择在电价较低的时段充电，避免在高峰负荷时段充电，从而降低了充电成本。在所提出的方法下，选择了四个代表性的电动汽车集群，并从每个集群中随机选择20辆电动汽车作为样本，分析它们的SOC随时间的变化，如图12所示。图12. 不同集群中20辆电动汽车的SOC演变。(a) 集群1中20辆电动汽车的SOC演变。(b) 集群2中20辆电动汽车的SOC演变。(c) 集群3中20辆电动汽车的SOC演变。(d) 集群5中20辆电动汽车的SOC演变。如图12所示，出行需求和电网连接时间对电动汽车的充放电策略有显著影响。集群1中的车辆到达时的SOC水平较低，因此到达后立即开始充电，同时保留足够的能量在下午高峰时段参与放电。集群2中的车辆到达时的SOC约为0.5，并在高峰时段接入电网；它们最初进行适度放电，将SOC降至约0.3，从而参与V2G，同时避免过度耗尽电池性能。随后，这些车辆在下午充电，到达车主指定的目标SOC后离开。集群3中的车辆在平价时段补充能量，以满足出行需求，并在负荷高峰时段放电，以减轻电网压力并降低充电成本。集群5中的车辆到达时的SOC水平较低，由于充电需求固定，不参与放电；相反，它们将部分充电时间转移到13:00之后的平价时段，以避免高峰负荷并降低成本。这些结果表明，所提出的方法可以指导不同集群中的电动汽车在充放电调度过程中做出适应性决策，从而平滑电网负荷波动，同时保持经济效率。4.2.7. 不同聚类方法的比较分析为了进一步量化DCHC相对于现有聚类方法所取得的改进，本研究对不同聚类结果下的调度性能进行了比较分析。在这个实验中，仅更换了电动汽车行为聚类方法，而后续的集群级MILP模型、个体级DQN结构和所有训练参数保持不变。选择了K-means++、DBSCAN、Mean Shift和所提出的DCHC作为比较方法。对于所有方法，聚类输入特征包括车辆插电时间、拔电时间和能源需求。为了确保公平比较，所有聚类方法都在相同的数据集上进行了测试，并遵循相同的后续调度程序。在评估指标方面，从两个方面全面考察了不同聚类方法的性能：聚类质量和后续调度性能。首先，在聚类层面，使用CH指数和SC值来评估分组结果的簇内紧凑性和簇间可分离性。其次，在调度层面，比较了不同分组方法下的训练收敛次数、负荷峰谷差、集群级出发SOC满足率和集群目标功率跟踪误差，以分析改进的聚类质量对个体级策略学习效率、负荷调节能力和约束满足性能的影响。如表9所示，与其他聚类方法相比，DCHC在聚类评估指标CH指数和SC值方面取得了最佳结果，表明其聚类性能优于其他比较方法。在调度性能方面，与K-means++相比，DCHC将训练收敛次数减少了15.0%，并将负荷峰谷差降低了9.5%，同时提高了集群级出发SOC满足率和降低了集群目标功率跟踪误差。与DBSCAN和Mean Shift相比，DCHC还实现了更低的收敛次数和峰谷差、更高的集群级出发SOC满足率以及更小的集群目标功率跟踪误差。这些结果表明，DCHC提高了聚类质量，而聚类质量的改进可以进一步提高后续调度模型的训练效率，增强负荷调节能力，并在满足出发需求和集群级目标功率跟踪方面实现更好的约束满足。表9. 不同聚类方法下的聚类质量和后续调度性能比较。4.2.8. 不同电价场景下的分析为了进一步验证所提出方法对不同电价场景的适应性，本研究基于基准的分时电价方案，构建了减少峰谷价差场景和增加峰谷价差场景，并在其他条件相同的情况下进行了对比实验。相应的实验结果如表10所示。表10. 不同电价场景下的充放电调度结果对比。如表10所示，当峰谷价差减小时，价格信号对电动汽车时间转移充电和放电行为的驱动作用减弱，导致累计充电成本增加，峰谷差和峰值负荷也略有增加。相反，当峰谷价差增加时，所提出的方法可以在低价时段更有效地利用充电，在高价时段放电，从而进一步降低累计充电成本并增强削峰和填谷效果。更重要的是，所提出的CDRL方法在所有三种电价场景下都能保持有效的调度性能。这表明学习到的策略不依赖于单一的固定电价设置，而是可以适应不同强度的价格信号。因此，电价场景分析进一步支持了所提出方法在不同市场条件下的鲁棒性和适用性。4.2.9. 消融研究为了进一步分析每个模块对整体框架性能的贡献，进行了消融研究，结果如表11所示。完整的方法包括三个组成部分：DCHC、集群级MILP和个体级DQN。为了验证每个模块的作用，构建了三种变体方法：(1) 仅保留MILP和DQN，移除DCHC；(2) 仅保留DCHC和DQN，移除MILP；(3) 保留DCHC和MILP，同时用基于规则的分配策略替换DQN。表11. 不同模块配置下的调度性能和约束满足度指标比较。表11展示了所提出框架的模块级消融结果。完整的CDRL方法在所有考虑的指标上均取得了最佳性能，包括离开SOC满意度、簇目标功率跟踪误差、累计充电成本、峰谷差以及峰值负载。当移除DCHC模块时，MILP + DQN变体的充电成本、峰谷差和功率跟踪精度均有所下降。这表明基于行为的聚类有助于构建更加同质的簇，并降低了个体级策略学习的难度。当移除MILP模块时，DCHC + DQN变体的负载调节性能下降更为明显，说明簇级全局优化目标在协调电动汽车的充电和放电行为中起着重要的指导作用。当用基于规则的分配策略替换DQN模块时，DCHC + MILP + Rule变体仍能在一定程度上遵循簇级目标，但其目标跟踪精度和经济性能不如完整模型。这证实了个体级DQN策略提供了超出启发式基于规则分配的额外优势。总体而言，消融实验结果表明DCHC、MILP和DQN在所提出的框架中发挥着互补作用：DCHC提供了行为一致的聚合单元，MILP生成了全局优化的簇级调度目标，而DQN实现了快速分解为个体级决策。因此，所提出的CDRL框架构成了一种分层耦合机制，这些组件之间的协调带来了更优的整体调度性能。

5. 结论

本研究提出了一种基于聚类和深度强化学习（CDRL）的电动汽车充电和放电调度方法。该调度框架将聚类与深度强化学习相结合，降低了电动汽车的充电成本，同时有效调节了电网负荷波动。在簇级别，采用MILP模型为不同簇生成最优的充电和放电功率调度方案。引入的基于LSTM的日前基础负荷预测模块为优化层提供了更真实的未来负荷输入，从而提高了该框架在不确定运行条件下的实际应用性。在个体级别，簇功率目标被嵌入到马尔可夫决策过程的状态空间中，并通过深度强化学习实现任务分解。此外，构建的概率电动汽车行为模型提高了测试场景的真实性，有助于增强该方法在随机运行条件下的适用性。仿真结果表明，所提出的方法能够学习到稳定且有效的充电和放电策略。与未协调的充电、非聚类的V2G、DDQN和PPO方法相比，所提出的方法在降低用户充电成本和平滑电网负荷波动方面表现更好。收敛后，CDRL方法在测试的电动汽车渗透场景下表现出相对较小的性能波动，并保持了优越的调度性能，表明其在当前仿真设置下的训练稳定性和可扩展性良好。这些结果进一步验证了该方法在大规模电动汽车集成条件下的实际应用潜力。

目前的研究主要基于仿真场景进行验证，尚未在真实世界的运营平台上进行进一步测试。此外，对物理电网运行特性的考虑相对有限，这也是本工作的一个局限性。未来的研究将重点关注更复杂的运行环境，并结合实际的电网和运营场景来改进模型设计和验证框架。这些问题构成了未来研究的重要方向。