综述：导航电动汽车领域：智能充电技术、增长趋势、全球采用策略与未来方向

《Next Energy》：Navigating the electric vehicle landscape: A review of smart charging techniques, growth trends, global adoption strategies, and future directions

　　

电动汽车（EVs）与现有电网的集成对优化EV充电和放电提出了挑战和机遇。本研究对传统方法和机器学习方法进行了全面综述，特别关注强化学习（RL）技术，该技术相比其他方法表现出卓越的适应性和效率。探讨了RL在EV充电和放电中的应用，重点介绍了优化问题中考虑的关键状态、算法、约束条件、智能体和目标。虽然先前的研究主要强调EV充电和放电策略，但本综述解决了文献中的两个关键空白。首先，它研究了将可再生能源（RES）集成到电网中以满足日益增长的EV需求，同时不增加发电的化石能源消耗。其次，它调查了阻碍发展中国家EV采用的独特障碍，并将这些挑战与发达国家实施的成功策略进行了对比。提出了诸如优先考虑较小EV模型和实施电池更换系统等策略，以克服其中一些挑战。最后，讨论了潜在的研究领域，包括需要将RL模型扩展到大规模部署、将真实世界的电力和交通数据集成到优化框架中，以及开发针对公平EV采用的定制方法。

1. Introduction：全球交通部门是化石燃料主要用户，贡献约25%的温室气体（GHG）排放。各国为应对GHG排放采取政策，如英国计划2050年实现净零GHG经济。电动汽车（EVs）相比传统内燃机可减少45%碳排放，其普及受政府激励和低运营成本推动，增长显著（2019-2023年北美、欧洲、亚洲及非洲、南美、澳洲均有增长，2021-2024年第一季度注册量及市场份额在中国、美国、欧洲等地上升）。EV增长对电网带来挑战，约85%的EV在晚间高峰充电，导致电网过载。需实施受控充电策略，如对比无控与受控充电可降低变压器过载25%。现有文献多聚焦EV充放电策略，但存在两个关键空白：可再生能源（RES）集成于电网以支持EV充电，以及发展中国家EV采用的独特障碍。本研究贡献包括：全面综述强化学习（RL）应用，识别RES集成和发展中国家障碍等研究空白，提出结合RL与监督学习（SL）和无监督学习（UL）的混合机器学习（ML）框架，以提升充电效率和电网稳定性。

2. Methodology：采用系统性文献搜索策略，分为规划、审查和报告三阶段。规划阶段生成关键词（EVs、RL、ML、充放电优化、RES、发达国家、发展中国家、能量存储系统（ESS）），检索ScienceDirect、Elsevier Scopus和Google Scholar数据库，时间范围2010-2024年，初始获得290篇文献。审查阶段去重后筛选出117篇相关出版物。报告阶段按主题分类进行全文审阅。

3. EV charging methods：EV充电优化需采用特定模型，分为传统模型和ML模型。传统模型包括：3.1.1. Rule-based control (RBC)：基于预定义规则，缺乏灵活性和适应性，复杂问题中规则冲突且更新成本高。3.1.2. Model predictive control (MPC)：假设EV完全了解环境，结合确定性和非确定性方法，效率高于RBC但需精确模型，对非线性环境适应性差。3.1.3. Day-ahead scheduling：分散式方法，EV在前一天低负荷时段充电，但假设不现实，可能导致电池损伤。ML方法包括：3.2.1. Supervised learning (SL)：映射输入到输出，用于优化充电成本和预测插拔时间，算法有支持向量机（SVM）、决策树（DT）、随机森林（RF）、K近邻（KNN）等，如SVM优化能耗，XGBoost预测充电需求。3.2.2. Unsupervised learning (UL)：使用无标签数据集进行聚类，算法有K均值聚类（KMC）、高斯混合模型（GMM）、核密度估计（KDE），用于降低能耗成本和评估充电站容量。3.2.3. Reinforcement learning (RL)：在非线性和随机系统中决策，无需先验环境信息，能动态适应实时变化。RL基本术语包括智能体、状态、环境、动作和奖励。RL算法基于马尔可夫决策过程（MDP），定义状态（s_t）、动作（a_t）、转移函数（p_t）、奖励函数（r_t）、折扣因子（γ）、策略函数（π）和动作值函数（Q）。状态空间可有限或无限，动作空间可离散或连续。转移函数映射当前状态和动作到新状态，奖励函数给予即时奖励或惩罚，折扣因子平衡即时与未来奖励，策略函数寻找最优动作，Q函数估计预期奖励。

4. Review studies of RL EV charging and discharging：4.1. Smart EV charging/discharging using RL：4.1.1. States：状态参数包括电池荷电状态（SOC）、充电价格、充电需求、天气、交通、到达/离开时间、ESS、RES等，不同研究根据目标选择不同状态。4.1.2. Algorithm：常用算法包括深度Q网络（DQN）、双DQN（DDQN）、参数化DQN（PDQN）、决斗DQN、深度确定性策略梯度（DDPG）、充电控制DDPG（CDDPG）、优先DDPG（PDDPG）、SARSA、软演员-评论家（SAC）等。DQN适用于离散状态和动作空间，DDPG适用于连续空间。决斗DQN在累积奖励和收敛速度上优于DQN和DDQN；CDDPG平均累积奖励优于DDPG和DQN；PDDPG在聚合商利润和方差上优于Q-learning、DQN和DDPG。4.1.3. Agents：分为单智能体RL（SARL）和多智能体RL（MARL）。MARL处理高维特征和连续空间，但面临环境非平稳性和可扩展性挑战。4.1.4. Constraints：包括技术约束（如SOC范围、电池容量）、电网约束（如负载限制）、经济约束（如定价）和环境约束。4.1.5. Objectives：单目标优化如最大化EVCS利润或最小化充电成本；多目标优化如同时最小化成本和平衡负载，或最大化光伏消耗并保证SOC。多目标优化更高效环保。4.1.6. Hybrid ML frameworks：结合RL与UL（如KDE建模充电模式）或SL（如LSTM预测电价）提升性能，如KDE-DQN降低充电成本26.5%，LSTM-DDPG优化动态定价下的充电调度。4.1.7. Real-world case studies：实际部署案例包括巴基斯坦的决斗DQN优化太阳能充电、欧洲的DDQN降低峰值需求、CDDPG控制连续充电、演员-评论家算法实现15%成本降低，但面临可扩展性和数据可用性挑战。

5. Integration of RES into EV charging systems：EV需依赖清洁能源以避免化石燃料依赖转移。RES（如太阳能、风能）集成带来不确定性，需先进控制策略。车辆到电网（V2G）技术可缓解间歇性，将EV作为ESS，减少峰值需求并降低运营成本。尽管V2G可能加速电池退化，但电池技术进步已缓解此问题。其他技术包括灵活性策略、ESS、预测模型（如集对分析）和功率管理方法。风能夜间发电可用于EV充电，平衡太阳能资源。生物燃料也被视为补充RES。需政策框架和利益相关者合作以促进RES集成。

6. Growth and expansion of EV in developed and developing countries：6.1. Growth and development of EVs in developed countries：6.1.1. Growth of EVs in developed countries：发达国家EV增长显著，受政府激励（税收优惠、免费停车）、心理和行为因素（中国关注环境，韩国关注经济）驱动。6.1.2. Expansion of EVs：电池技术是关键，需高性能电池和充电站（EVCS）改进。建议采用微电网和需求响应策略，优化充电站位置和数量，建设快速充电站（20-30分钟充电）。6.2. Growth and expansion of EVs in developing countries：6.2.1. Growth of EVs in developing countries：发展中国家EV采用率低于1%，面临技术（缺乏维护技术、电池技术差）、基础设施（道路差、电网薄弱、充电站不足）、财务（EV价格高、经济预算低、充电关税高）和行为（偏好传统内燃机、文化保守）障碍。6.2.2. Expansion of EVs：建议优先发展两轮和三轮EV（如印度），升级电力基础设施，实施电池更换商业模式，建设智能快速充电站，并制定能源转型政策（如加纳计划2060年净零排放）。

7. Limitations, solutions, and suggested future works：7.1. Limitations of RL and solutions：RL算法（如DQN）面临维度灾难，DDPG处理连续空间但高维连续空间性能不佳，需结合两者。真实环境数据复杂需清洗，RL训练样本需求大。实际部署面临计算需求、系统集成和监管不确定性。建议采用联邦学习保护隐私，开展试点项目。MARL在小规模测试，需参数共享以扩展。需整合真实交通和电网模型。7.2. Suggested future works：未来研究应探索分散式RL、多目标优化、跨领域学习、人机交互RL、量子RL和联邦学习。混合ML框架（RL+SL/UL）可提升预测精度和数据效率。发展中国家应推广两轮/三轮EV，研究电池安全材料和回收。车辆到车辆（V2V）、车辆到建筑（V2B）和V2G技术需进一步开发。更多RES类型（如生物燃料）应纳入EV充电系统。

8. Conclusion：RL算法（DQN、DDPG、SAC）在动态EV充电场景中优于传统和SL模型，但面临可扩展性和实际部署挑战。RES集成（太阳能、风能）结合V2G技术对可持续充电至关重要。发达国家与发展中国家EV采用差距显著，需针对性策略（如小型EV、换电系统）。未来应优先扩展RL框架、集成混合ML模型、利用真实数据，并拓展RES组合，以实现公平、高效和环保的EV生态系统。