一种基于推理的表格近似动态规划方法：面向带储能的家庭能源管理系统在线能源管理

《Journal of Energy Storage》：An inference-based tabular approximate dynamic programming for online energy management of home energy management system with energy storage

　　

• •
  基于推理的决策技术通过自适应校正不精确的价值函数来增强TADP算法。
• •
  将贝叶斯推理嵌入TADP，以改进价值函数不确定性下的决策。
• •
  提出一种解析表达式方法，以消除基于TADP的决策中反复调用求解器的问题。
• •
  解析表达式方法显著提高了在线优化的计算效率。
• •
  数值仿真表明，该方法在精度和效率方面均优于现有在线算法。

引言

随着人工智能、物联网和智能计量技术的不断发展，家庭能源管理系统（HEMS）能够实现在线能源管理（OEM）[1]。作为一种智能自动化系统，它协助住宅用户管理家庭能源资源，并作为与电网的接口，旨在协调能源交换并降低整体成本[2]。

在数学上，HEMS的OEM问题可归类为具有混合整数决策变量和非线性特征的随机优化模型，其驱动因素包括混合能源结构以及电价和可再生输出方面的不确定性。已有多种算法被开发用于求解OEM问题，包括经典优化算法、基于求解器的算法和启发式算法。经典优化算法，如分支定界法[3]和切割平面法[4]，由于其严格的理论基础而具有高可靠性和稳定性。基于求解器的算法，如SBB[5]和DICOPT[6]，因其易于实现而被广泛用于求解MINLP问题。然而，当同时处理不确定性、非线性和混合整数决策时，经典算法和基于求解器的算法即使在小型系统中也会变得计算上不可行[7]。启发式算法，如遗传算法[8]和粒子群优化[9]，在结构约束极少的情况下提供了更大的建模灵活性。然而，其性能对参数调优高度敏感，且在不同场景下往往缺乏鲁棒性[10]。因此，它们适用于OEM问题仍然面临挑战。

与上述单体优化方法不同，一种更高效的策略是将跨越整个时间范围的复杂OEM问题分解为一系列在有限时间间隔内的可处理子问题。典型算法包括模型预测控制（MPC）和近似动态规划（ADP）。与前述全局优化算法相比，MPC算法通过在有限时间范围上进行优化来提高计算效率。由于其良好的性能，它被广泛用于开发各种领域的在线运行策略，包括微电网能源管理[11]、频率调节[12]和需求响应管理[13]。然而，其性能依赖于所考虑的时间间隔数量。增加间隔数量会导致更高的计算时间，而减少间隔数量则可能牺牲精度。此外，其性能对在线预测数据高度敏感，而在实际运行条件下这些预测数据可能不可靠[14]。在ADP算法方面，随机优化问题在马尔可夫决策过程（MDP）框架内进行建模，随后基于贝尔曼方程被分解为多个单阶段子问题。价值函数被用于表征子问题之间的交互作用。通过这种方式，在计算效率和求解精度之间实现了更好的平衡。这是因为在每一步在线操作时仅需求解单阶段问题，而得益于价值函数的前瞻性特征，可以考虑到整个调度时间范围。此外，其在线实现减少了对在线信息的依赖，因为离线训练的价值函数已经包含了足够的随机信息。需要注意的是，精确的价值函数是隐式定义的，需要采用近似方法来获得其显式表达[15]。具体来说，这些价值函数可以使用分段线性函数、切割平面、数值拟合或查找表进行近似。文献[16]、[17]、[18]分别采用了前三种类别来近似价值函数。然而，这些方法仅限于连续问题，对离散情况无效。为了解决这一局限性，文献[19]提出了一种基于查找表的近似方法。先前的研究表明，这种表格式ADP（TADP）算法在处理离散问题时表现良好，表明其可能适用于OEM问题。最近，由于深度强化学习（DRL）方法具有很强的在线决策能力，它也被应用于OEM问题[20]。然而，其黑箱特性以及对训练条件的敏感性可能限制其鲁棒性和可解释性[21]。

总体而言，现有的ADP算法，无论应用于离散问题还是连续问题，都需要使用历史或模拟随机数据在离线阶段训练价值函数。这些价值函数随后用于支持在线运行期间的决策。然而，由于环境的固有变异性，在线运行期间遇到的随机条件往往与离线训练阶段所假设的条件不同。正如文献[22]中所讨论的，这种差异将导致离线训练的价值函数与精确价值函数之间存在差距。在这种情况下，仅依赖于这些不精确的价值函数可能会损害决策的有效性和可靠性。

为了提高在线决策的效率，本文针对HEMS的OEM问题提出了一种基于推理的TADP（ITADP）算法。所提算法与现有算法的对比见表1。本文的主要贡献如下：

• 1)
  提出了一种基于推理的决策（IDM）技术用于TADP算法，据我们所知，这是首次提出。与TADP传统的决策（DM）技术直接利用价值函数而不考虑其准确性的方式不同，所提出的技术纳入了贝叶斯推理机制，以自适应地精化潜在不精确的价值函数。通过这种方式，可以在HEMS的OEM过程中实现更高质量的决策。
• 2)
  进一步提出了一种解析表达式（AE）方法来加速TADP算法。与传统TADP算法需要反复调用求解器来计算近似最优决策不同，AE方法可以根据其解析表达式直接获得近似最优决策，从而显著提高计算效率。
• 3)
  将所提出的ITADP算法应用于HEMS的OEM问题。与其他在线算法的对比充分展示了所提算法在精度和效率方面的优势。

本文其余部分的安排如下。第2节建立了HEMS的OEM问题模型。第3节提出了ITADP算法。第4节进行了数值仿真以验证所提算法的有效性，第5节对全文进行了总结。

章节摘要

模型描述

本节在图1中提供了HEMS的结构。该系统由光伏板（PV）、电池、可控负荷（包括空调系统（ACS）、可调负荷（AL）和可延迟负荷（DL））以及不可控负荷组成。OEM模型遵循MDP框架，包含五个关键组成部分：目标函数、状态变量、决策变量、外生信息和转移函数。

求解算法

在前述部分中，HEMS的OEM问题被建模为具有混合整数和非线性特征的随机MDP问题，这对传统算法提出了相当大的计算挑战。虽然TADP算法在理论上能够求解该问题，但价值函数的不精确性可能会损害决策质量。为解决这一问题，提出了一种IDM技术来自适应地精化潜在不精确的价值函数。此外，一种

数值分析

在本部分中，首先介绍了所建模的HEMS和实验参数，然后分析结果以验证ITADP算法的有效性。所有仿真均在配备Intel Core i7-13700 CPU和16 GB内存的戴尔工作站上使用MATLAB和GAMS完成。

结论

本文提出了一种ITADP算法来解决HEMS的OEM问题。主要结论总结如下：

• 1)
  所提出的IDM技术具有较高的决策质量，因为它在各种测试集上始终提供比传统DM技术更低的累积成本。
• 2)
  AE方法由于其能够根据决策的显式解析表达式获得决策而实现了快速的计算速度，从而在保持相同成本的情况下显著减少了CPU时间。

CRediT作者贡献声明

黄浩江：写作——初稿撰写、可视化、验证、软件、资源、调查、数据整理、概念化。朱建权：写作——审阅与编辑、写作——初稿撰写、方法论、经费获取、形式化分析。陈佳俊：写作——审阅与编辑、方法论、调查。罗宇浩：监督、项目管理、方法论。

利益冲突声明

作者声明他们不存在已知的竞争性经济利益或个人关系，这些利益或关系可能被认为对本文所报告的工作产生影响。

致谢

本文得到了智能电网-国家科技重大专项（批准号：2024ZD0802000）和国家电网科技项目（批准号：52280024000L）的支持。

黄浩江 | 朱建权 | 陈佳俊 | 罗宇浩