面向多时间尺度多类型电力与碳排放市场的分层量子-经典决策框架仿真

《CSEE Journal of Power and Energy Systems》：Multi-Timescale Multi-Type Electricity and Carbon Emission Market Simulation by Hierarchical Quantum-Classical Decision Making Framework

　　

电力市场仿真用于建模发电公司（GENCO）等市场主体在既定市场规则下的交互与决策行为，协助政策制定者与市场设计者评估机制变更对主体行为、能源配置效率与分配公平性的影响。现有仿真工具在跨多市场环境建模发电公司决策、多时间尺度仿真收敛性，以及刻画决策相关性与非理性方面存在不足。研究人员提出量子-经典决策仿真框架：首先构建分层马尔可夫决策过程（Hierarchical Markov Decision Process，H-MDP）以建模发电公司在长期与现货市场、电力与碳排放拍卖市场中的决策；在此基础上提出量子增强多智能体软演员-评论家（Quantum-enhanced Multi-Agent Soft Actor-Critic，Q-MASAC）算法，以变分量子线路（Variational Quantum Circuit，VQC）替代常规深度神经网络优化决策。研究人员利用量子计算并行处理能力加速仿真并改善收敛性能，借助量子态叠加（superposition）与纠缠（entanglement）更有效控制发电公司决策中的相关性与非理性。案例研究表明该算法收敛更优，仿真结果更贴近真实市场动态。

《CSEE Journal of Power and Energy Systems》刊发的该文面向电力市场仿真在复杂耦合场景中的建模与算法瓶颈展开研究。研究背景方面，电力市场机制塑造发电公司（GENCO，generation company）等行为主体策略，进而影响社会福利与竞争公平性；市场仿真可评估价格、资源配置与运营成本，并揭示市场力操纵风险。既有研究或聚焦单时间尺度、单类型市场，或以均衡模型、智能体建模（ABM，agent-based modeling）近似复杂交互，但存在三类局限：一是市场建模常假设市场独立、结构固定，未充分刻画长期市场反馈对现货决策的实时影响；二是多智能体强化学习（MARL，multi-agent reinforcement learning）多限于单时间尺度，在高维状态、强耦合市场中收敛性差、可扩展性不足；三是传统方法假设完全理性，难以刻画隐含相关性与有限理性、非理性行为。因此，研究人员需要建立 fully coupled 的多时间尺度多类型市场决策模型，并引入量子计算能力以提升收敛性与现实性。

为开展研究，研究人员采用三个主要关键技术方法：第一，构建分层马尔可夫决策过程（H-MDP，hierarchical Markov decision process），将市场分为上层月度长期电力与碳排放配额交易、下层日前现货电力市场，以上层动作影响下层碳余量与合约、下层收益与终态反哺上层价值函数实现耦合；第二，采用量子增强多智能体软演员-评论家（Q-MASAC）算法，以变分量子线路（VQC，variational quantum circuit）替代深度神经网络作为策略与价值函数近似器，利用量子并行、叠加与纠缠提升探索效率和策略表达力；第三，沿用软演员-评论家（SAC，soft actor-critic）的熵正则化机制，各发电公司配备独立 actor 与 critic，仅用局部状态输入，上层状态为5维、下层状态为4维，降低维度并改善收敛稳定。

研究结果如下。

SECTION I. Introduction：研究人员综述电力市场仿真在时间尺度、市场类型与方法上的进展，指出已有文献缺乏 fully coupled 多时间尺度多类型市场建模，且 MARL 难以捕捉非理性与隐含相关性，由此引出量子计算辅助建模范式。

SECTION II. Problem Formulation：研究人员给出双层市场机制，上层月度市场按报价排序撮合电力合约，交易价 λ_k,T^trade=(λ_(k),T^offer+λ_[k],T^bid)/2，交易量取供需申报最小值；碳市场要求传统发电公司购买配额，满足 Σ_g∈GtradE_g,T^buy=Σ_g∈GrenE_g,T^sell。上层奖励 R(S_T,A_T)=r_upper(S_T,A_T)+E_ξT[Σ_t∈Tr_t]，下层现货奖励 r_tⁱ=λ_t^marketQ_i,t^cleared?C_i,t??(e_i,t?E_i,T^remain)⁺，其中出清电量由安全约束直流最优潮流（SC-DCOPF，security-constrained direct current optimal power flow）求解。研究人员由此形式化上层与下层决策优化问题，并用时序差分（TD，temporal difference）更新价值函数参数 θ。

SECTION III. Algorithm Design：研究人员实现 MASAC，每发电公司设策略网络 π_θi(a|s)、软 Q 网络 Q_?i(s,a) 与价值网络 V_ψi(s)； critic 分别最小化 J_Q(?_i) 与 J_V(ψ_i)，策略网络最小化 J_π(θ_i)=E[E_a～πθi[α log π_θi(a|s)?Q_?i(s,a)]]，温度参数 α 按目标熵 H^ˉ 自适应。Q-MASAC 将网络中可训练映射替换为 VQC，从而在低维本地状态下获得更好策略表达与收敛行为。

讨论与结论部分：研究人员认为，H-MDP 弥补了既有模型对长期—现货反馈与电力—碳市场耦合建模不足的问题；Q-MASAC 相较传统 MARL 在多时间尺度、高可再生渗透与碳价波动场景中收敛更快、对市场不确定性与主体非理性更鲁棒。论文结论可译为：本文提出一种量子-经典决策框架，以 H-MDP 建模发电公司在多时间尺度多类型市场中的决策，并以 Q-MASAC 用 VQC 替代深度神经网络优化策略；实验显示 Q-MASAC 较传统方法减少超过 15% 收敛回合，并在高可再生渗透场景下显著提升市场稳定性，证明量子计算可改善电力与碳市场仿真的收敛性、计算效率与现实拟合能力。