基于分阶段DQN的故障鲁棒平顶电流控制技术，用于大规模电磁成形 黄曼丽（Manli Huang） 孙晓康（Xiaokang Sun） 王继强（Jiqiang Wang） 陈家杰（Jiajie Chen） 余飞凡（Feifan Yu）

《Applied Sciences》：Fault-Resilient Flat-Top Current Control for Large-Scale Electromagnetic Forming Using Staged-DQN Manli Huang, Xiaokang Sun, Jiqiang Wang, Jiajie Chen and Feifan Yu

　　摘要：准静态电磁成形（QSEF）技术利用长脉冲平顶电流产生的稳定磁场，实现大规模整体航空航天部件的非接触式高精度成形。为了满足大规模部件成形所需的巨大能量需求，驱动系统需要具备吉瓦级别的瞬时功率输出能力。因此，对超高平顶电流波形的精确控制成为确保成形质量的关键挑战。然而，传统的元启发式方法（如遗传算法（GAs）和粒子群优化（PSO）在处理由工件变形引起的强几何非线性和脉冲功率模块性能下降时，适应性和鲁棒性有限。为了解决电容器退化、电感漂移和模块故障等工程问题，本文提出了一种分阶段深度强化学习（Staged-DQN）自适应电流控制框架。该框架将放电调度分为“启发式快速上升”和“DQN精细补偿”两个阶段，动态优化触发时机以抑制平台振荡并补偿故障引起的能量不足。仿真结果表明，在典型的高能量工作条件下，与传统PSO相比，所提出的方法在无故障情况下具有更高的跟踪精度。在涉及25个故障模块的极端情况下，平均绝对百分比误差（MAPE）保持在1.13%至1.80%之间，显著低于基线DQN的2.65%-3.52%。这项研究验证了所提出方法在提高波形质量和系统容错性方面的有效性，为大规模电磁制造设备提供了可靠的智能控制解决方案。

1. 引言
准静态电磁成形（QSEF）[1]是一种先进的制造技术，它利用脉冲磁场来塑形金属，在大规模航空航天部件（例如燃料箱圆顶和整体机身面板）的精密制造中具有广泛的应用前景。与传统机械冲压或高速成形方法相比，QSEF利用长脉冲电磁力提供非接触式、高能量率加载机制，有效克服了高强度合金的回弹和成形性差的问题[2]。在QSEF系统中，驱动电流波形的精确控制是决定成形质量和操作安全性的关键因素之一。对于校准导向的过程，所需的电流波形通常具有规定的平顶持续时间的梯形轮廓。由于施加在工件上的磁压力与电流的平方成正比，平顶电流的波动会直接转化为准静态保持阶段的压力振荡。这种压力不稳定性可能导致应力松弛不均匀、局部过载或成形不足，以及回弹后的尺寸精度下降[3,4]。因此，稳定的平顶电流合成不仅是控制目标，也是实现大型航空航天结构一致成形质量的关键要求。

然而，在实际工程应用中，所需的兆安（MA）级总电流是由多个脉冲电源（PPS）模块组成的大规模脉冲成形网络（PFN）生成的，这些模块根据预定义的调度顺序依次触发。在大型航空航天制造场景中（例如薄壁燃料箱圆顶或整体机身面板的电磁校准），随着变形的进行，负载电感会显著变化。同时，长时间的工业运行不可避免地会导致组件老化、电容器退化、初始电压下降和随机开关故障，从而产生复杂且随时间变化的系统动态[5,6]。更严重的是，电磁成形过程涉及强几何非线性。随着工件发生剧烈变形并相对于驱动线圈移动，系统的等效电感会发生显著的时间变化漂移。这种动态耦合使得使用预先计算的序列维持稳定的平顶电流变得极其困难。如果在成形过程中电流波动、振荡或尖峰，将直接影响磁加载的均匀性，导致塑性变形不均匀、起皱或校准不足，甚至可能对昂贵的工件或线圈结构造成永久性损坏。因此，在这种复杂的非线性负载和组件退化条件下实现PPS放电时机的精确自适应控制，对于大规模QSEF设备的实际应用至关重要[7,8,9,10]。

当前研究中，脉冲电源放电时机的控制主要通过优化算法、模糊控制和基于DSP的硬件实现方法来实现。遗传算法（GAs）[11]常用于脉冲电源系统中触发时机的离线优化。这些算法利用数值模型（例如MATLAB/Simulink R2024a）通过调整参数（如种群大小和变异概率）来迭代求解最优解。然而，GAs计算密集、对初始模型精度高度敏感，并且实时性能较差，不适合处理由工件变形引起的在线参数漂移。模糊控制方法[12]已被用于PFN触发序列，其中误差信号通过隶属函数映射到控制输出。尽管这种方法在峰值电流误差相对较低的线性负载实验中得到了验证（0.16%至6.1%），但它严重依赖于基于经验的规则构建。其适应电磁成形负载强非线性的能力有限，且在模块故障条件下的鲁棒性往往不足。基于DSP的系统[13]侧重于硬件接口设计和顺序逻辑控制。尽管在固定负载的实验室环境中有效，但大多数实现仅限于离线固定定时策略，缺乏在线适应和多故障处理的智能。因此，迫切需要能够学习系统动态的智能算法来提高实时鲁棒性。

为了解决这些挑战——特别是电容器退化、变形引起的电感漂移和模块故障——本研究提出了一种分阶段深度强化学习（Staged-DQN）自适应控制框架。电磁放电调度过程被构建为一个短视界顺序决策问题，允许代理通过与系统环境的交互学习最优模块触发策略。与传统基于优化的方法不同，DQN代理在在线反馈循环中运行，并根据实时波形偏差更新决策。

所提出的框架采用两阶段解耦架构：
- 启发式快速上升阶段：采用启发式策略进行快速电流上升阶段，确保电流迅速达到目标值，从而高效启动塑性变形。
- DQN精细补偿阶段：采用深度Q网络在平顶阶段进行精细调度。代理动态优化后续模块的触发时机，以抑制由负载变化引起的振荡并补偿由模块故障导致的能量不足。

来自由300个PPS模块组成的系统的实验结果表明，所提出的框架在各种退化和故障场景下有效重建了放电时机。与传统的基于优化的方法相比，合成的电流波形更紧密地跟踪目标平顶轮廓，纹波显著减少，鲁棒性得到提高，从而在实际工业条件下增强了波形稳定性。

2. 脉冲电源仿真模型和故障分析
2.1. 脉冲成形网络（PFN）架构
脉冲成形网络（PFNs）[14]可以以多种拓扑配置实现；其中最广泛采用的架构是由多个脉冲电源模块并联组成的电容器组能量存储系统。在这种框架中，每个脉冲电源模块通常集成了关键组件，包括能量存储电容器、硅控整流器（SCR）、脉冲整形电感器和自由轮二极管，并配备了电流/电压传感器以及驱动、保护和控制电路等辅助功能子模块。单个模块的等效放电电路如图1所示。一旦SCR被触发导通，电容器组开始向负载放电，电容器端电压随时间逐渐降低。为了防止反向电压对电容器造成应力并可能损坏设备，引入了自由轮二极管（或二极管堆栈）来保护电容器组。该二极管堆栈作为与电容器并联的双向短路保护支路。当电容器电压放电后降至零并趋于反向时，二极管堆栈自动导通，使存储在脉冲整形电感器中的剩余能量通过自由轮路径释放，从而避免电容器反向充电[15]。

在实际工程应用中，所需的兆安（MA）级总电流由大规模脉冲成形网络（PFN）生成，该网络由多个脉冲电源（PPS）模块组成，这些模块根据预定义的调度顺序依次触发。在大型航空航天制造场景中（例如薄壁燃料箱圆顶或整体机身面板的电磁校准），随着变形的进行，负载电感会显著变化。同时，长时间的工业运行不可避免地会导致组件老化、电容器退化、初始电压下降和随机开关故障，从而产生复杂且随时间变化的系统动态[5,6]。更重要的是，电磁成形过程涉及强几何非线性。随着工件发生剧烈变形并相对于驱动线圈移动，系统的等效电感会发生显著的时间变化漂移。这种动态耦合使得使用预先计算的序列维持稳定的平顶电流变得极其困难。如果电流在成形过程中波动、振荡或尖峰，将直接影响磁加载的均匀性，导致塑性变形不均匀、起皱或校准不足，甚至可能对昂贵的工件或线圈结构造成永久性损坏。因此，在这种复杂的非线性负载和组件退化条件下实现PPS放电时机的精确自适应控制，对于大规模QSEF设备的实际应用至关重要[7,8,9,10]。

在当前研究中，脉冲电源放电时机的控制主要通过优化算法、模糊控制和基于DSP的硬件实现方法来实现。遗传算法（GAs）[11]常用于脉冲电源系统中触发时机的离线优化。这些算法利用数值模型（例如MATLAB/Simulink R2024a）通过调整参数（如种群大小和变异概率）来迭代求解最优解。然而，GAs计算密集、对初始模型精度高度敏感，并且实时性能较差，不适合处理由工件变形引起的在线参数漂移。模糊控制方法[12]已被用于PFN触发序列，其中误差信号通过隶属函数映射到控制输出。虽然这种方法在峰值电流误差相对较低的线性负载实验中得到了验证（0.16%至6.1%），但它严重依赖于基于经验的规则构建。其适应电磁成形负载强非线性的能力有限，且在模块故障条件下的鲁棒性往往不足。基于DSP的系统[13]侧重于硬件接口设计和顺序逻辑控制。尽管在固定负载的实验室环境中有效，但大多数实现仅限于离线固定定时策略，缺乏在线适应和多故障处理的智能。因此，迫切需要能够学习系统动态的智能算法来提高实时鲁棒性。

为了解决这些挑战——特别是电容器退化、变形引起的电感漂移和模块故障——本研究提出了一种分阶段深度强化学习（Staged-DQN）自适应控制框架。电磁放电调度过程被构建为一个短视界顺序决策问题，允许代理通过与系统环境的交互学习最优模块触发策略。与传统基于优化的方法不同，DQN代理在在线反馈循环中运行，并根据实时波形偏差更新决策。

所提出的框架采用两阶段解耦架构：
- 启发式快速上升阶段：采用启发式策略进行快速电流上升阶段，确保电流迅速达到目标值，从而高效启动塑性变形。
- DQN精细补偿阶段：采用深度Q网络在平顶阶段进行精细调度。代理动态优化后续模块的触发时机，以抑制由负载变化引起的振荡并补偿由模块故障导致的能量不足。

3. 实验结果
来自由300个PPS模块组成的系统的实验结果表明，所提出的框架在各种退化和故障场景下有效重建了放电时机。与传统的基于优化的方法相比，合成的电流波形更紧密地跟踪目标平顶轮廓，纹波显著减少，鲁棒性得到提高，从而在实际工业条件下增强了波形稳定性。基于计算机的控制平台为每个模块内的硅控整流器（SCR）提供精确的导通命令，使模块能够根据预定义的调度顺序依次放电，从而产生所需的总电流输出。多个脉冲功率模块并行、时间顺序放电的等效电路如图2所示。图2显示了多级脉冲电源模块的并行拓扑结构。该系统由????个模块组组成，每个模块组包含????个模块。所有模块在结构上都是并联连接的，通过选择性地激活不同的模块组来满足整体电流需求。模块系统的总输出电流??total?(??)可以表示为：
?????????????????(??)=????∑??=1?????(???????)。
(6)
其中?????(??)表示第??个组在时间??时的输出电流，????是该组开始放电的触发时刻。每个组的电流贡献是由该组内所有子模块的联合放电产生的。

因此，影响整体电流波形的因素可以分为两个主要方面：
(1)模块组件的固有电气参数，如电容、电感、等效串联电阻（ESR）和自由轮二极管的前向电压降。这些参数决定了单个模块产生的放电电流的峰值幅度、脉冲宽度和衰减特性。
(2)模块间的放电调度策略，即不同模块/组之间的触发时刻分配。由于在工程实践中脉冲功率模块通常具有固定的内部电路参数，实时波形塑造主要通过优化触发调度来实现，而不是通过调整电路参数。

通过合理规划模块/组的触发顺序，可以显著改善总电流的上升行为、平顶持续时间和衰减平滑度，从而满足大规模电磁成形和校准应用中对波形稳定性和调节精度的整体要求。

2.2 故障影响估计
在脉冲电源系统中，软故障是长期运行过程中常见的退化模式。它们通常表现为关键功率组件在高电应力或热应力下的逐渐参数漂移，其中组件值逐渐超过容差限制，但不会立即导致功能丧失。因此，软故障往往在早期阶段被掩盖、累积且难以检测[19]。一般来说，脉冲电源系统中的故障可以分为硬故障和软故障。硬故障与突然且严重的参数变化相关，这些变化会显著损害或中断放电过程，而软故障主要表现为适度的参数偏差，虽然保持了基本的放电能力，但降低了性能。

在大规模电磁成形和校准系统中，软故障会持续改变单个模块的放电特性，包括峰值电流、脉冲宽度和衰减行为。当多个退化的模块通过时间顺序叠加时，这些偏差会累积并直接恶化合成的准平顶电流，导致平顶波动、电流不足或过冲。除了软故障外，本研究还考虑了模块级故障，即被触发的模块不产生输出电流。这种故障表现为总电流波形中的阶梯状不连续性，如果调度策略不能及时补偿，可能会导致明显的电流不足和成形质量下降以及操作安全裕度的降低。

为了定量评估故障对单个模块放电电流特性的影响，在仿真中引入了三种代表性的软故障模式，包括电容退化、电感退化和初始电压下降。表1总结了仿真模型中使用的单个PFU模块的电气参数。表1列出了脉冲电源的物理参数。采用物理参数扰动策略进行故障注入。具体来说，在不改变电路拓扑的情况下，对单个模块的关键参数施加比例偏差，以生成可控且可重复的软故障样本。设标称（正常）模块参数为?? ={??, ??, ??0}；相应的故障参数定义为
??′=???(1?????), ??′=???(1?????), ??_0′=??0?(1?????)。
(7)
其中????、????和????分别代表电容退化、电感退化和初始充电电压降低的相对程度。表2总结了用于故障注入的参数范围。表2列出了脉冲电源模块的故障注入范围。为了确保分析的一致性，使用了相同的放电触发时刻和负载条件，并且只改变了一个物理参数，以获得图3所示的比较曲线。图3比较了在不同故障条件下脉冲电源模块的电流波形：(a) 电容故障；(b) 电感故障；(c) 电压故障。

电容退化：当??减小时，存储的能量和相关的时间常数都会减少，导致峰值电流和脉冲宽度同时减小。电流衰减也更快，如图3a所示，从而削弱了维持平顶段的能力。
电感退化：当??减小时，系统的自然频率增加，产生更陡峭的上升沿和更早的电流峰值。同时，自由轮阶段的衰减加速，导致整体波形更尖锐，并且更容易引起振荡，如图3b所示。
电压下降：初始充电电压??0的降低主要表现为电流幅度的近似比例减少。尽管波形形状只有轻微影响，但可用的电流裕度显著减少，从而增加了电流不足的风险，如图3c所示。
模块故障：对于完全失效的模块，故障被建模为零输出电流，???(??) =0。在多模块叠加中，这种故障会在总电流波形中引入阶梯状间隙，特别是在上升和平顶期间，导致明显的电流不足。因此，调度算法必须通过调整剩余模块的触发时刻来提供故障补偿能力，以恢复目标梯形电流轮廓。

总之，软故障和模块故障通过两种不同的途径降低了梯形总电流波形的平顶质量，即单个模块的波形失真和叠加电流贡献的丧失。

3. 基于故障感知的DQN放电调度和电流调节
3.1 强化学习控制问题的构建
大规模电磁成形中脉冲电源的放电调度本质上是一个短视期的顺序决策问题。总电流是由在不同时间触发的多个模块组的放电电流叠加而成的。因此，即使触发时间的微小变化也会显著影响峰值电流、上升斜率和平顶纹波。实际上，由于组件老化和故障（如电容衰减、变形引起的负载电感漂移、充电电压降低以及偶尔的模块故障）的变化，情况变得更加复杂，这些变化会改变每个组的有效输出。因此，为标称模型离线优化的触发调度很快可能变得次优，当故障模式发生变化时，通常需要重新调整或重新优化基于模型的启发式方法。

形式上，调度问题的总体目标是在确保输出电流在平顶阶段稳定跟踪目标水平的同时，实现快速电流建立。这可以等效地转化为以下多目标优化问题：
min????????=?????r?e?a?c?h+???∫????????∣???(??)????t?a?r?g?e?t∣?d???+???R?I，
(8)
其中??r?e?a?c?h表示电流首次进入目标容差带的时间；?? =[??1,??2,…,????]表示触发时刻；第二项衡量平顶阶段的跟踪误差（从时间????到????）；R?I表示平顶电流的纹波指数；??、??、??是权重系数。

在这种背景下，强化学习（RL）似乎非常适合基于反馈的调度，因为它可以在没有显式建模的情况下学习补偿干扰。然而，直接将基本的端到端DQN应用于整个放电过程存在重大挑战。电流的“上升阶段”对触发时刻非常敏感；在早期训练中，标准DQN固有的随机探索往往会导致严重的过冲或无法达到目标，从而导致奖励稀疏和收敛不稳定。此外，要求单个网络同时掌握“激进”的快速上升逻辑和“微妙”的平顶调节，大大增加了探索空间和学习负担，通常会导致次优的局部最小值。

为了克服这些限制，我们提出了一种分阶段DQN策略，将基于模型的启发式方法与数据驱动的学习相结合。控制过程分为两个不同的阶段：
(1) 启发式阶段：使用已建立的物理规则快速建立电流并识别第一个峰值附近的关键触发点，确保稳定的初始条件。
(2) DQN阶段：专注于平顶期间的电流不足补偿和振荡抑制。

通过免除代理学习基本上升动态的任务，这种架构大大减少了搜索空间，并提高了训练稳定性和故障容忍度。

3.1.1 故障感知的MDP构建
我们将电磁成形中脉冲电源的放电调度视为一个固定步长的顺序决策问题。环境以采样间隔Δ???进行演变；在每一步中，它更新触发的模块组集合并计算相应的总电流。一个剧集只有在满足以下所有条件时才结束：(i) 所有20个组都被激活；(ii) 仿真达到预定的时间范围；(iii) 所有激活组的放电电流衰减到预定义的阈值以下。这个终止规则确保每个轨迹覆盖完整的放电过程。

因此，PFU调度任务被构建为一个马尔可夫决策过程（MDP）[20]，? =???,??,??,??,???，其中??是状态空间，??是动作空间，???(??′ ∣??,??)是在状态??采取动作??后转移到下一个状态??′的概率分布，??是奖励函数，??是折扣因子。

在时间步长??，代理观察状态???? ∈??并选择一个动作???? ∈??。然后环境根据???(? ∣????,????)转移到????+1，并返回即时奖励???? =???(????,????)。目标是最大化预期折扣回报，
????=∞∑??=0?????????+??。
(9)
其中?? ∈(0,1)平衡了快速收敛到目标电流和长期平顶稳定性。

在这项工作中，动作空间是二元的：
????={1,t?r?i?g?g?e?r,0,u?n?t?r?i?g?g?e?r。
(10)
状态????用于捕捉电流响应和剩余的驱动资源。它包括短期电流测量及其时间变化、激活和可用组的比例以及与参考电流的偏差。通过这些特征，代理可以跟踪局部动态，预测短期电流演变，减少过冲并提高平顶稳定性。

3.1.2 贝尔曼最优性和分阶段DQN训练方案
动作-价值函数?????(??,??)表示在状态??采取动作??并随后遵循策略??所获得的预期折扣回报。最优动作-价值函数????(??,??)满足贝尔曼最优性方程[21]：
????(??,??)=???[??+???max??′?????(??′,??′)]。
(11)
在当前问题中，状态空间是高维且连续的，这使得表格Q学习不切实际。因此，采用深度神经网络来近似动作-价值函数，从而得到深度Q网络（DQN）控制器。

具体来说，DQN使用由??参数化的神经网络，表示为???(??,??;??)，来近似????(??,??)。为了提高训练稳定性，采用了经验回放和目标网络。每次交互都存储在回放缓冲区中，作为元组
(????,????,????,????+1,???????????)，
(12)
并随机抽取小批量以减少训练样本之间的时间相关性。另一个带有参数???的目标网络定期更新，通过从在线网络复制来构建稳定的时间差（TD）目标。训练目标是均方TD误差：
??(??)=???[(????????(????,????;??))2，
(13)
其中TD目标由以下公式给出：
????=????+???(1????????????)?max??′????(????+1,??′;???)。
(14)
在线参数??通过基于梯度的优化进行更新，使控制器能够在不同的电流偏差和故障干扰下逐步学习稳健的触发策略。

动作选择遵循??-贪婪策略来平衡探索和利用：以概率??随机选择一个动作；否则，选择最大化预测Q值的动作。随着训练的进行，探索率??根据预定义的调度逐渐降低，从而促进策略收敛并产生更稳定的触发序列。

3.2 两阶段放电调度策略
为了满足大规模电磁成形中的两个关键要求——快速达到目标电流和保持稳定的平顶——我们采用了两阶段放电调度策略。第一阶段依赖于启发式方案来快速确定当前状态并识别关键的触发时刻，而第二阶段则使用深度Q网络（DQN）在电流下降时进行精细补偿。其基本原理是，在上升阶段，速度是主要需求，同时需要限制超调，此时基于规则的策略是高效且可靠的。相比之下，在平顶阶段，电流的偏差受到组件退化和模块故障等不确定性的更强影响，因此需要反馈驱动的适应性修正。通过将快速上升阶段与强化学习决策分离，DQN无需探索整个时间范围，从而大大减少了搜索空间并提高了训练稳定性。控制架构如图4所示。

3.2.1 第一阶段：启发式快速上升和峰值抢先触发
在每个剧集开始时，环境首先估计在?? =0时刻同时触发的模块组数，以便尽快将总电流提升到目标水平。设??peak,mod表示单个模块的峰值电流，????表示每组的模块数量。组级峰值电流可近似为??peak,grp =??peak,mod × ????。然后选择初始同时触发的组数为：
??0=??????????????,???????，
(15)
并在时间零点触发前??0组模块，以快速建立电流。

随着模拟的进行，通过比较连续的电流样本来识别第一个峰值。当????
在检测到峰值后，如果继续使用固定规则触发组可能会引入超调并加剧振荡。为了减轻这种影响，同时使峰值区域的电流尽可能接近参考值，环境会在区间[0, ??peak]内评估一组候选触发时刻。选择使峰值周围跟踪误差最小的时刻作为第(??0 +1)组的触发时间????0+1，并将其添加到调度序列中。这种峰值抢先机制改善了上升阶段的电流形状，并为第二阶段的平顶调节提供了更有利的初始条件。

3.2.2 第二阶段：基于DQN的精细补偿调度
第二阶段的目标是在平顶区间内补偿电流不足和抑制振荡。当组件退化或模块故障降低有效输出能力时，必须适应性调整后续组的触发时刻，以保持总电流接近参考值并保持波形平滑。

为了防止DQN在上升阶段引入不稳定的探索行为，仅在识别到第一个峰值后允许代理进行干预。因此，最早的干预时间设置为：
??????????=?????????????+Δ???。
(16)
从??D?Q?N开始，DQN不会在每个模拟步骤中都采取行动。相反，应用了一种门控机制，只有在电流进入下降趋势并低于目标水平时才做出决策。这种设计专注于学习何时触发额外组以补偿电流不足的问题，减少了不必要的切换动作，并提高了样本效率。

一旦满足门控条件，DQN的输出直接映射到实际的触发操作。如果代理选择触发，则当前时刻被添加到触发调度中，下一组开始放电；否则，当前触发配置保持不变。通过这种方式连续调整触发时机，学习到的策略可以补偿电流不足，同时避免可能导致二次振荡的过于频繁的触发。

3.3 DQN精细补偿阶段的实现细节
第3.1节建立了PFU调度的MDP模型，第3.2节将控制过程进一步分为两个阶段：启发式快速上升阶段和基于DQN的精细补偿阶段。一旦第二阶段开始，代理必须根据当前反馈决定是否在故障引起的干扰和时变参数下触发下一个模块组，以使总电流尽可能接近参考值，同时保持稳定的平顶。为了确保训练期间的可靠收敛性和在不同操作条件下的良好泛化能力，本节详细介绍了状态空间构建、状态预处理、转换机制和奖励函数的实际实现。

3.3.1 状态空间
一旦第二阶段开始，DQN的决策完全依赖于观察到的状态向量????。状态设计仅包含与调度真正相关的信息：它应该反映当前的跟踪误差，指示电流的演变情况，并量化剩余的驱动能力。根据这一原则，我们构建了一个22维的状态向量，包括短期电流历史、与变化相关的特征、资源利用率指标和趋势信息。这种表示方法捕捉了局部电流动态，并间接反映了由于退化或故障引起的有效输出能力的变化，从而为触发决策提供了更可靠的基础。

为了提高训练稳定性和在不同操作条件下的泛化能力，所有状态变量在输入网络之前都进行了无量纲化、平滑处理和裁剪。设??target表示目标电流，Δ???表示采样间隔，????表示模块组的总数，????表示时间??时的总电流。

(1) 基本量和预处理
首先按以下方式对电流进行归一化：
????=????/??target，????∈[0,∞)。
(17)
由于放电过程可能会出现尖峰或数值抖动，直接使用????可能会放大噪声并妨碍学习。因此，我们应用指数加权移动平均（EWMA）：
~????=???????+(1???)?~?????1，??∈[0.2,0.5]。
(18)
为了描述局部趋势，我们引入了一阶差分作为与斜率相关的特征：
Δ?????=~?????~?????1Δ???/??0，??0=??target。
(19)
这里，Δ???/??0为训练提供了统一的缩放。为了防止异常值引起的梯度不稳定，Δ?????被对称裁剪：
Δ?????←clip?(Δ?????,???Δ,??Δ)，??Δ=0.2。
(20)
此外，使用趋势符号来指示电流是在上升还是下降：
trend??=sgn?(Δ?????)∈{?1,0,1}。
(21)
包含差分和趋势相关项是因为它们对波形变化（例如，峰值附近的转折点、平顶涟漪和衰减率）敏感。在实践中，这些特征通常比单独的瞬时电流更能清晰地指示是否触发下一组以及避免不必要的振荡和过度触发。

(2) 时间窗口和短期记忆
单点观察无法捕捉放电过程的相位依赖性；例如，仅根据????很难区分系统是处于上升、平顶还是衰减阶段，可能会错过超调或电流不足的早期迹象。因此，我们在状态中保留了一个短的历史窗口，以提供对近期动态的有限记忆。与实现一致，电流历史为10维，斜率历史为9维：
???=[~?????9,…,~????]，????=[Δ??????8,…,Δ?????]。
(22)
这个选择足够覆盖从一个放电事件到平顶再到衰减的典型转变，同时避免了过长窗口可能导致的延迟和冗余。

(3) 资源利用率和剩余驱动能力
在平顶补偿期间，是否触发下一组不仅取决于瞬时跟踪误差，还取决于剩余的可用组数。为了明确表示这一约束，我们包括了资源利用率特征：
??act,??=??act,??????，??free,??=1???act,??，
(23)
其中??act,??是已经激活的组数。这一互补对反映了调度余量，有助于代理在严重故障或持续电流不足的情况下更早和/或更频繁地触发，从而降低资源耗尽导致不可逆电流不足的风险。

(4) 瞬时形状和误差特征
为了使策略能够直接感知跟踪性能，我们结合了相对误差和目标比率：
????=~?????1/????，??=~????，
(24)
我们保留了趋势指示器t?r?e?n?d??来反映电流的演变方向。这些特征共同提供了偏差的大小以及电流是接近还是远离目标的信息，有助于减少不必要的触发和二次振荡。

(5) 状态向量定义和裁剪
结合上述特征，最终的22维状态向量定义为：
????=[????10,?????9, ??free,??, ??act,??, ????,??, trend??]。
(25)
为了稳定训练，每个维度都进行了裁剪和归一化（例如，线性缩放到[?1,1]或标准化为零均值和单位方差）。在存储到重放缓冲区之前，像瞬态尖峰这样的异常值会被平滑处理（例如，通过中值滤波），这减少了值估计中的噪声偏差，通常提高了收敛性并减少了过度估计。

3.3.2 状态转换函数（??）
在状态????中执行动作????会通过确定当前时刻是否激活下一个模块组来更新触发序列，并在激活时分配其触发时间。这种变化修改了组放电电流的时移叠加，从而产生新的总电流响应。更新后的电流波形反过来决定了下一个状态的构建方式，包括历史窗口的滚动、差异特征的重新计算和资源利用率指标的更新。因此，状态转换可以表示为：
????+1=???(????,????)。
(26)
当单组放电波形和叠加机制固定时，下一步的电流响应和结果状态更新由物理模型和触发序列唯一确定。在组件退化或模块故障的情况下，转换会发生变化，因为某些组的有效输出能力或波形参数发生了变化。因此，在不同的故障配置下，相同的动作可能导致不同的电流轨迹。在训练过程中纳入这些不确定性有助于代理学习反馈驱动的补偿行为，从而在受故障影响的操作条件下提高鲁棒性。

3.3.3 奖励函数（??）
第二阶段的目标不是最大化电流幅度，而是调节总电流，使其在剩余组数有限且由于退化或故障可能导致有效输出减少的情况下仍接近参考值并保持平滑的平顶。因此，奖励函数旨在同时反映跟踪精度和波形质量：跟踪误差应小，短期波动应被抑制，超调应避免。此外，触发动作会产生实际成本（例如，增加的切换压力、能量冲击和二次振荡的风险）。因此，奖励不鼓励过度频繁的触发；否则，代理可能会试图通过频繁切换“强制”电流达到目标，这可能会加剧平顶涟漪。

(1) 跟踪误差项
为了使奖励与参考值幅度无关，奖励基于归一化的电流~???? =????/??target来定义。相对跟踪误差如下：
????=~?????1。
(27)
采用线性绝对误差惩罚：
??trk?(??)=??? |????|。
(28)
与平方误差相比，线性形式在大偏差下不那么激进，通常会产生更稳定的梯度，同时对目标附近的小误差仍然敏感。

(2) 平滑性项
仅使用跟踪项可能导致“触发–撤回–再次触发”的行为。为了减少这种抖动，引入了平滑性惩罚来惩罚短期变化。涟漪强度由一阶差分表示：
Δ?~????=~?????~?????1Δ???/??0，??0=??target，
(29)
相应的惩罚如下：
??rip?(??)=??? |Δ?~????|。
(30)
这一项鼓励实现类似跟踪性能但涟漪较小的策略，从而实现更平滑的触发节奏。

(3) 带内奖励和超调惩罚
为了明确促进平顶维持，定义了一个可接受的容忍范围????（例如，±5%）。当电流保持在范围内时，提供小的正奖励（或相应地，减轻惩罚）：
??band?(??)={+??,|????|≤????,0,否则。
(31)
同时，超出上限的超调会受到更严厉的惩罚，以防止过度激进的补偿：
??os?(??)={??? (?????????),????>????,0,否则。
(32)
这种“带内鼓励+带外惩罚”结构自然地将学习目标从仅仅达到目标转变为在不必要的驱动下维持目标，这对平顶稳定性有益。

(4) 动作成本项
为了反映实际的触发成本并抑制不必要的切换，添加了一个可选的动作惩罚：
??sw?(??)=??? ????，
(33)
其中???? =1表示触发下一组。这一项不会改变总体补偿方向，但它通过抑制收益微小的触发来促进更保守的调度。

(5) 总奖励和尺度控制
第二阶段的瞬时奖励定义如下：
????=??trk?(??)+??rip?(??)+??band?(??)+??os?(??)+??sw?(??)。
(34)
为了稳定训练，奖励幅度被限制在一个范围内。在实践中，这可以通过剪辑 ∣Δ?~???? ∣ 来实现，限制 ??、??、??、??、?? 的比例，并在必要时对 ???? 进行额外的剪辑，以防止偶尔出现的尖峰导致较大的 TD 误差。3.3.4 决策门控机制的动作空间和实现 在第二阶段，控制目标可以简化为单一决策：是否在当前时间步触发下一个模块组。因此，动作空间被定义为一个二进制集合 ???? ∈{0,1}，其中 ???? =1 表示触发下一个组开始放电，???? =0 表示保持当前的触发配置不变。这个定义与实际的 SCR 触发逻辑一致，得到的动作序列可以直接映射到模块组的触发时间表上，这有助于模拟的再现和潜在的硬件部署。为了与第 3.2 节中的两阶段策略保持一致，Staged-DQN 并不是在每个物理模拟步骤都做出决策。在上升阶段，波形对触发时刻非常敏感，早期训练中的探索性动作可能会引入不必要的切换并扭曲当前的形状。相比之下，真正需要补偿的时刻通常发生在第一个峰值之后，当电流开始衰减并且出现欠流趋势时。因此，在第二阶段引入了一个决策门控机制，以将 Staged-DQN 的干预限制在控制相关的间隔内。这提高了样本效率，并产生了更好地反映工程“按需补偿”原则的时间表。门控逻辑直接与第一阶段的峰值定位相关联。只有在识别出峰值之后，Staged-DQN 才被允许进行干预，最早的激活时间表示为 ??D?Q?N。对于 ?? ≥??D?Q?N，只有当电流呈下降趋势并低于目标值时，才会打开决策窗口。在这样的窗口内，如果 ???? =1，则将当前时间添加到触发序列中，并将下一个组添加到激活集合中；如果 ???? =0，则不发出新的触发命令，模拟继续进行。为了防止无效操作，环境还会检查剩余的可用组；一旦所有组都被激活，触发命令将被忽略。这种实现清晰地将决策与物理叠加分开。策略网络只输出“触发”或“保持”，而环境则维护触发列表并通过所有激活组的放电响应的时间移位叠加来计算总电流。因此，得到的触发时间列表既是学习到的调度行为的直接表示，也是离线验证或工程控制的可用输入。由于决策只在选定的时间点发生，如果在每个物理步骤都返回奖励，将会产生许多奖励变化的转换，从而稀释学习信号并增加价值估计的噪声。因此，我们采用了“物理步骤演化与决策时间结算”方案。环境以固定的步长 Δ??? 推进电流动态，并在每个步骤计算瞬时跟踪和涟漪惩罚（第 3.3.3 节），但在非决策步骤期间累积这些量。一旦达到下一个决策窗口，累积的回报就被分配为该转换的奖励 ????，并重置累积器。这种处理有效地将一个时间间隔内的性能归因于之前的触发决策，产生了更集中的训练信号，并通常提高了收敛性和策略稳定性。与门控机制一致，经验样本只在决策事件时构建和存储。当满足门控条件并执行动作时，记录一个有效的转换，表示为 (????,????,????,????+1,???????????)，其中 ???? 是上述的累积回报，????+1 是动作执行和环境推进后的更新状态。与逐步存储相比，这些事件对齐的样本具有更清晰的语义，集中在关键的欠流补偿段上，并表现出较弱的时间相关性，这更符合 Staged-DQN 训练背后的假设。在学习过程中，小批量仍然以固定频率从重放缓冲区中采样，而缓冲区只在决策事件时填充，确保训练主要使用与控制相关的经验。4. 实验 4.1 实验设置和评估指标 为了验证所提出的两阶段调度策略在不同目标电流和故障干扰下的有效性，我们开发了一个大规模脉冲电源仿真平台。该系统由 ???? =20 个并联连接的模块组组成，每个模块组包含 ???? =15 个脉冲电源单元，总共 300 个模块。仿真以固定的时间步长 Δ??? =0.01? ms 离散化，每个剧集持续 ?? =10 ms。控制器输出模块组的触发时间序列，可以直接映射到实际应用中的 SCR 火门命令，确保仿真结果具有清晰的物理可解释性和工程相关性。为了反映实际操作中不可避免的组件老化和参数漂移，我们在电容、脉冲整形电感和预充电电压中引入了退化。同一个模块内可以同时发生多种退化类型，多个模块也可能完全失效。故障范围和相关约束在第 2.2 节中指定；这里使用相同的设置。具体来说，在每个剧集开始时，随机生成一个满足这些约束的故障配置，以模拟放电响应的不确定干扰，并评估所提出的控制策略的鲁棒性。鉴于航空航天组件的不同制造工艺规范可能需要不同的电流水平，目标电流 ??target 被视为一个外部变量，并在几个代表性幅度上进行评估。对于每个 ??target，考虑了两种情况：一种是所有模块都使用额定参数的标称情况，另一种是在第 2.2 节的约束下注入参数退化和/或故障的故障情况。为了减少偶然故障位置的影响，故障情况通过重复的随机试验进行评估：对于每个 (??target,fault level) 组合，生成并模拟多个独立的故障配置，并使用统计摘要（例如，平均值 ± 标准差或百分位数区间）报告评估指标。退化模块的数量和失效模块的数量被视为测试矩阵中的可控因素，从而涵盖了稀疏退化、多点退化和接近真实工程环境的混合退化-故障情况。为了验证所提出方法的有效性，我们将其与粒子群优化（PSO）算法进行了比较，在故障条件下，我们还将其与原始的深度 Q 网络（DQN）算法进行了比较。评估指标的定义 本研究的控制目标强调 (i) 快速达到目标电流和 (ii) 达到目标后抑制波动。因此，性能评估关注两个方面：可达性和达到后的跟踪/振荡行为。(1) 首次达到目标带的时间 ??reach 为了量化电流积累速度，我们定义了首次达到目标带的时间 ??reach。给定一个容忍带 ±??（在本工作中 ?? =5%），??reach 定义为 ??reach=min?{??∈[0,??] |?∣???(??)???target∣≤?????target}. (35) 较小的 ??reach 表明策略可以更快地将总电流驱动到目标附近，这对于需要快速建立目标磁压力的大规模电磁成形应用至关重要。(2) 跟踪误差指标：RMSE/MAE/MAPE 为了衡量电流在“有效控制区间”内跟随目标的紧密程度，我们计算 RMSE、MAE 和 MAPE。由于在积累阶段之前的大误差在物理上是不可避免的，包括整个时间范围在误差计算中可能会掩盖达到目标后的控制质量。因此，误差指标是在从 ??reach 开始的评估窗口内计算的： ??=[??reach,???eval], (36) 其中 ??eval 是评估的统一截止时间（以避免自然衰减阶段的过度惩罚）。设 {????}????=1 表示在 ?? 内采样的电流序列。这些指标定义如下： R?M?S?E=√√ √ √ √?1?????∑??=1(???????target)2, (37) M?A?E=1?????∑??=1∣???????target∣, (38) M?A?P?E=100%?????∑??=1|???????target??target|. (39) 这三个都是误差类型的度量，其中较小的值表示更好的跟踪。RMSE 对大偏差更敏感，MAE 对异常值更鲁棒，MAPE 提供了不同目标电流水平之间的相对可比性。(3) 涟漪/振荡指标：涟漪指数（RI）为了量化达到目标后的短期波动，我们引入了一个涟漪/振荡指数 RI。由于高频振荡通常表现为相邻样本之间差异的增加，RI 定义为电流增量的归一化均方根： Δ?????=??????????1,R?I=1??target?√√ √ √ √?1???1???∑??=2(Δ?????)2. (40) 较小的 RI 表示电流轨迹更平滑，振荡较弱。这个指标补充了跟踪误差度量。具体来说，RMSE、MAE 和 MAPE 量化了跟踪误差的幅度，而 RI 反映了电流波动的强度。4.2 实验结果和分析 为了检验所提出的两阶段调度策略在不同电流水平下的可转移性，在标称和故障条件下测试了三个代表性的目标电流—3.8 MA、4.0 MA 和 4.2 MA。在所有情况下，放电涉及所有 20 个模块组（每组 15 个模块）。控制器输出模块组的触发时间序列，然后使用这些序列生成相应的总电流响应。4.2.1 在不同目标电流下的标称条件下的控制性能 本节比较了粒子群优化（PSO）算法和本研究中提出的分阶段深度 Q 网络（DQN）算法在三种代表性目标电流下的性能。控制器输出每个模块组的触发时间序列，然后根据这些序列获得系统的总电流响应。图 5a–c 分别展示了分阶段 DQN 算法在 3.8 MA、4.0 MA 和 4.2 MA 目标电流下生成的电流波形；图 5d–f 显示了 PSO 算法在相同目标电流下的电流波形。在图 5a–c 中，蓝色实线表示通过总和所有触发模块组的放电响应得到的实际总电流；在图 5d–f 中，绿色实线表示实际总电流，红色虚线表示参考电流 ???????????????????，粉色阴影区域表示 ±5% 的容忍范围，用于视觉检查电流是否保持在可接受的偏差范围内。图 5a–c 中的绿色阴影区域对应于评估窗口，而图 5d–f 中的蓝色阴影区域对应于评估窗口。评估窗口从电流首次进入目标电流范围的时刻开始定义，用于计算跟踪误差指标，包括均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）。图 5. 在不同目标电流设置下 PSO 和分阶段 DQN 的实验电流曲线：(a) 3.8 MA 时的分阶段 DQN；(b) 4.0 MA 时的分阶段 DQN；(c) 4.2 MA 时的分阶段 DQN；(d) 3.8 MA 时的 PSO；(e) 4.0 MA 时的 PSO；(f) 4.2 MA 时的 PSO。表 3 列出了与图 5 中显示的实验电流波形相对应的每个功率模块组的触发时间序列。表 3 中，Gx 表示第 x 组。具体来说，图 5a–c 对应的触发时间序列显示在表 3 的第 1、3 和 5 行，而图 5d–f 对应的触发时间序列显示在表 3 的第 2、4 和 6 行。表 4 报告了在三种目标电流设置下的关键性能指标。表 3. 标称条件下的模块组触发时刻（毫秒）。表 4. 极端标称条件下的性能比较指标（分阶段 DQN 对比 PSO）。从分阶段 DQN 算法（图 5a–c）获得的电流波形显示电流快速上升并平滑过渡到目标电流，实际电流在大部分评估窗口内保持在 ±5% 的容忍范围内（绿色阴影区域）。结果表明，分阶段 DQN 算法实现了更好的电流跟踪精度，如较低的均方根误差（RMSE）和平均绝对误差（MAE）值所示。具体来说，分阶段 DQN 方法在 3.8 MA 时的 RMSE 和 MAE 分别为 0.0803 MA 和 0.0621 MA，在 4.0 MA 时为 0.0767 MA 和 0.0606 MA，在 4.2 MA 时为 0.0516 MA 和 0.0416 MA。这些值证明了该方法在保持目标电流在可接受范围内的效率。相比之下，图 5d–f 中显示的 PSO 算法与目标电流的偏差略高，特别是在 4.0 MA 和 4.2 MA 时。PSO的RMSE和MAE值高于Staged-DQN算法，表明PSO方法在实现更精确的电流控制方面存在困难。例如，在3.8 MA时，RMSE和MAE分别为0.0772 MA和0.0628 MA；在4.0 MA时，这些值增加到0.1043 MA和0.0831 MA；而在4.2 MA时，它们分别为0.1190 MA和0.0973 MA。这表明，虽然PSO在较低的目标电流下表现相对较好，但随着目标电流的增加，其性能会下降。波纹指数（RI）反映了电流波形的平滑度，进一步支持了Staged-DQN算法的优越性能。Staged-DQN算法的RI范围从3.6409 ×10^-3到3.1661 ×10^-3，表明电流波动相对较小。相比之下，PSO算法的RI值略高，范围从3.8076 ×10^-3到3.5888 ×10^-3，意味着电流波形的波动较大。总体而言，Staged-DQN算法在准确性和波形平滑度方面都优于PSO算法。较低的误差指标（RMSE、MAE）和较低的RI值表明Staged-DQN方法提供了更精确和稳定的电流控制，这对于需要保持稳定电流波形以确保可靠和高效运行的系统特别有利。

4.2.2 在不同目标电流下的故障条件下的控制性能
本节展示了在故障条件下Staged-DQN算法与基线DQN算法的实验比较。对于每个故障模块，电感、电容和初始充电电压在预定义的衰减范围内随机扰动，从而产生组合故障条件。该故障场景包括20个故障模块。其中，17个故障模块在图6中显示，而另外三个模块（G08M06、G18M05和G03M13）完全失效，产生零电流。故障模块的详细参数衰减值列在附录A（表A1和表A2）中，“GxMy”表示第x组中的第y个模块。图6显示了故障电源模块的电流曲线。图7a-c分别展示了Staged-DQN算法在3.8 MA、4.0 MA和4.2 MA目标电流下的电流波形；图7d-f显示了DQN算法在相同目标电流下的电流波形。在图7a-c中，蓝色实线表示通过汇总所有触发模块组的放电响应得到的实际总电流；在图7d-f中，绿色实线表示实际总电流，红色虚线表示参考电流???????????????????，粉色阴影区域表示±5%的容差范围，用于直观检查电流是否保持在可接受的偏差范围内。图7a-c中的绿色阴影区域对应于评估窗口，而图7d-f中的蓝色阴影区域对应于评估窗口。图7显示了基线DQN和Staged-DQN在故障条件下的实验电流曲线：(a) 3.8 MA时的Staged-DQN；(b) 4.0 MA时的Staged-DQN；(c) 4.2 MA时的Staged-DQN；(d) 3.8 MA时的基线DQN；(e) 4.0 MA时的基线DQN；(f) 4.2 MA时的基线DQN。表5列出了与图6中显示的基线DQN和Staged-DQN算法的实验电流波形对应的每组电源模块的触发时间序列。在表3中，Gx表示第x组。具体来说，图7a-c对应的触发时间序列显示在表5的第1、3和5行，而图7d-f对应的触发时间序列显示在表5的第2、4和6行。表6报告了在三种目标电流设置下的关键性能指标。

(1) 波形跟踪和干扰抑制分析。如图7中的波形比较所示，能量不足是由3个故障模块引起的：
Staged-DQN（绿色区域）：它展示了出色的干扰抑制能力。尽管硬件能力受损，Staged-DQN仍能稳定地将电流维持在目标值附近，没有显著下降。波形保持平滑，波纹最小，表明成功抑制了由参数不确定性引起的振荡。
基线DQN（蓝色区域）：相比之下，基线DQN表现出明显的“锯齿”波动和平顶后半部分的下降趋势。这表明单个神经网络难以在故障条件下平衡快速上升的响应和精细的补偿，导致控制效果不佳。

(2) 基于表6的准确性定量评估。表6中的指标定量突出了Staged-DQN的优越性：
显著误差减少：在4.2 MA的高负载条件下，Staged-DQN的均方根误差（RMSE）仅为0.0689 MA，而基线DQN为0.1530 MA，减少了约55%。这证明了Staged-DQN在能量受限条件下更有效地分配资源。
相对误差的稳定性：尽管有20个故障点，Staged-DQN的平均绝对百分比误差（MAPE）仍保持在1.22%到1.86%之间，完全在设计要求范围内。相反，基线DQN的MAPE上升到2.55%~3.05%，未能满足高精度形成和校准要求。

(3) 基于表5的自适应补偿机制分析。表5揭示了处理故障模块时的策略差异：
Staged-DQN的自适应压缩：观察触发时刻，Staged-DQN（奇数行）在检测到故障引起的电流间隙时采用“密集触发”策略。例如，在4.2 MA时，Staged-DQN将最后一组（G20）的触发时间提前到4.09 ms（而基线DQN为4.16 ms）。这种策略通过压缩剩余健康模块的放电间隔有效地补偿了电流下降。
基线DQN的延迟响应：由于缺乏分阶段搜索的指导，基线DQN（偶数行）对故障的响应延迟。在3.8 MA时，其触发序列延长到4.77 ms，导致能量释放过于分散，无法维持平顶水平。

实验结果证实，在涉及故障和退化的复杂混合故障条件下，Staged-DQN表现出卓越的鲁棒性。它不仅防止了由故障引起的显著电流下降，还保持了与标称条件相当的跟踪精度，验证了“故障感知+分阶段控制”架构在处理系统非线性和不确定性方面的有效性。

4.2.3 在极端故障条件下的鲁棒性评估
本节旨在验证Staged-DQN框架在系统面临严重硬件损坏时的控制极限和自愈能力。实验建立了最苛刻的运行条件：在总共20组（300个单元）电源模块中，随机引入了25个故障模块。其中8个模块被配置为完全失效（输出电流=0，即硬故障），而其余17个模块表现出不同程度的电容、电感或电压退化（软故障）。图8通过17个故障模块的电流波形展示了故障场景。所有故障模块的详细参数衰减值列在附录B中的表A3、表A4和表A5中，“GxMy”表示第x组中的第y个模块。此外，8个故障模块（G17M08、G17M07、G07M11、G15M09、G04M01、G08M13、G19M11和G13M07）完全失效，因此产生零电流输出；相关细节也在附录B中给出。图9a-c分别展示了Staged-DQN算法在3.8 MA、4.0 MA和4.2 MA目标电流下的电流波形；图9d-f显示了基线DQN算法在相同目标电流下的电流波形。在图9a-c中，蓝色实线表示通过汇总所有触发模块组的放电响应得到的实际总电流；在图9d-f中，绿色实线表示实际总电流，红色虚线表示参考电流???????????????????，粉色阴影区域表示±5%的容差范围，用于直观检查电流是否保持在可接受的偏差范围内。图9a-c中的绿色阴影区域对应于评估窗口，而图9d-f中的蓝色阴影区域对应于评估窗口。表7列出了与图9中显示的基线DQN和Staged-DQN算法的实验电流曲线对应的每组电源模块的触发时间序列。在表7中，Gx表示第x组。具体来说，图9a-c对应的触发时间序列显示在表7的第1、3和5行，而图9d-f对应的触发时间序列显示在表7的第2、4和6行。表8报告了在三种目标电流设置下的关键性能指标。

(1) 波形跟踪性能分析。图9展示了两种算法在3.8 MA、4.0 MA和4.2 MA目标电流下的跟踪性能。
Staged-DQN的性能（绿色区域）：尽管有8个故障模块导致大量能量不足，Staged-DQN仍保持了出色的跟踪稳定性。如图所示，在平顶阶段，电流波形紧密围绕目标值（红色虚线）波动，并严格保持在5%的精度范围内，没有显著下降或超调。
基线DQN的性能（蓝色区域）：相比之下，基线DQN的波形出现严重振荡。特别是在4.2 MA的高负载条件下，算法无法有效调度剩余的健康模块，导致电流大幅下降和剧烈波动，表明无法维持平顶稳定性。

(2) 基于表8的定量评估。表8中的定量数据进一步证实了Staged-DQN的压倒性优势：
绝对精度的幅度差异：在典型的4.0 MA条件下，Staged-DQN的均方根误差（RMSE）仅为0.0658 MA，而传统DQN达到0.1501 MA。
相对误差的可用性边界：结果显示，Staged-DQN的平均绝对百分比误差（MAPE）保持在1.13%到1.80%之间，满足< 2%的工程要求。相反，基线DQN的MAPE上升到2.65%~3.52%，表明控制失败，无法满足严格的形式化和校准要求。
平滑度保持：尽管故障模块不可避免地增加了波形的阶梯性质，Staged-DQN的波纹指数（RI）保持在3.0~3.5 × 10^-3的范围内，显著优于基线DQN的4.2~4.5 × 10^-3。

(3) 基于表7的故障补偿机制分析。表7揭示了Staged-DQN“自愈”能力背后的时序逻辑。面对硬故障，Staged-DQN（奇数行）采用了一种独特的“密集触发”策略。以4.2 MA为例，在检测到前组能量不足时，Staged-DQN显著提前了第10到15组的触发时刻。通过压缩触发间隔，它增加了单位时间的能量释放密度。基线DQN（偶数行）缺乏这种自适应重建能力，其延迟的时序导致电流不可逆的下降。

第三组实验强烈证明了Staged-DQN框架在同时存在“软故障+硬故障”环境下的卓越鲁棒性。依靠其分阶段决策逻辑，代理即使在8个模块故障的极端条件下也能成功重建最佳触发路径，表现出强大的故障容忍度和适应性。

5. 结论
为了应对大规模准静态电磁成形和校准系统中高精度平顶电流调节的挑战，特别是在组件老化和模块故障的情况下，本研究提出了一种基于故障感知的分阶段深度强化学习控制框架（Staged-DQN）。通过理论建模和全面的比较评估，可以得出以下结论：
(1) 顺序决策制定和解耦控制架构。多模块脉冲电源系统中的放电调度问题被重新表述为在时变非线性负载下的短视距顺序决策过程。与传统的离线元启发式优化方法（如GA和PSO）相比，所提出的框架通过分阶段架构实现了在线自适应决策。将启发式快速上升阶段与基于DQN的精细补偿阶段相结合，可以提高学习稳定性，降低冷启动敏感性，并在动态负载变化下增强控制鲁棒性。(2)在标称条件下提高了波形跟踪性能。对于目标电流范围从3.8 MA到4.2 MA的情况，所提出的分阶段DQN方法与基于PSO的调度方法相比，实现了显著更高的跟踪精度。在高负载条件下，最小均方根误差（RMSE）为0.0516 MA（而PSO为0.1190 MA），平均绝对百分比误差（MAPE）约为1%。平顶纹波的减少和稳态精度的提高表明波形稳定性得到了增强，这直接与校准阶段更均匀的磁加载有关。(3)在严重和并发故障条件下的鲁棒性。在涉及25个退化模块的极端情况下，包括8个完全失效的模块，所提出的控制器通过自适应地在剩余模块之间重新分配触发序列来保持稳定的电流合成。MAPE保持在1.13–1.80%范围内，而基线DQN的偏差较大（2.65–3.52%）。这些结果证明了所提出框架在补偿软参数漂移和硬模块故障方面的有效性。(4)对电磁成形质量和工业应用的实际意义。平顶电流跟踪的改进直接转化为准静态电磁校准过程中成形质量的提升。由于施加在工件上的磁压力与电流的平方成正比，平顶纹波的减少和振荡的抑制有助于在保持阶段实现更均匀的磁加载。这提高了应力松弛的一致性，减少了局部欠成形或过载的风险，并在回弹后提高了尺寸精度。在大型航空航天制造场景中——例如薄壁燃料箱圆顶、整体机身面板或大型弯曲结构壳体的校准——标准的离线优化触发计划可能无法在变形引起的电感漂移或模块退化下保持稳定的电流水平。在这种情况下，所提出的分阶段DQN框架通过自适应地补偿实时干扰和模块故障，从而在不需要重复手动重新优化的情况下保持波形的完整性，提供了切实的好处。然而，目前的验证是在高保真模拟环境中进行的。未来的工作将集中在与物理成形平台的实验集成、考虑传感器噪声和执行器延迟，以及建立波形指标与成形质量指标（如尺寸偏差和残余应力分布）之间的定量联系上。