《Engineering Science and Technology, an International Journal》：In-situ data storage management for smart grid: A dynamic optimization approach based on Categorical Deep Q-Networks with Experience Replay
编辑推荐：
智能电网中智能终端设备的指数级增长引发了异构数据的激增，对高效的原位数据存储管理和实时处理构成了关键瓶颈。特别是在工业系统中，原位计算（in-situ computing）作为一种在本地或数据源附近进行数据处理的方式，已成为提高数据处理效率和响应能力的关键技术
智能电网中智能终端设备的指数级增长引发了异构数据的激增，对高效的原位数据存储管理和实时处理构成了关键瓶颈。特别是在工业系统中，原位计算（in-situ computing）作为一种在本地或数据源附近进行数据处理的方式，已成为提高数据处理效率和响应能力的关键技术之一。在智能电网环境中，原位服务器系统（in-situ server system）在终端数据源附近部署服务器集群，以实现原位数据的高效处理、存储和管理。为了优化智能电网中原位终端数据的管理，研究人员提出了一种规则引导的分类方法，结合分布式任务队列架构来组织和管理存储任务。此外，该论文引入了基于经验回放的分类深度Q网络（Categorical Deep Q-Network with Experience Replay, C51-ER）算法，以进一步优化存储任务的响应延迟，提高学习效率和响应决策的准确性。仿真结果表明，与传统算法和其他强化学习算法相比，所提出的方法在多个关键指标上表现更优：平均等待延迟降低了54.27%，平均未完成任务减少了69.53%，平均完成延迟降低了63.15%。该方法在智能电网和工业物联网（Industrial IoT）等原位计算场景中具有广泛的应用前景。
论文解读文章
**研究背景与问题**
随着智能电网中智能终端设备（如智能电表、变电站监控系统、智能传感器）的指数级增长，异构数据呈现大规模激增，对原位数据（in-situ data）的高效存储管理和实时处理构成了关键瓶颈。传统集中式云计算架构虽具灵活性，但在高度分布式的工业场景中，终端设备生成的数据需传输至远端云中心，导致传输延迟高、带宽消耗大，且难以满足毫秒级响应需求。现有边缘计算架构虽将部分任务卸载至边缘节点，但仍依赖不稳定的回程链路，且在极端边缘（如偏远风电场、输电塔）缺乏对原位存储约束的精细处理。当前存储管理策略存在两大根本性瓶颈：（1）缺乏粒度数据区分，采用先入先出（FIFO）单队列模型处理异构数据（如大容量视频备份与微秒级控制信号共存），导致头端阻塞（Head-of-Line blocking, HOL），关键实时任务被批量数据写入延误；（2）基于平均值调度的不充分性，标准强化学习（Reinforcement Learning, RL）算法（如DQN）优化期望平均回报，无法捕捉分布式能源间歇性导致的随机波动和尾部延迟风险。为应对这些挑战，研究人员提出了一种动态优化框架，旨在将原位存储从被动缓存缓冲转化为智能、风险感知的调度节点，保障异构任务的服务质量。该论文发表在《Engineering Science and Technology, an International Journal》。
**核心技术方法**（不超过250字）
研究人员为开展研究采用了以下关键技术方法：（1）规则引导的存储任务分类（Rule-Guided Storage Task Categorization, RG-STC）机制，通过多维度特征（频率、容量、安全需求）结合多变量逻辑回归与统计百分位分析，将存储任务分为高频更新任务（HUT）、类型敏感任务（TST）和大容量任务（LCT）三类；（2）分布式存储任务队列（Distributed Storage Task Queue, DSTQ）架构，通过独立队列物理解耦异构任务流，消除HOL阻塞并保障安全数据隔离；（3）基于经验回放的分类深度Q网络（Categorical Deep Q-Network with Experience Replay, C51-ER）算法，将Q值建模为离散支持点的概率分布（51个原子），替代传统期望最大化的标量估计，以捕捉收益分布，提升对波动环境的鲁棒性；（4）马尔可夫决策过程（Markov Decision Process, MDP）建模，将队列状态（AWL、AUT、ACL）映射至动作空间（选择队列出队），并通过负加权奖励函数引导优化；（5）仿真实验采用泊松分布（Poisson distribution）生成存储任务到达率，模拟真实场景的突发性，训练数据基于历史轮次滑动平均预测。
**研究结果**
研究人员通过仿真实验，在5000轮训练约束下，评估C51-ER与基线算法（随机选择）、DQN、双深度Q网络（Double DQN, DDQN）、决斗深度Q网络（Dueling DQN）在三个关键指标上的性能，结果如下：
- **平均等待延迟（Average Waiting Latency, AWL）**：通过记录每轮各队列未响应任务的平均等待时间，发现C51-ER在训练结束时将AWL降低至最低值，相比基线降低69.79%，相比DQN降低24.01%，相比DDQN降低69.10%，相比Dueling DQN降低54.16%。该结果表明，通过分布建模优化高延迟场景，C51-ER显著提升了响应速度与调度稳定性。
- **平均未完成任务（Average Unfinished Tasks, AUT）**：通过统计各队列未处理任务单元数量，C51-ER在训练结束时将AUT降低至最低水平，相比基线降低77.88%，相比DQN降低48.05%，相比DDQN降低81.74%，相比Dueling DQN降低70.43%。这表明C51-ER在减少队列积压、提升系统吞吐量方面表现优异，其经验回放机制有效捕捉了任务分布的不确定性。
- **平均完成延迟（Average Completion Latency, ACL）**：通过测量已响应任务从入队到出队的平均处理时间，C51-ER在训练结束时将ACL降低至最低值，相比基线降低70.22%，相比DQN降低39.10%，相比DDQN降低69.04%，相比Dueling DQN降低74.22%。这证实了C51-ER在任务延迟分布建模和精准策略学习上的优势，实现了最低且最稳定的完成延迟。
此外，收敛性分析显示，C51-ER的奖励曲线在约1500轮后达到稳定状态，而Dueling DQN和DDQN需3000–4000轮，表明C51-ER具有更高的样本效率和更快的收敛速度。计算成本分析表明，C51-ER虽因输出51个原子而略增GPU内存消耗（约142.1 MB），但总训练时间（320.4 s）相比DQN减少约45%，验证了其在资源受限原位服务器上的可行性。
**讨论与结论**
讨论部分指出，C51-ER通过分布式价值分布建模有效缓解了标准价值型RL（如DQN）在高波动环境中忽略尾风险的问题；RG-STC与DSTQ的组合从根源上消除了异构任务间的HOL阻塞，保障了安全隔离。未来工作将扩展至连续非情景学习场景，并探索多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）以实现多个原位服务器节点间的协同调度，从而达成更广电网边缘基础设施的全局优化。
研究结论部分翻译如下：该论文针对智能电网环境下数据异构与资源约束的挑战，提出了一种原位存储管理的动态优化框架。为有效管理多样化的终端数据，研究人员设计了规则引导的存储任务分类（RG-STC）机制，基于多维度特征对任务进行分类，并耦合分布式存储任务队列（DSTQ）架构以物理隔离流量、消除头端阻塞（HOL）。进一步，通过引入基于经验回放的分类深度Q网络（C51-ER），将调度范式从期望值最大化转变为价值分布建模，显著增强了系统对电网波动的鲁棒性。广泛仿真结果表明，该框架优于传统基线和最先进（SOTA）的价值型算法。定量对比显示，相较于先进的Dueling DQN算法，C51-ER将平均等待延迟（AWL）降低54.16%，平均未完成任务（AUT）降低70.43%，平均完成延迟（ACL）降低74.22%。这些结果证实，分布强化学习（distributional RL）方法有效优化了存储过程，在确保高频任务低延迟的同时，维持了系统在重负载下的稳定性。
