《Computer Networks》：Balanced and adaptive scheduling of battery digital product passports over IoT-oriented DLTs
编辑推荐：
数字产品护照（Digital Product Passports, DPPs）正成为数字循环经济（Digital Circular Economy, DCE）实践的关键使能要素，即将出台的法规将进一步规范其整合，而电池是首个官方应用场景。然而，其实际价值不仅取
数字产品护照（Digital Product Passports, DPPs）正成为数字循环经济（Digital Circular Economy, DCE）实践的关键使能要素，即将出台的法规将进一步规范其整合，而电池是首个官方应用场景。然而，其实际价值不仅取决于通过物联网（Internet of Things, IoT）技术获取数据的可用性，还取决于其随产品老化过程中的代表性状态。本工作提出BALS-D3QN，一种基于D3QN算法的平衡自适应调度器，旨在通过信息年龄不准确度（Age of Incorrect Information, AoII）指标决定何时应将DPP的电池数据更新并重新提交至外部DLT网络。此外，BALS-D3QN作为研究人员先前ABS-TD3方案的决策机制，通过复用Shimmer DLT最新观测到的提交延迟来实现延迟探索性更新。所提出的框架使用来自欧盟委员会（European Commission, EC）EPREL数据库中产品的模拟电池轨迹进行评估，并与关键基线进行比较，即连续更新、随机策略和周期性决策，反映不同类型的行为。结果表明，BALS-D3QN成功地将激进策略产生的拥塞影响最小化，与稀疏周期性决策相比最小化了AoII，并展现出与类似范围周期性情况相比更好的自适应行为。
数字产品护照（Digital Product Passports, DPPs）被视为数字循环经济（Digital Circular Economy, DCE）实践的关键使能要素，即将出台的法规将进一步正式规范其整合，电池作为首个官方应用案例。然而，其实际价值不仅与通过物联网（Internet of Things, IoT）技术获取数据的可用性相关，还与其随产品老化过程中的代表性状态相关。本研究提出BALS-D3QN，一种基于D3QN算法的平衡自适应调度器，旨在通过信息年龄不准确度（Age of Incorrect Information, AoII）指标决定何时应将电池数据更新并重新提交至外部分布式账本技术（Distributed Ledger Technology, DLT）网络。此外，BALS-D3QN作为研究人员先前ABS-TD3方案的决策机制，通过复用Shimmer DLT最新观测到的提交延迟来实现延迟探索性更新。所提出的框架使用来自欧盟委员会（European Commission, EC）EPREL数据库中产品的模拟电池轨迹进行评估，并与关键基线进行比较，即连续更新、随机策略和周期性决策，反映不同类型的行为。结果表明，BALS-D3QN成功地将激进策略产生的拥塞影响最小化，与稀疏周期性决策相比最小化了AoII，并展现出与类似范围周期性情况相比更好的自适应行为。
研究背景方面，数字循环经济的引入被视为工业流程效率以及绿色技术与实践优先化方面最重要的突破之一。数字产品护照被证明是此类循环流程的重要使能要素，因其旨在记录产品全生命周期的信息与数据而受到研究界、企业和政策制定者的关注。欧盟委员会已认识到DPP的影响，正在准备即将出台的循环经济法案并建立新的强制性应用政策。根据已决定的立法，DPP的实施从电池护照场景启动，并将于2027年强制实施。然而，由于DPP概念仍处于整合的早期阶段，具体实用方案的开发与成熟度仍不明确。理论上，关键使能技术已被广泛识别，即用于数据收集的IoT、用于数据智能处理与利用的人工智能（Artificial Intelligence, AI）以及用于安全不可篡改记录的DLT。同时，这些技术预期支持DPP的核心功能，如供应链透明度、生命周期可追溯性、基于循环性的决策和可持续性评估。此外，数据新鲜度是DPP有效功能的关键要求，考虑到需要由护照自动化特性构成的动态信息流。如果关键生命周期事件未及时反映，DPP将包含过时记录，降低其用于循环决策、利益相关者协调和法规合规的可用性。传统上，数据新鲜度概念主要在网络监测和无线传感器网络（Wireless Sensor Networks, WSNs）中形式化，核心指标包括关于数据及时性的信息年龄（Age of Information, AoI）、信息偏差（Deviation of Information, DoI）以及考虑源状态与接收端可用信息之间误差的AoII。然而，相应特征及其相关指标的利用在更广泛的生命周期数据基础设施（如DPP）中仍 largely 未被充分探索。此外，遵循此类原则的新鲜度感知系统和调度器仍受重要的策略限制，因为数据更新频率并不会自动改善整体系统和性能效率。因此，激进或僵化的更新策略可能产生冗余传输、拥塞和更高资源消耗，特别是当监测条件未发生显著变化以证明新数据更新合理性时。基于上述问题，研究人员开展了本项研究，提出了BALS-D3QN，一种基于对抗双深度Q网络（Dueling Double Deep Q-Networks, D3QN）的平衡自适应延迟探索调度器，旨在决定何时应将DPP的更新版本提交至DLT账本。具体而言，BALS-D3QN利用AoII来平衡数据新鲜度与更新频率，同时将ABS-TD3最新观测到的提交后延迟作为自适应更新时序的外生反馈。本研究的主要贡献通过智能手机电池DPP场景展示，受欧盟电池法规即将实施要求的驱动。总体而言，本工作通过AoII将DPP更新形式化为新鲜度感知调度问题，据研究人员所知，这代表了DPP时效性与此类数据新鲜度指标之间的首次明确关联。此外，通过作为ABS-TD3之前的决策层，BALS-D3QN复用最新观测到的提交延迟作为DLT条件的间接反馈。因此，所提出的调度器旨在提供信息新鲜度、提交负担、拥塞控制和延迟探索性更新时序之间的平衡自适应策略。研究的重要意义在于首次将DPP时效性与数据新鲜度指标明确关联，并展示了在统一自适应决策框架中联合考虑信息相关性、提交控制和外生DLT条件的可行性。
在技术方法方面，研究人员采用Python电池数学建模（Python Battery Mathematical Modeling, PyBaMM）模拟器生成基于EPREL产品属性的电池轨迹，使用锂离子单粒子模型（Single Particle Model, SPM）和Chen2020参数集，以固体电解质界面（Solid Electrolyte Interphase, SEI）生长作为退化机制，生成100条训练轨迹和7条评估轨迹。通过ABS-TD3机制向Shimmer DLT提交静态DPP（约182 kB），收集500个训练延迟和1300个评估延迟。BALS-D3QN采用D3QN算法，结合衰减ε-贪心探索和基于动态优先级的优先经验回放（Prioritized Experience Replay based on Dynamics Priority, PERDP），使用PyTorch实现。样本队列来源为欧盟委员会EPREL数据库中的智能手机和平板电脑产品记录。
研究结果方面，第一，在归一化方法选择上，通过比较运行最大值除法、运行最小-最大和运行均值三种归一化方法，研究发现运行最大值和最小-最大表现出可比且稳定的学习行为，平均奖励分别为?259.6和?280.93，而运行均值平均奖励为?4746.90，约为运行最大值的18.3倍差。运行最大值在5个随机种子下表现出更紧密的奖励轨迹和更平滑的收敛，因此被选为最终归一化方法。第二，在基于回放的奖励评估上，BALS-D3QN在未见电池轨迹上的奖励遵循有界模式，移动平均接近零，大多数偏差保持在有限负范围内，无持续下降趋势，五个随机种子间奖励趋势一致，表明调度器已学会避免不良调度行为并在局部惩罚下降后恢复。第三，在基线比较上，BALS-D3QN维持全局平均更新率3.50%，相对于连续更新降低96.50%、相对于随机决策降低93.06%；最大待处理提交平均为2.03，相对于连续更新和随机策略分别改善49.30%和38.30%；与稀疏周期性更新（K=60和K=120）相比，中位AoII分别相对改善64.9%和91.3%；与K=30和AoII阈值策略相比，BALS-D3QN在更新时的中位AoII更低（22.893对29.711和45.881），统计显著（p_H=0.016和p_H=0.011）。第四，在自适应行为评估上，BALS-D3QN实现全局平均新鲜度差距为+1.82±0.28 pp，表明在高新鲜度压力下更倾向于更新；高新鲜度延迟差距平均为+0.49±0.56 pp，暗示在高新鲜度压力下倾向于在较低观测延迟时提交更新，但该差异未达到统计显著性（t(4)=1.934, p=0.125）。
讨论部分总结：评估结果表明BALS-D3QN作为平衡自适应DPP调度器运行，而非排他性AoII最小化器。与激进策略相比，它大幅减少提交活动并维持受控的待处理和垃圾信息行为；与稀疏周期性策略相比，避免信息新鲜度退化；与K=30和阈值策略相比，虽然它们在某些指标上具有竞争力，但BALS-D3QN在提交时的中位AoII更低，反映了其更广泛的调度公式化。研究局限性包括：数据新鲜度与DPP和DCE过程的关联仍 largely 未被充分探索，所提出的公式应视为初步贡献而非成熟标准化方法；评估依赖基于EPREL产品属性的模拟电池轨迹，无法完全复现物理电池行为的变异性和复杂性；外生延迟反馈的整合仍具挑战性，因为观测延迟外在于监测电池状态且异步接收。实际部署方面，所提出的调度机制特别适用于产品活跃使用阶段，BALS-D3QN可操作于产品监测过程和DPP更新基础设施之间，持续评估存储信息的新鲜度并确定观测变化是否足够有意义以证明新DPP版本的合理性。未来工作目标包括研究将BALS-D3QN基础转变为多调度问题的可能性，以同时监测单一产品下不同类型的数据类别；进一步研究奖励函数以建立有效机制准确利用外生延迟反馈作为提交成本；以及DPP框架的正式启动将极大支持实际标准的调查。
研究结论部分翻译：本工作提出了BALS-D3QN，一种用于IoT赋能的DCE环境中电池DPP更新的平衡自适应调度器。所提出的机制利用D3QN和AoII指标确定何时应更新演变的DPP数据，同时通过将观测到的DLT提交延迟作为异步反馈纳入来扩展研究人员先前的ABS-TD3方案。该框架使用PyBaMM生成的电池轨迹和收集的Shimmer提交延迟进行训练和评估，使得能够在演变的产品条件和外部提交行为下检查新鲜度感知调度。评估表明，BALS-D3QN平衡信息新鲜度与受控提交活动，而非排他性最小化AoII。与激进更新策略相比，它大幅减少不必要的提交和拥塞相关行为，同时避免稀疏周期性调度观察到的显著新鲜度退化。此外，所引入的基于阈值的基线展示了更简单的新鲜度触发策略的竞争力，特别是在平均AoII和提交效率方面。然而，BALS-D3QN维持独特的更新行为，其特征为提交时更低的中位AoII和描述性正向的延迟相关趋势，反映了其尝试纳入多种调度条件而非依赖预定新鲜度截止值的努力。总体而言，考虑到新鲜度与DCE过程之间未被充分探索的关联，所提出的调度器展示了在统一自适应决策框架中联合考虑信息相关性、提交控制和外生DLT条件的可行性。
