面向碳排放预测的隐私保护联邦学习：方法论与案例研究

《Knowledge-Based Systems》：Privacy-preserving federated learning for carbon emission forecasting: Methodology and case study

　　

• •
  用于碳排放预测的隐私保护联邦学习框架。
• •
  使用分布式数据集进行部门级和省级排放预测。
• •
  基于比较的分析，研究差分隐私在联邦学习客户端和聚合层级的集成。
• •
  对中国各省份隐私与效用权衡的经验分析。
• •
  单一全局层级隐私实现了强准确性和稳定收敛。

引言

气候变化继续构成 21 世纪最紧迫的全球挑战之一，主要由温室气体在大气中的积累驱动，其中二氧化碳 (CO₂) 占人为变暖的最大份额 [1]。因此，准确的 CO₂ 排放预测对于设计缓解策略、评估政策有效性以及使经济发展与环境可持续性目标保持一致至关重要 [2]。可靠的排放预测对于工业产出高和能源系统快速演变的国家尤为关键，在这些国家，排放动态表现出强烈的时间变异性和部门异质性。

作为全球最大的 CO₂ 排放国，中国在全球气候治理中发挥着决定性作用。“双碳”政策框架下，国家承诺在 2030 年前实现排放达峰，并于 2060 年实现碳中和，这需要精确且针对特定部门的预测工具，以告知监管干预措施 [3]。工业、交通、居住和能源生产部门对国家排放的贡献各不相同，需要在省级和城市级采用细粒度建模方法。然而，此类粒度的排放数据集通常分布在多个政府和工业实体中，由于经济敏感性和监管框架，受到保密性限制。

传统上，碳排放预测依赖于集中式建模范式，其中多区域数据集被聚合到单个存储库中进行训练。尽管集中式深度学习模型，特别是基于 LSTM 的架构，已显示出强大的预测性能 [2], [4]，但其实施假设数据共享不受限制。然而在实践中，排放记录反映了工业生产力、能源消费模式和区域经济指标，这些通常受到制度或法律限制的保护。这在需要协作的大规模建模与保护数据隐私的义务之间造成了根本性矛盾。

联邦学习 (FL) 提供了一种分布式替代方案，通过启用协作模型训练而无需交换原始数据 [5]。参与客户端不在中央集中数据集，而是在本地更新模型参数，并将仅聚合的更新传输给协调服务器。这种范式特别适用于省份级或部门级数据必须保持分散的排放预测场景。然而，最近的研究表明，联邦系统中的梯度更新仍然可以通过重构或成员推理攻击泄露敏感信息 [6], [7], [8]。因此，仅靠 FL 并不能保证正式的隐私保护。

针对这一主要问题，差分隐私 (DP) 通过在模型更新中引入校准噪声来提供可数学量化的隐私保证 [9], [10]。当与 FL 集成时，DP 机制限制了任何单个数据记录显著影响模型输出的概率。尽管如此，大多数现有实现仅在单个阶段应用 DP，要么在客户端本地，要么在聚合期间全局，而未正式考虑多个通信轮次中的累积隐私泄露。在长期的联邦训练周期中，隐私损失随时间累积，如果未得到适当限制，可能会削弱保护。

与隐私保护学习进步并行的是，预测方法论已向混合统计 - 深度学习架构演变。虽然 LSTM 网络能有效捕捉非线性时间依赖性，但 ARIMA 等统计模型编码了结构化的自相关和趋势成分，GARCH 模型捕捉排放序列中的波动聚集性。将这些统计信号集成到深度学习框架中增强了鲁棒性、可解释性和预测稳定性，特别是在工业活动波动的情况下。

尽管有这些进展，同时解决 (i) 部门级和省级排放预测，(ii) 通过联邦学习进行分布式数据治理，和 (iii) 正式界定的双层隐私保证的统一框架仍未得到充分探索。

为了填补这一空白，本研究扩展了我们之前提出的联邦碳排放预测框架 [11]。在我们早期的工作中，我们开发了一种混合时间序列预测架构，在联邦学习环境中集成统计模型和基于 LSTM 的神经网络，以预测多个国家和部门的碳排放。然而，该框架在模型训练期间未纳入正式的隐私保证。在此基础上，本研究在联邦学习过程中引入差分隐私机制，并使用细粒度的中国省级和部门级排放数据集评估其对预测性能的影响。

所提出的框架使得能够在不集中敏感部门级信息的情况下，跨分布式排放数据集进行协作预测。它平衡了预测性能和隐私保护，提供了一种适用于受监管约束的环境建模的可扩展架构。

本研究的主要贡献总结如下：

• •
  我们提出了一种集成的隐私保护联邦预测框架，结合了统计特征提取（ARIMA 和 GARCH）、深层时间表示学习（并行 LSTM-GRU）和堆叠集成预测（XGBoost），用于部门级碳排放预测。
• •
  我们引入了一种可配置的差分隐私架构，支持客户端、服务器端和双层隐私保护，使能够系统调查联邦学习中的隐私放置位置。
• •
  我们提出了一种隐私感知的归一化协调策略，在保持本地数据机密性的同时，提高了异构客户端之间的特征一致性。
• •
  我们提供了跨越中国 30 个省份和 5 个排放部门的全面经验评估，表明聚合层级差分隐私在所评估的隐私配置中始终提供最佳的隐私 - 效用权衡。

本文其余部分组织如下。第 2 节回顾了碳排放预测和隐私保护联邦学习的相关工作。第 3 节提出了混合联邦架构和正式隐私记账方法。第 4 节描述了实验设置和结果。第 5 节讨论了经验结果和隐私 - 效用权衡。最后，第 6 节总结了论文并概述了未来研究方向。

章节摘要

中国的碳排放预测

中国的碳排放预测已从基于分解的计量经济分析发展到先进的深度学习和混合人工智能框架。早期研究主要采用对数平均迪维西亚指数 (LMDI) 和 Kaya 恒等式来分析各省份的排放驱动因素 [12]。这些方法提供了强大的可解释性和政策相关性。然而，它们主要是诊断性的而非预测性的，并且难以建模非线性排放

材料与方法

本研究提出了一个用于中国部门级和省级碳排放预测的隐私保护联邦学习框架。与集中式建模方法和早期关注聚合排放的联邦学习研究不同，所提出的方法明确集成了正式的差分隐私机制，以保护客户端和服务器层级的敏感排放信息。每个客户端对应一个唯一的省份 - 部门对，¹

实验结果与讨论

本节提出了所提出的隐私感知联邦混合预测框架的实验验证。我们首先将我们的数据集和建模方法与先前的文献基准进行比较，然后对不同隐私配置下的预测准确性进行全面评估。除非另有说明，所有表格报告的是最后一轮结果。

实验评估的目标是隔离统一框架内差分隐私放置位置的影响

经验隐私分析与讨论

本节提出了所提出的隐私感知联邦混合预测框架的全面评估。我们首先分析不同隐私配置下的整体预测性能，随后进行经验隐私 - 效用权衡分析、省级异质性评估、统计验证，以及对观察到的行为的详细技术讨论。

结论

本研究调查了差分隐私在异构城市区域联邦碳排放预测中的集成。虽然联邦学习减轻了原始数据暴露，但隐私机制的放置和校准严重影响优化稳定性和预测性能。现有文献大多在集中式或通用机器学习设置中评估隐私 - 效用权衡，留下了领域特定环境预测方面的空白

CRediT 作者贡献声明

阿提亚·坎马尔：写作 – 审阅与编辑、写作 – 初稿、可视化、验证、软件、资源、项目管理、方法论、调查、资金获取、形式分析、数据整理、构思。卡兹·哈西布·优素福：写作 – 审阅与编辑、验证、软件。阿里·阿扎姆：写作 – 审阅与编辑、可视化。阿马尔·艾哈迈德：写作 – 审阅与编辑、可视化。阿卜杜纳赛尔·纳乌里：形式分析、数据整理。李天瑞：写作 – 审阅与编辑

竞争性利益声明

作者声明，他们没有任何已知的竞争性财务利益或个人关系可能影响本文中报告的工作。

阿提亚·坎马尔 | 卡兹·哈西布·优素福 | 阿里·阿扎姆 | 阿马尔·艾哈迈德 | 阿卜杜纳赛尔·纳乌里 | 李天瑞