DCE：用于微表达识别的动态通道与空间冗余消除技术

《Expert Systems with Applications》：DCE: Dynamic channel and spatial redundancy elimination for Micro-Expression recognition

建筑能源预测中基于变分贝叶斯正则化的联邦学习框架提出，通过隐式对齐表征分布解决冷启动问题，提升未知建筑预测性能，实验显示MSE降低67.9%，MAPE降低35.9%。

　　

元诗|周顺|徐先泽|徐风秋

武汉大学电子信息学院，中国武汉，430072

摘要

准确预测建筑能耗对于高效能源生产和管理至关重要，有助于实现能源可持续发展。联邦学习（FL）作为一种先进的、保护隐私的机器学习范式，在分散式场景中展现出了其成功，特别是在建筑能耗预测方面。现有研究主要关注提升参与训练的客户端模型的性能，而忽视了没有历史数据的新建建筑的有效性。这一问题被称为“冷启动问题”。在本文中，我们将领域泛化（Domain Generalization）纳入FL框架以解决这一问题。然而，现有的领域泛化方法需要跨领域共享数据，这违反了FL的原则。为此，我们提出了在表示学习模型中应用变分贝叶斯正则化（VBR）的方法，该方法能够符合隐私保护原则。具体而言，这种正则化项可以隐式地对表示的分布进行对齐，从而提高模型对未知建筑的泛化性能。此外，我们提出了一种新的FL算法——联邦期望最大化（FedEM），以加快基于VBR的模型的收敛速度并增强其鲁棒性。广泛的模拟表明，VBR-FedEM在多个预测时间范围内均优于联邦学习和集中式模型。它实现了平均平方误差（MSE）最多67.9%的降低和平均绝对百分比误差（MAPE）最多35.9%的降低，有效解决了冷启动问题，并通过增强的表示对齐展现了强大的泛化能力。

引言

建筑占全球总能源消耗的40%以上（Shi, Gao, Xu, Xu, & Jiang, 2024）。精确和实时的建筑能耗预测对于制定科学的能源生产和管理方案至关重要（Deb, Zhang, Yang, Lee, & Shah, 2017）。先进的计量基础设施（AMI）已广泛应用于各种能源密集型建筑中。AMI收集了大量用于能源分析和预测的数据。因此，基于数据的方法，特别是利用神经网络的方法（Agga, Abbou, Labbadi, & Houm, 2021），已成为主要的预测模型。然而，这些方法严重依赖于可用数据的数量和质量。近年来，隐私保护法规的实施（如欧盟的通用数据保护条例（GDPR）（McKenna, Richardson, & Thomson, 2012）对数据利用施加了重大限制，给这些方法的实际应用带来了挑战。

数据加密（El-Latif, Abd-El-Atty, Mazurczyk, Fung, & Venegas-Andraca, 2020）技术可以缓解数据可用性的问题，但它们需要在数据效用和隐私保护之间进行微妙的权衡（Chen, Li, Cheng, & Liu, 2023）。在建筑能耗预测的分布式多任务场景中，仅依赖数据加密可能不是明智的做法。为了解决这一挑战，联邦学习（FL）（Kone?ny et al., 2017），作为一种先进的分布式学习范式，提供了一个有前景的解决方案。FL可以利用参与客户的本地模型信息来训练强大的模型，而不会侵犯隐私。在（Badr, Mahmoud, Fang, Abdulaal, Aljohani, Alasmary, Ibrahem, 2023b, Fernández, Menci, Lee, Rieger, Fridgen, 2022, Shi, Xu, 2022）中，FL在建筑能耗预测领域展示了其成功。然而，FL在这一领域的应用面临一个主要挑战，即冷启动问题，如图1所示。这个问题源于新加入FL训练的建筑可用数据有限，导致这些建筑的预测性能下降。在FL框架内，这一挑战可以被描述为小样本或零样本学习场景。具体来说，训练好的全局预测模型无法适应新建筑数据的分布变化。在数据受限的情况下，研究人员通常转向迁移学习（TL），通过最小化领域差异来提高目标领域的预测性能。在（Tang, Zhang, & Zhang, 2024）和（Tang, Xie, Wang, & Bie, 2023a）中，一个保护隐私的全局模型在FL框架中被训练出来，然后对其进行微调以提升数据稀缺建筑的预测性能。然而，TL对于缺乏历史数据的新建建筑来说效果不佳。因此，使用FL框架中的现有数据训练一个能够适应未知建筑数据分布变化的模型对于解决冷启动问题非常重要。这项工作需要提高模型的泛化性能，这一挑战被称为领域泛化（DG）问题（Wang et al., 2021）。

然而，将现有的DG技术整合到FL框架中并不简单。例如，领域不变表示学习方法（Li, Gong, Tian, Liu, Tao, 2018, Nguyen, Tran, Gal, Baydin, 2021, Sun, Saenko, 2016）通常依赖于集中式训练环境，其中数据或其表示在各个领域之间共享。同样，基于元学习的方法（Balaji, Sankaranarayanan, & Chellappa, 2018）需要访问来自多个源领域的数据，这些数据通常存储在中央服务器上（Nguyen, Torr, & Lim, 2022）。除了违反FL的分布式特性外，这些方法还存在隐私泄露的风险。一些先前的工作已经尝试在FL环境中应用DG。在（Liu, Chen, Qin, Dou, & Heng, 2021）中，一种定制的医学图像分割方法从不同医院数据的共享连续频率空间中学习领域不变性。联邦领域泛化（FedADG）（Zhang, Lei, Shi, Huang, & Chen, 2021）通过对抗学习来提高泛化性能，该方法通过将每个分布与参考分布匹配来测量和对齐各个源领域的分布。尽管这种方法完全防止了隐私泄露，但它过于复杂，其在建筑能源管理领域的收敛性和适用性仍需验证。

在本文中，我们提出了一种模型不可知的但有效的DG方法，用于FL环境中的建筑能耗预测，以解决冷启动问题。具体来说，提出了一种采用变分贝叶斯正则化（VBR）的表示学习方法，通过将生成的表示与参考分布对齐来学习领域不变表示，从而防止表示学习过多的领域特定知识而不会泄露数据。需要强调的是，我们的工作是首次在FL环境中应用变分贝叶斯机制来实现DG，尽管这种机制在深度学习中并不罕见。为此，我们证明了VBR可以隐式地调整表示的条件分布，并建立了其与条件互信息的理论联系。这些理论基础确保了VBR的有效性。此外，我们提出了FedEM，一种用于在FL环境中训练基于VBR的网络的交替优化方法。FedEM将优化过程分为期望步骤（专注于学习表示网络）和最大化步骤（用于优化预测网络），确保优化过程中的单调性并提高模型收敛速度。

我们工作的主要贡献如下：

•

提出了一种基于VBR的表示学习方法，以在FL框架中实现DG，从而提高模型对未知建筑的预测性能，从而解决建筑能耗预测的冷启动问题。

•

我们证明了VBR可以对表示分布进行对齐，并从DG理论的角度解释了VBR的有效性。

•

我们提出了一种替代的优化算法（FedEM），用于在FL环境中学习基于VBR的模型，从而提高训练稳定性并加速模型参数的收敛。

•

在真实世界的建筑能耗数据集上验证了所提出方法（VBR-FedEM）的有效性。模拟结果表明，VBR-FedEM显著提高了对未知建筑的预测性能，有效缓解了冷启动问题。

本文的其余部分组织如下。第2节介绍了相关工作，第3节介绍了所提出的方法，第4节进行了模拟，第5节总结了本文。

节选

利用联邦学习进行分布式能源预测

鉴于分布式工作负载的特点以及人们对隐私和安全的日益关注，FL在近年来在能源预测中受到了更多关注。在（Fernández et al., 2022）中，对大规模住宅负载数据进行的广泛模拟表明，FL在高预测准确性和近乎完全的隐私保护之间取得了显著的平衡。在（Venkataramanan, Kaza, & Annaswamy, 2023）中，提出了一种基于FL的方法用于分布式能源资源

问题定义

图1展示了FL环境中的建筑能耗预测概览。在这种环境中，每栋建筑都作为一个独立的客户端。建筑内的数据由AMI收集并存储在本地，用于训练本地模型。每个客户端利用AMI与中央服务器通信，以下载、更新和上传模型信息。FL训练过程通过迭代执行以下步骤来完成。

1.

每个客户端从中央服务器获取全局模型。

2.

选定的

数据集

通过在学术界和能源研究中广泛使用的数据集（Fernández et al., 2022）进行的模拟，评估了VBR-FedEM的有效性。数据集的概览见表2。

Smart London（2022年伦敦家庭智能电表能耗数据）该数据集包含了2011年11月至2014年2月期间伦敦家庭代表性样本的电力消耗记录。

主要结果

为了评估VBR和FedEM对模型性能的影响，本研究采用了三种不同的方法来训练预测模型，随后在测试建筑上进行了消融研究。使用的方法包括FedAVG算法、结合贝叶斯正则化的标准联邦平均策略（VBR-FedAVG）以及VBR-FedEM。为了证明VBR-FedEM的模型不可知特性，使用了两种不同的预测模型架构。

讨论局限性

VBR-FedEM通过引入领域间特征表示的贝叶斯正则化项来隐式提高模型泛化能力。这种方法的潜在局限性在于它依赖于领域不变性的假设，这在某些目标领域可能不成立。由于不变特征是从源领域学习的，它们可能无法有效地泛化到任意的、未见过的目标领域。然而，这种局限性并非VBR-FedEM所特有，而是

未来工作

实际上，所提出的方法是模型不可知的，因此可以应用于其他需要DG的FL研究领域，例如各种类型分布式能源系统的预测和异常检测。研究人员可以选择合适的预测模型作为VBR-FedEM的骨干。此外，DG仍然是一个快速发展的领域，在联邦建筑能耗预测的背景下有相当大的研究潜力。

结论

本研究提出了VBR-FedEM，这是一种旨在缓解建筑能耗预测中冷启动问题的表示学习框架。通过应用VBR，该框架鼓励编码特征近似高斯分布，从而实现无需客户端间数据共享的领域不变表示学习。理论分析表明，最小化VBR损失等同于减少条件互信息，从而提高泛化能力

CRediT作者贡献声明

元诗：概念化、方法论、软件、验证、形式分析、调查、资源管理、数据整理、初稿编写、审稿与编辑、可视化；周顺：验证、调查、数据整理；徐先泽：资金获取；徐风秋：写作...审稿与编辑、监督、项目管理、资金获取

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。