《Big Data and Cognitive Computing》：Accelerated Energy Forecasting Models with Metaheuristics for Swift Solutions in Building Management
编辑推荐：
本研究提出了一种基于CUDA加速的方法，利用群体元启发式算法并行训练多个神经网络。目标是获得快速且准确的短期能源预测模型，用于时间敏感的楼宇管理应用。研究人员评估了五种元启发式优化器及其记忆变体（memetic variants），其中融入了一个基于ADAM优
本研究提出了一种基于CUDA加速的方法，利用群体元启发式算法并行训练多个神经网络。目标是获得快速且准确的短期能源预测模型，用于时间敏感的楼宇管理应用。研究人员评估了五种元启发式优化器及其记忆变体（memetic variants），其中融入了一个基于ADAM优化器的局部搜索阶段。模型在11个真实世界的能耗时间序列上，使用训练时间、均方根误差（RMSE）、平均绝对误差（MAE）和归一化均方根误差（NRMSE）进行评估。结果表明，所提出的记忆方法在严格的训练时间预算下具有竞争力，尽管无约束的ADAM仍然是强大的整体参考。
**论文解读文章**
**研究背景与问题**
电力已成为现代社会最关键的资源之一，广泛应用于照明、供暖、制冷等电子设备。为确保能源的可持续、高效生产与分配，短期负荷预测模型被频繁用于楼宇管理，以支持需求响应、能源交易等决策。然而，这些模型面临诸多挑战：技术变革（如自消费、柔性需求响应、电动汽车）和行为变化（如COVID-19疫情期间的封锁）会显著改变能耗模式。因此，模型需要快速训练或重新训练以适应新模式，但传统梯度下降方法容易陷入局部最优，且GPU资源在数据稀疏时利用率不足。现有研究虽使用元启发式算法优化超参数或训练网络，但大多聚焦于单一优化器、单一架构或有限时间序列，缺乏系统性比较。为此，本研究旨在评估多种GPU加速的元启发式及记忆训练策略，在短训练时间内能否提供具有竞争力的神经预测模型，为时间敏感的楼宇管理应用提供快速解决方案。论文发表在《Big Data and Cognitive Computing》。
**主要关键技术方法**
研究人员采用基于CUDA的并行实现，利用Tensor Cores加速矩阵运算，并设计映射风格内核（map-style kernels）和归约内核（reduction kernels）以适配元启发式操作。研究使用了五种群体元启发式优化器：粒子群优化（PSO）、平衡优化器（EO）、海洋捕食者算法（MPA）、鲸鱼优化算法（WOA）和政治优化器（PO），并为其分别引入基于ADAM优化器的局部搜索阶段，形成记忆变体（M）。神经网络架构包括多层感知机（MLP）、埃尔曼循环神经网络（ENN）和长短期记忆网络（LSTM）。数据来源为两个真实世界能耗数据集：UNICON数据集（包含拉筹伯大学5个校区71栋建筑的数据，选取其中10栋数据量最大的建筑）和乌拉圭国家级能耗数据集。所有数据经过线性插值填补缺失值、按时间顺序分割（70%训练验证，30%测试）以及最小-最大归一化处理。
**研究结果**
（1）MLP架构结果：在11个时间序列中，无约束ADAM在8个序列上获得最低RMSE，但训练时间显著长于元启发式方法。若排除ADAM，记忆算法（尤其是EO (M)和WOA (M)）在10个序列中取得最佳结果，表明记忆变体对MLP模型始终有益。
（2）ENN架构结果：ADAM仍是主要优胜者（7/11序列），但非ADAM方法中，标准元启发式（尤其是EO）表现更一致，记忆变体未显示系统优势，这可能归因于个别个体在反向传播中遭遇梯度消失/爆炸问题。
（3）LSTM架构结果：ADAM在8个序列中最佳，但元启发式/记忆算法在3个序列中胜出。记忆变体（特别是WOA (M)）再次提升性能，LSTM的门控结构有助于稳定梯度传播。
（4）计算效率比较：在最佳模型对比中，当最佳元启发式模型基于MLP时，速度提升显著（如建筑1和12分别快200倍和94倍）；当最佳模型基于LSTM时，虽可提高精度但训练时间更长。平均而言，元启发式在超越ADAM时快约56%。
（5）统计检验：配对Wilcoxon符号秩检验显示，记忆变体在MLP和LSTM上显著优于基础元启发式（EO (M)、PSO (M)、WOA (M)），但ENN上无显著改善。隐藏神经元数量影响：较少隐藏神经元对ENN和MLP更有利，LSTM差异不显著。在匹配配置下（相同数据集、架构、隐藏神经元数和种子），多个元启发式/记忆方法在时间受限时优于ADAM，尤其MLP和PO对应的ENN；LSTM上ADAM仍具竞争力。
**总结讨论**
整体而言，所提出的CUDA实现元启发式及记忆训练策略在严格训练时间预算下是ADAM的竞争性替代方案，尤其适用于需要频繁重新训练或快速适应能耗模式变化的楼宇管理场景。该方法并非普遍优于梯度下降，而是提供了一种快速训练选择。WOA (M)和EO是最具竞争力的优化器，但无单一方法在所有数据集和架构上占优。未来工作将扩展CUDA框架以包含更多元启发式和混合策略，改进记忆算法在大型循环搜索空间中的表现，并研究自适应机制以根据数据集、架构和预算选择最优优化器。
**研究结论翻译**
本研究评估了GPU加速的元启发式和记忆算法，用于训练短期能耗预测中神经预测模型的权重和偏置。为此，研究人员开发了三种ANN架构（MLP、ENN、LSTM）的高效CUDA实现，以及五种群体元启发式优化器及其基于ADAM局部搜索的记忆变体。这些方法与TensorFlow GPU基线在11个真实能耗时间序列上进行了比较，考虑训练时间及通过RMSE、MAE、NRMSE衡量的预测精度。结果表明，当可用训练时间严重受限时，所提出的元启发式和记忆神经网络训练CUDA框架可提供传统梯度训练的竞争性替代方案。这一行为在楼宇能源管理场景中尤为重要，因为预测模型可能需要频繁重新训练或快速适应消费模式变化。在匹配的时间预算设置下，多个元启发式和记忆配置优于时间受限的ADAM基线，尤其针对MLP模型和选定的循环配置。然而，结果也显示，当训练预算不受限时，无约束或最佳选择的ADAM仍然是强大的整体参考，并在大多数时间序列中获得最佳结果。因此，所提出的方法应被解释为时间敏感预测场景中的快速训练替代方案，而非梯度优化的普遍优越替代品。
