具有波动特征的碳交易价格预测：一种基于启发式多头注意力卷积双向循环神经网络的新型混合模型框架

《Engineering Applications of Artificial Intelligence》：Carbon trading price prediction with spikes: A novel hybrid model framework using heuristic multi-head attention convolutional bidirectional recurrent neural network

碳交易价格预测模型创新研究：提出融合随机森林特征选择、CatBoost尖峰识别与2DCNN-BiGRU-MRA时空特征提取的混合框架，并采用自适应记忆蜜蜂 badger 算法优化超参数，在欧盟及湖北碳市场数据验证中实现高精度与可解释性预测。

　　碳交易市场价格（CTP）的准确预测对于制定碳排放减少政策以及企业投资规划具有至关重要的意义。随着全球气候变化问题的日益严峻，碳交易市场作为一项有效的环境管理工具，正在被越来越多的国家采用，包括中国和英国。在这一背景下，市场参与者和政府机构都需要对CTP的走势有准确的把握，以便做出合理的决策。然而，现有的CTP预测方法往往忽略了对价格突变（spikes）的识别与预测，导致预测结果无法全面反映市场的复杂性。

为了弥补这一不足，本文提出了一种基于启发式优化的混合模型框架，专门用于预测包含突变值的碳交易市场价格。该框架由三个主要部分组成：特征选择、突变值发生预测以及数值预测。其中，特征选择用于识别影响CTP变化的关键因素，突变值发生预测则用于区分CTP序列中的异常波动，而数值预测则专注于对正常价格和突变值进行精确的数值预测。这种分阶段的预测策略能够更全面地捕捉市场的动态变化，提高预测的准确性和实用性。

在特征选择方面，本文采用了随机森林（Random Forest）算法。随机森林作为一种集成学习方法，能够有效评估各特征对模型预测性能的贡献，并生成一个特征重要性排序列表。这种方法特别适用于高维数据和存在大量冗余特征的场景。通过随机森林，可以筛选出与CTP变化密切相关的核心变量，从而减少不必要的特征干扰，提高模型的预测效率。此外，随机森林还具备较强的鲁棒性，能够在数据噪声较大的情况下保持较高的预测稳定性。

在突变值发生预测方面，本文引入了分类提升（Categorical Boosting）模型。分类提升是一种基于梯度提升的机器学习算法，特别适用于处理具有高基数（high-cardinality）分类特征的数据。相比传统的分类方法，如AdaBoost、XGBoost和LGBM，分类提升在处理不平衡数据集时表现更为优越。通过分类提升，可以准确识别CTP序列中的突变值，并为后续的数值预测提供关键的输入信息。这种突变值的识别不仅有助于市场参与者及时采取应对措施，也为政府制定更精准的碳排放政策提供了数据支持。

在数值预测方面，本文设计了一种新颖的混合模型，结合了多元线性回归（MLR）、分类提升（CatBoost）和一种基于二维卷积神经网络（2DCNN）、双向门控循环单元（BiGRU）以及多头正则化注意力机制（MRA）的模型（2DCNN-BiGRU-MRA）。该模型能够同时捕捉CTP序列中的线性特征和复杂的非线性特征，从而实现更全面的预测。其中，2DCNN用于学习CTP序列中的空间结构特征，BiGRU则用于建模时间序列中的长期依赖关系，而MRA则通过多头注意力机制，增强模型对关键特征的识别能力。为了防止模型过拟合，本文还引入了L2正则化技术，进一步提升了模型的泛化能力。

此外，为了优化2DCNN-BiGRU-MRA模型的超参数，本文提出了一种改进的蜂獾优化算法（Strength Honey Badger Algorithm, SHB）。传统的蜂獾优化算法（HBA）虽然具备较强的全局搜索能力和快速收敛速度，但在某些复杂问题中可能存在局部最优和收敛速度较慢的问题。因此，本文对HBA进行了改进，引入了动量（momentum）机制，以减少搜索过程中的震荡，并提高算法的稳定性。通过SHB，可以更有效地调整模型的网络参数，从而提升预测的准确性。

本文的研究具有以下几个重要的贡献。首先，首次提出了一种结合随机森林特征选择、分类提升突变值预测以及数值预测的混合模型框架，能够全面识别CTP中的突变值并预测其具体数值。其次，设计了一种新的混合模型（2DCNN-BiGRU-MRA），通过多维度的特征提取和注意力机制，提高了CTP预测的精度和可解释性。第三，提出了一种基于MLR和CatBoost的混合模型，通过将两种模型的预测结果和偏差作为输入特征，增强了模型的鲁棒性。最后，改进了蜂獾优化算法，使其在CTP预测中具备更高的收敛速度和预测精度。

为了验证所提出框架的有效性，本文在欧洲联盟碳排放交易市场和中国湖北省碳市场的真实数据上进行了实验。实验结果表明，所提出的混合模型在预测CTP及其突变值方面表现出色，相较于传统的预测方法，其预测精度更高，同时具备良好的可解释性。此外，通过SHB优化后的模型在训练过程中表现出更强的稳定性，避免了传统优化算法可能陷入局部最优的问题。这些实验结果不仅验证了所提出方法的可行性，也为未来碳交易市场预测研究提供了新的思路和方向。

从现有的研究来看，CTP预测主要分为统计模型、机器学习模型和混合模型三类。统计模型通常依赖于线性拟合和参数估计，例如卡尔曼滤波、马尔可夫链、自回归滑动平均（ARMA）和广义自回归条件异方差（GARCH）模型。这些模型在处理CTP序列时，主要关注于通过历史数据构建趋势，但难以应对CTP序列中的剧烈波动和突变值。相比之下，机器学习模型如支持向量回归（SVR）、决策树（Tree）、极端梯度提升（XGBoost）、分类提升（CatBoost）、人工神经网络（ANN）、卷积神经网络（CNN）和长短期记忆网络（LSTM）等，因其非线性建模能力，能够更好地捕捉CTP序列中的复杂特征。然而，机器学习模型在面对市场剧烈波动或相对稳定的情况时，可能面临欠拟合或过拟合的问题，影响预测性能。

为了克服机器学习模型的局限性，许多学者设计了混合模型，结合多种方法的优势以提高CTP预测的准确性。例如，Li和Liu（2023）提出了一种基于二次分解、多层感知机和SVR的混合模型，用于预测CTP。Zhu等人（2022）则结合了二进制经验模式分解（BEMD）、XGBoost和差分进化（DE）算法，构建了一种新的混合模型。这些模型在处理CTP序列时，能够更好地捕捉长期依赖关系和空间层次结构，但它们在实际应用中仍然存在一定的局限性。例如，某些混合模型可能在提取关键特征和空间特征方面表现不佳，或者在模型训练过程中面临参数调整困难的问题。

近年来，基于LSTM的混合模型在CTP预测中得到了广泛应用。LSTM因其能够处理时间序列中的长期依赖关系，成为预测CTP的重要工具。例如，Ding等人（2024）提出了一种基于分解–重构算法和LSTM的混合模型，用于预测中国碳市场的CTP。Zhou等人（2022）则结合了完全集成经验模式分解（CEEMDAN）和LSTM，提出了多步预测方法。Ji等人（2019）设计了一种基于ARMA-CNN-LSTM的混合模型，通过ARMA提取线性特征，CNN-LSTM则用于捕捉层次化的空间非线性特征。Zhang等人（2023d）提出了一种基于多变量分解和LSTM的混合模型，用于多步预测CTP。实验结果表明，基于LSTM的混合模型在CTP预测中具有更高的准确性和适应性。然而，LSTM模型的参数数量较多，且权重衰减机制不够明确，可能导致训练成本高和预测结果波动的问题。

为了解决这些问题，一些学者开始探索基于双向门控循环单元（BiGRU）的混合模型。BiGRU相比LSTM具有更少的网络参数，并且能够同时捕捉时间序列中的前向和后向信息，从而更好地建模长期依赖关系。例如，Wang等人（2021）和Liu等人（2023）的实验表明，基于BiGRU的混合模型在CTP和风力发电预测中表现优于传统的LSTM模型。然而，BiGRU在提取空间层次特征方面仍存在一定挑战。因此，一些学者尝试将BiGRU与卷积神经网络（CNN）和注意力机制（AM）相结合，以提高模型对空间特征的捕捉能力。例如，Zhou等人（2023a）提出了一种基于CNN-BiGRU-AM的混合模型，用于预测页岩油价格。Niu等人（2022）则设计了一种基于CNN-BiGRU-AM的混合模型，用于短期电力负荷预测。这些模型在处理时间序列数据时，能够更好地识别长期依赖关系、空间分层结构和关键影响因素，从而提高预测的准确性和适应性。然而，基于CNN-BiGRU-AM的混合模型在CTP预测中的应用仍然较为有限。

除了模型设计，CTP预测还需要考虑超参数优化问题。由于CNN-BiGRU-AM模型具有较多的网络参数，如学习率、卷积核大小、滤波器数量等，如何选择合适的超参数成为影响模型性能的重要因素。传统的优化方法如粒子群优化（PSO）和遗传算法（GA）虽然在优化过程中不需要依赖大量训练数据和精确的数学模型，但它们在处理复杂问题时可能存在局部最优和收敛速度慢的问题。因此，一些学者开始探索基于启发式优化的机器学习模型，以提高预测的准确性和效率。例如，Zhang和Chen（2024）提出了一种基于PSO优化的变分模态分解模型，用于分解原始数据并提取频率特征。Nadirgil（2023）则利用GA优化基于LSTM、MLP、GRU和反向传播神经网络的混合模型的网络参数。然而，这些优化方法在实际应用中仍然面临一定的挑战，尤其是在处理高维数据和复杂非线性关系时。

鉴于传统优化方法的局限性，本文提出了一种改进的蜂獾优化算法（SHB），用于优化2DCNN-BiGRU-MRA模型的超参数。蜂獾优化算法（HBA）是一种基于蜂獾觅食行为的启发式优化算法，具有较强的全局搜索能力和较快的收敛速度。然而，HBA在某些复杂问题中可能存在局部最优和收敛速度较慢的问题。因此，本文对HBA进行了改进，引入了动量机制，以减少搜索过程中的震荡，并提高算法的稳定性。通过SHB，可以更有效地调整模型的网络参数，从而提升预测的准确性。此外，SHB还结合了自适应动量估计，使得算法在优化过程中能够动态调整搜索策略，避免陷入局部最优。

在CTP预测过程中，特征选择和突变值发生预测是两个非常关键的环节。特征选择的目标是通过筛选出与CTP变化密切相关的核心变量，减少不必要的特征干扰，提高模型的预测效率。常见的特征选择方法包括皮尔逊相关系数、Lasso回归、包装法（Wrapper）、极端随机树（ExtraTrees）、熵值法和随机森林等。例如，Sun和Sun（2017）利用皮尔逊相关系数方法筛选出11个可能与碳排放预测相关的特征。Zhao等人（2021）则采用Lasso回归方法选择CTP预测的外部影响特征。相比皮尔逊相关系数和Lasso回归，随机森林方法具有两个显著优势：（1）随机森林能够通过特征重要性评估量化每个特征对模型预测性能的贡献，直接生成一个特征重要性排序列表，特别适用于高维数据和特征冗余较大的场景；（2）通过利用袋外样本机制和随机特征选择，随机森林能够构建多个决策树并整合其结果，从而有效缓解数据噪声的影响，提高模型的泛化能力。由于这些优势，随机森林已被成功应用于部分标签学习等任务。然而，目前在CTP预测中，随机森林方法的研究仍然较少。

突变值发生预测则是通过准确的分类方法来识别CTP序列中的异常波动。分类提升（CatBoost）作为一种先进的分类算法，具有处理高基数分类特征的能力，无需手动进行独热编码或标签编码，从而避免了特征维度爆炸和特征顺序偏差的问题。此外，CatBoost利用有序提升技术，通过随机排列样本动态调整目标统计量，从而缓解梯度提升中的条件偏移问题。这种方法特别适用于不平衡数据集，如CTP突变值预测场景。因此，CatBoost在CTP突变值预测中展现出良好的应用前景。然而，目前基于CatBoost的CTP突变值预测研究仍然较为有限。

综上所述，本文提出的混合模型框架在CTP预测中具有显著的优势。首先，通过随机森林进行特征选择，能够有效识别影响CTP变化的关键因素，提高模型的预测效率。其次，利用分类提升进行突变值发生预测，能够准确区分CTP序列中的异常波动，为市场参与者和政府机构提供及时的决策支持。第三，设计了一种基于2DCNN、BiGRU和多头正则化注意力机制的混合模型，能够全面提取CTP序列中的复杂时空特征，从而提高预测的准确性和可解释性。最后，通过改进的蜂獾优化算法（SHB）优化模型的超参数，使得模型在训练过程中更加稳定，避免了传统优化算法可能陷入局部最优的问题。这些方法的结合不仅提高了CTP预测的准确性，还增强了模型的可解释性和实用性。

本文的研究不仅填补了现有CTP预测方法在突变值识别方面的空白，还为未来碳交易市场预测研究提供了新的思路和方法。通过将特征选择、突变值发生预测和数值预测相结合，本文构建了一个更加全面和高效的预测框架。此外，所提出的2DCNN-BiGRU-MRA模型在捕捉复杂时空特征方面表现出色，而SHB优化算法则有效解决了超参数调整的问题。这些创新方法的引入，使得CTP预测在面对市场剧烈波动和复杂非线性关系时，能够提供更加准确和稳定的预测结果。

在未来的研究中，可以进一步探索如何将更多的机器学习算法与启发式优化方法相结合，以提高CTP预测的精度和效率。同时，也可以考虑引入更多的特征选择方法，以增强模型对关键影响因素的识别能力。此外，随着碳交易市场的不断发展，CTP预测的实时性和动态性将变得更加重要，因此需要设计更加灵活和高效的预测模型。本文所提出的方法为这些问题的解决提供了有益的参考，同时也为碳交易市场的可持续发展提供了数据支持和技术保障。