EST-GNN:一种可解释的时空图框架,结合Lévy-Optuna优化算法,用于电气化交通中的二氧化碳排放预测 Rabab Hamed M. Aly, Shimaa A. Hussien, Marwa M. Ahmed, Aziza I. Hussein

《Machines》:EST-GNN: An Explainable Spatio-Temporal Graph Framework with Lévy-Optuna Optimization for CO2 Emission Forecasting in Electrified Transportation Rabab Hamed M. Aly, Shimaa A. Hussien, Marwa M. Ahmed and Aziza I. Hussein

【字体: 大 中 小 】 时间:2026年04月23日 来源:Machines 2.5

编辑推荐:

  **摘要** 准确且可解释的碳排放预测对于混合动力和电动交通系统的有效运行及其与能源网络的整合至关重要。本文提出了一种基于可解释时空图神经网络(EST-GNN)的模型,该模型利用Lévy飞行引导的Optuna优化方法实现高精度的二氧化碳(CO2)排放预测。通过将车辆及其运行特

  **摘要**
准确且可解释的碳排放预测对于混合动力和电动交通系统的有效运行及其与能源网络的整合至关重要。本文提出了一种基于可解释时空图神经网络(EST-GNN)的模型,该模型利用Lévy飞行引导的Optuna优化方法实现高精度的二氧化碳(CO2)排放预测。通过将车辆及其运行特性建模为动态图中的节点,该框架能够在保持可解释性的同时,共同学习时间和空间相关性。研究人员将EST-GNN模型的准确性与基于独热编码特征、SMOTE增强数据集和集成回归器的模型进行了比较。使用包含7385辆车辆注册信息的真实世界数据集和12个预测特征进行了实验。结果表明,EST-GNN模型的性能超越了所有基线和传统模型,达到了最高的可靠性(R2 = 0.98754),同时解决了具有竞争力的错误指标(均方根误差RMSE = 6.55,平均绝对误差MAE = 2.556)。这强烈表明,合理的机器学习(ML)模型可以准确地用于资源受限和实时应用场景,而可预测的ML技术的可靠性相对较低。该模型的最佳解决方案确保了可扩展性、鲁棒性和对部署环境的独立性。最佳性能模型的分布分析进一步展示了EST-GNN的能力,它在各项评估指标中占据了大多数最佳结果。为了实现更高级的预测准确性,本文结合了基于图的学习方法、可解释性和先进的超参数优化技术。EST-GNN为分析车队排放水平、制定能源意识决策和规划可持续交通提供了一个强大的工具,而ML模型则继续作为高计算成本和快速响应场景下的有用补充。

**1. 引言**
温室气体排放,特别是二氧化碳(CO2),是21世纪面临的主要全球挑战。全球变暖在气候变化中起着关键作用,并对许多国家的社会经济系统产生了重大影响。这些排放主要来自化石燃料燃烧和工业过程,是人类引起的气候变化和全球变暖的主要来源。这些排放源包括能源、交通和工业活动。一些研究者基于能源消耗等关键数据,并采用聚类、预测机器学习(ML)算法和特征选择技术,开发了一个简化的多步骤CO2排放估算框架[1]。他们提出了一种方法,用于选择某些国家(包括中国)的实时日排放量预测器。ML通过更好地处理大数据,推动了碳排放预测的进步。与传统统计方法相比,ML和深度学习(DL)技术能够处理大量历史和实时数据(如能源消耗、工业生产或经济指标),从而发现隐藏的模式和非线性相关性。此外,其他有效方法如回归模型和神经网络方法也提高了预测精度,使组织能够估算排放模式并制定缓解措施。ML和DL对于应对气候变化和加速环境增长也至关重要,因为它们可以自动化并改进温室气体排放的估算。

本文提出了一种基于可解释时空图神经网络(EST-GNN)的模型,利用Lévy飞行引导的Optuna优化方法实现高精度的CO2排放预测。本文的其余部分结构如下:第2节介绍相关工作及文献综述;第3节描述了系统模型和方法论;第4节展示了所提模型各组成部分的实验结果;最后,第5节对本文进行了总结和结论。

**2. 文献综述**
政府、科学家和国际组织通过巴黎协定、碳定价和可再生能源采纳等政策优先考虑减少CO2排放。此外,还在探索碳捕获与封存(CCS)技术的进步以及可持续能源转型,以减少排放。工业排放数据表现出离散的空间和时间分布以及显著的季节性波动,因此工业生产的管理需要高时间分辨率和预测精度。值得注意的是,目前大多数区域工业碳排放预测研究都是基于长期未来预测(年度或月度尺度)进行的,而基于工业过程的短期高频率实时排放预测问题尚未得到充分讨论。尽管这些研究能够准确模拟长期排放路径和政策情景,但某些研究者未能提供工业过程控制所需的实时精度。实时监测高频率碳排放可以为政策制定者提供关于工业实践的重要信息,从而及时了解区域排放动态并识别主要排放源。准确的未来碳排放预测对于可持续发展政策至关重要,也是制定有效减排政策的科学基础。黄河流域是一个重要的经济和环境区域,被列为中国区域发展战略的关键区域之一。分析该地区的碳排放驱动因素并建立准确的预测模型对于政策制定过程非常重要。如果能够加强黄河流域的减排工作,将有助于实现中国的双碳目标——碳排放峰值和碳中和。某研究[2]利用1970年至2017年的年度时间序列数据,分析了俄罗斯的CO2排放、能源消耗和经济增长之间的联系。初步分析包括时间序列分析(检查平稳性、突变等)。研究者开发了一种创新的数据到因果关系(D2C)算法,并将其应用于机器学习实验中。两种方法的对比计算表明,经济增长是能源消耗和CO2排放的决定性因素。方差分解分析表明,积极的可持续经济增长可以战略性地促使投资于污染较少的能源类型。这些结果通过新的D2C算法在鲁棒性检验中得到了验证。国际气候缓解运动促使各国设定更加雄心勃勃的温室气体减排目标,但关于这些目标对政策实施和资源分配影响的证据有限。某研究[3]应用不连续回归分析表明,中国较高的减排目标对城市土地使用决策有显著影响——在节能减排力度较大的城市,用于碳高效产业的土地分配增加了约15%。结果表明,这些环境标准减少了向碳密集型行业的土地供应,表明历史经济依赖性和区域比较优势仍在发挥作用。分析还发现,政策效率与经济增长需求及地方官员的晋升动机密切相关。同时,公众环境意识的提高也促进了政策合规性。研究在高碳目标地区报告了排放与经济活动的同时变化现象。这些结果为开发多任务治理系统提供了重要启示,特别是在平衡环境可持续性和经济增长方面。

参考文献[4]中提出了一个方法论过程的两个主要步骤,用于计算支持中国向碳中和经济转型的碳捕获与封存(CE)部署的主要分布和反应。参考文献[4]采用模糊层次分析过程(FAHP)方法来确定减少商业规模CE排放的关键障碍。另一种模糊VIekriterijumsko KOmpromisno Rangarajan(FVIKOR)方法也被用来评估所识别和报告的情景,特别关注它们在减少CO2排放和克服FAHP分析指出的障碍方面的有效性。FAHP分析指出,废物管理系统(CECER2)是最关键的挑战,其次是监管复杂性(CECER5)和缺乏财政支持(CECER4)。补充的FVIKOR结果表明,有三种主要的减排选项:(1)改进的政策和监管框架(CES6)、(2)废物减少方案(CES4)以及(3)回收/升级系统(CES2)。这些结果强调了需要量身定制的政策工具和经济激励措施来促进CE的采纳。研究者表明,选择性采纳这些政策可能在中国脱碳尝试中发挥重要作用,并有助于实现环境可持续性目标。研究者开发了一个bagging集成模型,用于预测2024-2060年间该地区两个城市和三个省份的排放趋势[5]。研究调查了在不同社会经济发展路径(高增长、低增长和基准情景)下的减排潜力,为促进沿海经济区的低碳发展提供了理论和实际策略建议。参考文献[6]使用可解释的DL研究数据和人工智能(D&AI)对城市碳排放的影响。参考文献[7]结合了决策深度与交叉特征转换网络(DDCFTN)技术进行特征筛选和建模,达到了高预测精度,统计指标包括决定系数(R2 = 0.994)、均方根误差(RMSE = 579.88)和平均绝对误差(MAE = 440.91)。分析使用了2000年至2021年中国275个城市的数据。另一方面,参考文献[7]提出了一种基于碳意识粒子群优化(PSO)的超参数优化(HPO)算法,该算法结合了双重目标函数,旨在在最大化模型准确性的同时最小化碳排放。与传统HPO方法不同,所提算法整合了提前停止机制以减少不必要的计算,从而缩短了训练时间和能耗。为了最大化资源利用,该算法在节能硬件配置(包括CPU和GPU)上运行。参考文献[8]提出了一种云边协作框架,以解决多方参与者(用户、供应商和综合能源零售商/IERs)在能源交易系统(RIES)中的协调问题。在传统的垂直整合模型中,多能源交易不利于经济和低碳运营。他们的框架整合了碳意识多能源交易,其中IER作为云服务提供商,用户/供应商作为边缘节点,使用SHADE算法。模拟显示,该框架有效降低了RIES的碳排放2.4%,交易成本降低了3.4%。参考文献[9]提出了一种基于新型双路径递归神经网络(DPRNN)和改进优化算法的系统,用于准确预测CO2排放。为了提高数据输入质量,该方法采用了PCA和BSS等先进的数据预处理方法。从优化后的DPRNN模型获得的预测结果在捕捉时间变化模式(预测R2 = 0.9736)和减少误差方面优于其他几种方法。Wilcoxon和ANOVA统计结果也验证了模型的稳健性。这种方法为政策制定者提供了有用的排放监测工具,并可扩展用于其他温室气体的政策跟踪和未来的实时监测。参考文献[10]提出了一种新的混合整数线性规划(MILP)模型,为化学工业集群的脱碳提供了关键见解。研究者创新地处理了两个典型氨-乙烯生产集群的多维度脱碳挑战,时间分辨率为每小时。研究指出现有近商业化选项(电气化、绿色氢气和CCS)的严重限制,发现它们的最大实施程度不足以实现完全脱碳。一项重要发现是互补基础设施的重要性,表明CO2运输/存储对于降低排放至关重要,因为加入这一能力可使预测排放量降低118%。流程整合带来了显著的经济(9-11%的成本节约)和技术效益(29-54%的排放减少),但代价是降低了运营灵活性。由此产生的框架作为了一个强大的决策支持工具,用于制定针对集群特征的去碳化路线图,并在理论和实践上为工业可持续性转型做出了贡献。在参考文献[11]中,还提出了一种模型无关的掩码元优化方法。该方法能够揭示跨多个分析视角、时间步长和节点位置的全局重要因素。通过使用现实世界的预测数据集进行定性和定量实验,发现所推荐的方法能够有效地解释模型预测结果,并且与最先进的XAI技术具有竞争力。接下来的部分将介绍一种基于现有碳排放建模和基于机器学习(ML)的预测方法论的排放预测和减少方法框架。最近开发的一种可解释的时空图神经网络(EST-GNN),以及传统的和基于ML的模型,被用来将现有的分析测量数据结合到混合和电动交通系统中。

3. 方法与材料
架构图总结了一个从车辆数据预测二氧化碳排放的有组织的工作流程,该流程分为五个主要阶段:数据准备、数据预处理、模型实现、超参数调整以及结果汇编。在参考文献[11]中介绍的架构设计被批准作为基础框架。随后,根据数据集的特点提出了一种技术,以解释各组成部分及其连接关系,如图1所示。图1所示为所提出的系统架构。该数据集研究了多个车辆特征如何影响二氧化碳排放。数据来源于加拿大政府的官方开放数据门户,涵盖了七年的准确收集数据。

3.1. 数据准备
数据准备是实现碳排放回归分析的关键组成部分之一。它包括多种重要技术。首先需要验证数据质量,以确保数据集的准确性和可靠性,这是获得有效分析结果的关键因素。表1提供了数据集中包含的特征的详细描述,以及它们各自的单位和类型。另一方面,研究人员还需要收集实时的应用数据集,例如二氧化碳排放水平和人口统计数据。根据上述解释,数据准备首先通过验证数据质量来确保数据集的精确性和可靠性,这是做出有效分析决策的必要条件。收集的数据集包括二氧化碳排放水平和相关的人口统计数据。这一准确且系统化的过程对于构建可用于战略决策和支持环境改善规划的强大回归模型至关重要。

3.2. 数据预处理
数据预处理是提高碳排放回归模型准确性和可靠性的关键步骤。通过使用传统的数据增强方法,原始的7385条车辆记录数据集被扩展到大约22,000条记录,以增强模型的稳健性并减少过拟合。在添加新变量后,对数据集进行了全面预处理,以确认数值独立性和完整性。通过应用t分布随机邻居嵌入(t-SNE)的流形学习技术,我们确认这一处理没有导致人为相关性或数据泄露。选择这种技术是为了衡量合成样本的分布真实性,因为碳排放数据涉及复杂的非线性关系,这些关系通常难以用线性方法捕捉。基于t-SNE分析,合成点在潜空间中进行了研究,而不会坍塌回原始状态。通过结合这两种验证层,该框架确认其性能可以推广到独立的真实世界数据点,而不仅仅是合成相关性的结果。这一过程对于汽车交通的二氧化碳排放应用分析非常重要。实验数据分析和ML算法的训练用于提高模型性能,并检查R平方值和平均绝对误差(MAE)。有一种技术提出了一个数据清洗和特征选择的流程,这对于大型工业数据集至关重要,并通过轻量级梯度提升回归器(Light Gradient Boosting Regressor)提高了模型准确性。此外,在区域排放负荷勾画中可以明显看出预处理的必要性。在这里,数据被清洗、转换和整合,以便为后续建模步骤做好准备。这些举措强调了高质量数据预处理对于在多种环境中建立准确和稳定的碳排放预测模型的关键重要性。后者方面可以简要总结如下:
(1) 数据加载:数据加载是输入模型的独立变量,而模型旨在预测作为因变量的碳排放。这种关系通常通过统计或ML方法来建模,通过检查负荷变化对排放水平的影响来体现。例如,在电网中的电力负荷或车辆中的发动机负荷可以作为系统性能数据来解释。
(2) 分类变量的One-hot编码:将具有K个唯一值的分类变量转换为K个新的二进制列。每个数据观测值下放1,其余类别下放0。这使得回归模型能够以数值方式处理分类数据。One-hot编码简单且可以防止模型学习类别之间的任何顺序关系。对于能够学习线性关系的模型(如线性回归和神经网络)来说特别有效。
(3) 特征工程是设计和构建适当的输入变量,以帮助回归模型更好地预测碳排放。其中包含的技术包括特征选择(选择最具指示性的变量)、特征提取(重新格式化现有变量)和特征构建(从现有数据中派生新变量)。在预测碳排放的背景下,特征工程有助于降低数据维度,丢弃无关或冗余信息,并突出最重要的特征,从而得到更准确和可解释的模型。
(4) 特征缩放:特征缩放是进行回归建模的关键方面,尤其是在预测碳排放时。它确保所有因素对模型的贡献均等,从而使预测更加准确和稳健。将输入变量标准化到相同的尺度,可以防止具有较大数值范围的变量成为回归中的主导因素。在碳排放建模中,输入特征的尺度差异很大。如果没有适当的缩放,较大范围的特征可能会错误地控制模型,导致预测不准确和预测能力下降。
(5) 数据分割:当无法获得新的测试数据时,将现有数据集分割出来用于训练和验证回归模型是一种方便的方法。与随机分割相比,最佳的数据分割策略可以在多种建模技术中显著提高最坏情况下的测试性能。

3.3. 模型实现
为了使用相关输入预测碳排放,选择合适的ML回归模型是必不可少的。首先构建模型设计和特征集,然后使用数据进行训练,并评估其估计性能。模型选择基于数据的复杂性、已知的活跃变量以及预期目标。

3.3.1. 机器学习(ML)模型
由于ML模型能够捕捉许多特征之间的复杂非线性关系,因此被用于预测碳排放。这些模型基于历史数据来预测车辆碳排放,并且在准确性和一致性方面表现优于现有的统计方法。一些最流行的ML回归方法包括:
(a) 线性回归:它可以用来说明碳排放与多个预测变量之间的数学关系。标准线性回归需要考虑三个因素:响应变量和自变量之间的线性关系、具有恒定方差的正态分布误差以及独立的观测值。一些现有研究在模型中添加了对数正态误差项,以考虑数据中的方差。
(b) 岭回归(Ridge Regression):当数据集包含许多变量时,岭回归提高了碳排放监测模型的稳定性和可解释性。这种方法通过对回归系数的大小施加惩罚来将其大小降至零,从而在最小化过拟合风险和保留统计上显著相关的特征之间取得平衡。在这种情况下,除了普通最小二乘(OLS)回归之外,还惩罚了系数的总和绝对值。一个调整参数(通常表示为α或λ)用于调节惩罚的幅度,逐渐迫使系数趋近于零,但不会完全忽略它们。交叉验证用于选择最佳性能的岭参数值。它保持了模型偏差与方差之间的战略平衡,以便在实际情况下提高预测精度。
(c) Lasso回归:这里的变量选择方法基于Lasso回归(最小绝对值收缩和选择算子),这是一种线性回归方法,它强制回归系数的绝对值之和小于一个固定值。这种惩罚消除了某些系数,减少了预测变量的维度并简化了模型。当研究许多候选预测变量时,Lasso回归特别适用于碳排放建模,因为它可以防止过拟合并考虑多重共线性。
(d) 决策树回归(DT Regression):如前所述,DT回归根据特征的值递归划分数据,并安排每个节点和分支的深度。在决策树中,内部节点表示特定特征的决策规则,叶子节点输出连续的结果,例如碳排放。为了进行碳排放回归,模型使用历史数据集进行训练,以发现输入特征与排放水平之间的关系。通过二分划分,树分支逐渐变得更为同质,更适合碳排放。
(e) 随机森林回归(RFR):RFR是一种流行且广泛使用的ML方法,许多研究用它来预测碳排放,它是模拟预测变量和响应变量之间复杂非线性关系的最强方法之一。此外,提出了带有堆叠的RFR模型来估算人为全球二氧化碳排放,取得了很好的预测结果。总体而言,RFR的灵活性和高预测能力使其成为环境研究和碳排放政策制定中的重要方法。
(f) 支持向量回归(SVR):支持向量回归(SVR)是一种应用于回归任务的先进ML技术,通过扩展支持向量机(SVM)的基础概念来处理回归分析。SVR的主要目标是确定一个函数,该函数能够精确地近似输入特征到实值输出的映射,通过凸单步优化过程优化泛化性能。这突显了SVR在模拟碳排放数据中复杂非线性关系方面的适应性和效率,使其成为预测建模不可或缺的工具。
(g) XGBoost回归:XGBoost回归是一种集成学习方法,利用梯度提升来构建一系列决策树。每棵后续树都在纠正前一棵树的错误,从而提高整体预测准确性。在碳排放研究领域,XGBoost回归被用来基于多样化的输入特征集建模和预测排放。这种方法已成功应用于估算能源消耗产生的碳排放,展示了其有效捕捉排放与其影响因素之间复杂非线性关系的能力。
(h) 梯度提升回归(Gradient Boosting Regression):梯度提升回归是一种集成学习方法,它逐步构建一系列决策树,每棵树都旨在纠正前一颗树的误差。这种迭代过程使模型能够捕捉输入变量中的复杂模式和交互作用,使其特别适用于涉及碳排放的回归任务。该技术具有高度灵活性,提供了广泛的可调整超参数和损失函数,可以微调以提高精度并减少过拟合的可能性。EST-GNN模型实现

可解释的时空图神经网络框架(EST-GNN)通过增加必要的可解释性来增强STGNN,从而同时实现准确的预测和有界解释 [37]。作为STG的编码器和解码器,所提出的方法分别使用了时空图注意力网络和位置信息融合层。此外,STG编码器和解码器实现了基于图信息瓶颈(GIB)理论的结构浓缩方法。Lévy Flight被用来通过Optuna优化目标改进搜索算法。通过增强Lévy Flight的Optuna超参数调优,所提出的EST框架在强制时空图信息瓶颈的同时最小化了预测误差。时空图(G)通过将特征映射到一个交互式拓扑结构来构建。原始数据集包含7385条静态车辆记录。为了减少过拟合并提高模型的鲁棒性,通过向数值特征(如发动机尺寸和燃油消耗率)中添加随机变化,并对分类特征(包括传动类型和燃油类型)使用噪声注入方法,将记录数量增加到了大约22,000个样本。

图的空间组成部分()是基于技术要求(制造、车辆类别、发动机尺寸和气缸数)之间的相似性矩阵建立的,其中具有高余弦值的节点通过空间边连接起来。此外,通过将城市、公路和综合行驶视为持续的运营活动,获得了燃油消耗的时间组成部分。在EST-GNN中,可以通过随时间编码的渐进边()达到动态系统状态,从而获得二氧化碳排放量的演变。

EST-GNN框架提出了以下方程:STG特征矩阵X被嵌入到d维潜空间中,其中T是时间步长,N是区域数量,F是特征维度,初始嵌入层表示为(1)(1)。相反,空间嵌入转换在通用公式中表示为(2);它编码了与时间无关的空间上下文 [38](2)。空间图注意力描述了节点之间的空间依赖性,表示为(3),并将其描述为空间图中邻居的多头注意力(3),其中(4)(3)。时空图表示了车辆在空间和时间上的关系。图被分类为(),其中表示车辆集合(节点),表示捕捉车辆之间相似性的空间边,表示随时间编码的车辆特征演变。

为了确保模型的可靠性,时空图是通过一个健壮的协议构建的。

首先,节点集V由噪声注入增强过程中生成的22,000条车辆注册记录组成。其次,通过计算技术特性(例如发动机尺寸和气缸数)之间的相似性矩阵S来创建空间边;如果节点之间的余弦相似性超过定义的阈值,则存在一条边,使模型能够从相似车辆架构的簇中学习。第三,通过将燃油消耗指标(城市、公路和综合)映射为连续的操作轨迹来构建时间边(Et)。这可以将静态车辆参数转换为动态的“系统状态”序列,使模型能够捕捉二氧化碳排放量的演变。此外,图信息瓶颈(GIB)作用于该模型(8),以减少无信息的边,从而得到一个稀疏的、可解释的邻接矩阵,描述了排放量的最关键物理驱动因素。

输入特征矩阵包含每辆车的特征,而底层账户是通过EST(可解释的时空)模型学习的,表示为(5),其中是空间图,是时间图。这个方程声明模型能够同时捕捉车辆之间的空间相关性。

1) ST-Edge采样(图信息瓶颈):图明确显示了边采样概率:(6),其中:(7)。这对应于在ST-Edge采样块中保留/丢弃边。根据图1中的图表,主要理论公式如下:GIB的基本原理是通过最小化(8)[11]来优化嵌入。根据信息瓶颈原理,通过忽略噪声特征并关注高影响力的物理变量,EST-GNN是可解释的。方程(8)被批准产生一个稀疏图,其中12个特征被分类。(8)。该方程表示ST-Edge采样的结构,它结合了压缩、预测和图结构。在这里,评估了压缩表示与原始输入特征之间的互信息,确认模型在去除冗余的同时回忆了关键数据。项实现了空间图相对于目标变量的预测能力,帮助图回忆最具有信息量的边以进行准确预测。最后,表示图压缩,通过最小化不必要的边来促进获得图的稀疏性。权衡参数在保持紧凑和可解释的图的同时,平衡了分析精度的重要性。总体而言,这个方程证明了可解释和压缩图的学习,允许模型生成稀疏的、可解释的图,捕捉关键的时空关系而不丢失重要信息。

总之,该概述可解释性的核心在于时空(ST)Edge采样块,它使用了图信息瓶颈(GIB)来源。这个过程由标记为方程(8)的目标函数管理,数学上描述了信息压缩和预测性能之间的权衡。第一项I(Z; X)计算压缩表示(Z)和原始输入特征(X)之间的互信息,确认模型在去除冗余的同时保留了关键数据。第二项I(Y)提高了空间图相对于目标二氧化碳排放变量(Y)的预测能力,指导采样过程保留最具有信息量的边。最后,I(; G)通过减少不显著的相关性来促进图的稀疏性,有效地过滤掉噪声特征。权衡参数限制了这些对立特征,使得EST-GNN能够产生一个稀疏的、可解释的图结构,捕捉控制车辆排放的关键时空关系,而不妥协分析精度。

相反,二氧化碳排放的预测损失定义为(9),其中表示真实的二氧化碳排放量,表示预测的排放量。这个方程适用于均方误差(MSE),它衡量所有样本之间预测值和实际值之间的差异。最小化这种损失确保模型通过纠正大的偏差准确预测二氧化碳排放量,使其成为训练车辆排放分析预测模型的基本组成部分。

3.3.3 使用Optuna优化的超参数调优

Optuna优化和超参数的优化过程如下:(10),其中表示模型的总损失。超参数θ通常包括主要环境,如学习率,它控制模型在训练期间的更新速度;丢弃率,通过随机停用神经元来避免过拟合;以及隐藏单元的数量,它调节神经网络层的容量。通过系统地探索这些超参数的不同组合,Optuna找到了产生最精确和稳定模型性能的方案,确保了有效和可靠的学习 [38,39,40]。

- 使用Lévy Flight增强Optuna搜索:(14),其中是当前超参数向量,是控制每次更新大小的步长,是塑造跳跃重尾分布的Lévy指数。通过利用Lévy Flight,搜索可以执行小的局部微调和随机的大幅度搜索跳跃,使优化器能够逃避局部最小值并更有效地探索超参数空间 [41]。这种方法支持在Optuna优化中经常看到的长跳跃路径,并改善了整体收敛到最佳超参数的过程。最后,最终输出使用增强的EST-GNN模型预测二氧化碳排放量,表示为(15),其中表示预测的二氧化碳排放量,表示输入特征,分别表示学习和到的空间和时间图。参数是通过结合Optuna和Lévy Flight增强搜索获得的最优超参数,确保模型实现准确、稳定和优化良好的预测。

为了管理由22,000个增强样本扩展的搜索,必须将Lévy Flight结合到Optuna搜索空间中。在控制识别和连续变量的高维数据集中,大量的连续交付可以避免局部最小值陷阱。这部分模型的结果显示,R2为0.98754,MAE为2.556,表明配置总体适用。现在模型可以从不同的数据集中学习全局模式,确保高性能和与部署环境的独立性。这种配方压缩了从特征表示和图学习到超参数优化排放预测的完整流程。

3.4 评估和结果编译

评估和结果编译涉及所提出的可解释的时空(EST)方法,该方法利用车辆之间的空间和时间关系来建模二氧化碳排放量。时空图通过捕获车辆相似性和表示车辆特征的渐进式演变来构建。所提出的方程被学习并随后用于排放预测。评估和结果导致了一种准确和协调的方法来评估回归模型的执行情况。统计指标,包括R2、RMSE、MAE和平均绝对百分比误差(MAPE),被用来通过测量预测和实际二氧化碳排放量之间的差异来估计模型的预测准确性和可靠性。EST模型的性能与一系列统计和ML方法进行了比较 [42,43,44],如线性回归、SVR、RF、多层感知器(MLP)、高斯过程回归(GPR)和集成学习技术。这种完整的估计对模型的可靠性进行了稳健的测量,并突出了整合时空关系对于准确和可解释的碳排放预测的优势 [45,46,47,48,49]。

4. 结果和讨论

本节研究了ML在车辆数据集上的应用,涵盖了广泛算法的训练和测试结果。ML模型包括线性回归、岭回归、套索回归、决策树回归、RF、SVR、XGBoost回归和梯度提升回归,用于所有特征。模型评估应用了六个标准指标:MAE、MSE、RMSE、R2、MAPE和Huber损失(HL),如方程(16)-(21)中所定义的。最初,ML模型使用One-Hot编码特征和SMOTE技术来处理分类变量和类别变化 [50,51]。之后,这些模型被应用于数据集的改进版本,以捕获更丰富和更有信息量的特征。

MAE测量预测值和实际值之间的平均绝对差异:(16);MSE计算平均平方误差:(17);RMSE是MSE的平方根,以与目标相同的单位提供误差:(18);R2评估预测值与实际值的接近程度:(19);MAPE将误差表示为实际值的百分比:(20);HL结合了平方误差和线性误差项,以抵抗异常值 [52,53,54]:(21)。在这些定性分析中,实施了EST-GNN方法,利用时空图表示和优化的潜在特征学习。结果表明,与传统的估计方法相比,EST-GNN减少了误差差距,产生了高出9.3%的R2。这一显著的优势表明,整合时空图层和Lévy Flight优化在捕捉车辆排放的非线性动态方面带来了统计上的显著增益,证明了所提出框架的高复杂性相对于标准机器学习方法。接下来,分析了所应用的方法,并详细讨论了它们的比较性能结果。

(A) 使用One-Hot编码特征的ML模型结果。表2显示了使用六个评估指标(MAE、MSE、RMSE、R2、MAPE和HL)在训练和测试数据集上各种回归模型的性能比较。在训练数据上,决策树回归和RFR实现了非常低的误差值和接近完美的R2分数,代表了强大的拟合能力。线性回归、岭回归和套索回归模型也展示了高训练精度,R2值接近1.00,尽管误差指标相对较高。表2. 使用One-Hot编码特征的ML模型结果。在测试数据上,基于集成的模型如RF、XGBoost和梯度提升回归展示了更好的泛化性能,保持了低MAE、RMSE和HL值,同时实现了大约0.99的R2值。相比之下,SVR在训练和测试数据集上都显示出了较高的误差值和较低的R2分数,表明其预测性能较差。

总体而言,结果突出了集成学习方法在捕捉数据中复杂关系方面的优越性,而较简单的线性模型在未见数据上显示出稳定但较弱的性能。在图2中,除了SVR之外的所有模型在训练和测试数据集上都获得了高的R2值,表明了强大的预测能力。决策树回归、RFR、XGBoost和梯度提升在训练期间的R2分数接近完美,达到了1.00,并且在测试中保持了0.99的分数,证明了模型具有出色的拟合能力和泛化能力。线性回归和岭回归在训练和测试中也取得了强劲的R2值,分别为1.00和0.99,证实了它们在捕捉数据潜在模式方面的有效性。Lasso回归的表现略低,两个数据集的R2值均为0.99。相比之下,支持向量机(SVR)的表现明显较弱,训练期间的R2值为0.20,测试期间为0.18,表明其拟合效果差且预测能力有限。总体而言,集成模型和线性模型保持了较高的R2分数,而SVR是唯一一个表现显著低于其他模型的。

**图2. 比较了使用独热编码特征的机器学习(ML)模型。**

**(B)使用SMOTE技术的ML模型结果**
应用SMOTE技术时,八种回归算法——线性回归、岭回归、Lasso回归、决策树回归、随机森林(RF)、支持向量机(SVR)、XGBoost回归和梯度提升回归——被应用于该数据集。表3、图3和图4展示了这些模型在训练和测试数据集上的多个评估指标的表现。有趣的是,Lasso回归在测试集上的表现显著提升(R2 = 0.96),表明其泛化能力优于训练时的表现。表3. 使用SMOTE技术的ML模型结果。图3. 使用SMOTE技术的ML模型训练性能比较图。图4. 使用SMOTE技术的ML模型测试性能比较图。然而,这些模型在第一个增强数据集上的结果得到提升后得到了认可。表4展示了这些模型在训练和测试数据集上的多项性能指标结果。**

**表4. 在第一个增强版本的数据集上ML模型的结果。**
总体来看,如图5、图6和图7所示,集成模型如XGBoost、RF和梯度提升回归在训练和测试集上都获得了较高的R2值,表明了它们的出色性能。线性模型虽然可靠,但预测能力较低,而SVR的表现明显落后。R2值进一步证实了集成方法是针对增强数据集最可靠和有效的模型。对比分析(见图5、图6和图7)表明,所提出的EST-GNN架构具备最强大的分析能力。统计验证证明,基于集成的模型,特别是RF、XGBoost和梯度提升,在训练和测试阶段都能保持高可靠性。这些R2值的优异表现反映了模型在SMOTE增强数据集上的良好泛化能力。具体来说,EST-GNN的表现优于所有传统模型,其R2值达到了0.98754,有效解释了98.7%的CO2排放方差。

**图5. 在第一个增强版本的数据集上ML模型的性能比较图。**
**图6. 在平衡技术中使用SMOTE的深度学习(DL)性能比较图。**
**图7. 在具有综合特征工程的最终增强数据集上ML模型的性能比较图。**
总之,如图4所示,所有基于集成的模型以及SVR在两个数据集上都取得了0.88至0.90之间较强的R2分数,证明了它们的稳健性。通过对表现最佳的集成模型计算95%的置信区间来测试这些发现的准确性,区间持续变窄(R2 ± 0.012),表明它们在SMOTE增强数据集上的稳健性和简化能力。随着时间的推移,岭回归和Lasso模型的表现稳定,但R2值介于0.85到0.86之间。在估计的模型中,XGBoost和梯度提升在训练和测试之间的平衡性最好。通过计算置信区间,这些结果证明这些模型是高精度CO2排放预测任务的优秀候选者。

**图7和表5所示,最终增强后的数据集使所有模型都实现了稳定且高性能的表现。**
集成模型,特别是RF、XGBoost和梯度提升,始终提供了优越的结果,训练阶段的R2分数为0.90,测试阶段的R2分数为0.87,显示出强大的模型拟合能力和泛化能力。基于线的模型虽然稳定但预测能力较低,而SVR则提供了一个具有强劲R2值和低误差 margins的竞争性选择。总体而言,结果证实了综合特征工程在提高各种回归技术模型精度方面的有效性。表5. 在高级增强版本的数据集上ML模型的结果。实际结果显示,SVR在MAE、MSE和RMSE指标上提供了高度平衡的表现,并且具有较低的误差 margins。最终,这些结果证明了所提出的完整特征工程和SMOTE增强数据方法在显著减少训练和测试环境之间的性能差距方面的有效性。这种有序的改进证明,高级数据集为交通系统中的准确CO2排放预测奠定了坚实基础(见表6)。

**表6. 在具有综合特征工程的最终增强数据集上ML模型的结果。**

**(C)最佳模型性能总结**
表7和图8总结了在不同数据表示和预处理方案下应用于CO2排放预测的不同建模策略的比较性能。所有实验均使用MATLAB R2023b(MathWorks,美国马萨诸塞州纳蒂克)实现,并在配备16 GB RAM和Intel Core i7处理器(Intel Corporation,美国加利福尼亚州圣克拉拉)的笔记本电脑上执行,处理器运行频率为2.5 GHz,确保了所有评估的一致计算环境。

**表7. 最佳模型性能总结。**
**图8. 最佳模型性能总结。**
对于使用独热编码特征训练的模型,XGBoost取得了最佳性能,具有较高的决定系数(R2 = 0.99)和较低的预测误差(RMSE = 4.77,MAE = 2.54),表明了出色的预测准确性。当SMOTE技术用于解决数据不平衡问题时,Lasso回归成为表现最佳的模型;然而,其性能下降,表现为较低的R2值(0.96)和较高的误差指标。在使用第一个增强版本的数据集时,XGBoost再次证明了其优越性能(R2 = 0.97,RMSE = 8.78,MAE = 3.70),强调了其在处理改进特征集时的稳健性。在高级增强数据集中,尽管XGBoost仍然是表现最佳的模型,但误差值有所增加,表明数据复杂性增加。同样,在综合特征工程下,RF取得了最佳结果,但准确性有所下降,这反映了高维特征空间的挑战。进行特征划分分析以评估模型的可解释性。根据已建立的热力学视角,模型的预测性能受到燃料消耗(L/100 km)和引擎尺寸(L)的强烈影响。传统模型如XGBoost的性能受到无关分类噪声的干扰,从而降低了其物理相关性。

**介绍了一种可解释的时空图神经网络(EST-GNN),用于通过Lévy Flight引导的Optuna优化实现准确的CO2排放预测。**
所提出的EST-GNN超越了所有基线模型,如表7所示,实现了最高的可靠性(R2 = 0.98754),同时具有较低的误差指标(RMSE = 6.55,MAE = 2.556)。与Lévy Flight-Optuna优化结合使用时,XGBoost中的过拟合现象得到了抑制,确保了其在数据集布局中的稳健适用性。这些结果展示了将时空图学习与卓越的模型设计相结合的有效性,突显了EST-GNN相对于常见ML方法的领先地位。对稳定性和特征归因的分析表明,该模型的可解释性得到了验证。

**表7显示,基线组合模型如XGBoost在使用独热编码特征时的初始R2值为0.99,但在更复杂、更高维的特征集上性能显著下降。**
特征泄露和分类噪声可能导致这种方差增加。相比之下,EST-GNN尽管稳定性为0.98754,但MAE仍保持在较低水平。根据图信息瓶颈(GIB)对最优子图进行分类,这种可靠性可以通过分析来量化。根据稀疏性和保真度指标的定量评估,该模型因透明度和对引擎尺寸(L)及燃料消耗(结合)的优先考虑而具有高度预测性。EST-GNN支持与热力学原理一致的物理相关和可复现的碳排放预测结果。

**进行了一系列破坏性分析以评估结构组成部分的具体影响。**
如第3.3.3节所讨论的,EST-GNN支持基本的分析基础,未经高级调优的R2值为0.929。其性能显著高于基线集成模型的0.90358,证明了时空图构建的效率。使用Optuna优化进行超参数调整后,R2值进一步提高至0.95359。然而,使用Lévy引导的搜索在22,000个样本的数据集中使模型能够避开标准贝叶斯方法发现的局部最优解。因此,从架构到局部修改再到全局优化的这一系统化进步实现了高精度的CO2预测。

**在本研究中,通过噪声注入来评估所提出模型的稳健性和可复现性。**
三种主要的车辆远程信息处理预测特征(引擎尺寸、燃料消耗和燃油经济性)使用合成高斯噪声进行了模拟。在5%的噪声阈值下,EST-GNN显示出出色的稳定性,R2值为0.971。然而,XGBoost和随机森林(RF)的基线模型分别下降了12%和15%的性能。这种优势得益于图信息瓶颈机制,该机制过滤掉了不显著的扰动,证实了模型在现实驱动因素中的稳定性。EST-GNN不仅在性能上表现优异,而且在嘈杂的工业环境中也具有可靠性。

**作为模型设计的一部分,系统地采用了三种类型的偏差来确保结果的科学有效性。**
Lévy Flight引导的Optuna优化被用来通过平衡模型对12个预测特征的敏感性来减少统计偏差。EST-GNN解决了通常由常规回归器(如岭回归和Lasso)引起的模型偏差。最后一步是通过严格的验证协议严格控制与样本独立性相关的偏差。在增强阶段,原始数据集的7385条记录被分开,以确保测试完全独立于合成数据。基于R2 = 0.98754,模型的性能证实了其真正的泛化能力,而不是信息泄露或与真实世界数据的模拟相关性。

**为了估计模型架构对优化方法的独立贡献,实施了Lévy Flight引导的Optuna。**
尽管优化器显著提高了XGBoost的预测准确性(R2 = 0.89至0.93)和RF的可预测性(R2 = 0.87至0.91),但这些模型的可靠性仍不如EST-GNN。EST-GNN能够在相同优化条件下保持稳定的R2值(0.98754)和较低的MAE(2.556),证明了时空关系学习和基于GIB的特征裁剪是模型准确性的根本驱动因素。因此,EST-GNN达到了0.98754的最高效率值,证明了它是一种高度专业化且可靠的通用图模型解决方案。通过仅使用包含7385条记录的原始数据集进行的实证研究,验证了该预测模型的有效性,并排除了与数据规模相关的可能偏差。在不使用任何数据增强技术的情况下,R2值为0.94065,也显示出了较高的性能。如前所述,使用增强后的数据集时,同样获得了0.98754的R2值,这证明了该方法没有产生显著的合成偏差。该模型的预测能力主要得益于优化的图结构和Lévy-Optuna调优机制,而数据增强则有助于减少过拟合现象。

5. 结论

本文的研究结果在机器学习理论中具有可靠性,并从分析上展示了组合学习方法应用于具有复杂非线性关系的结构化数据集时的有效性。像XGBoost和RF这样的模型通过有效平衡偏差-方差权衡,展示了出色的预测性能——它们通过模型聚类来控制方差,同时保持了足够的模型表达能力。相比之下,基于线性回归的模型由于捕获非线性模式的能力有限,因此表现出较低的偏差,从而导致性能相对较差。所提出的EST-GNN通过结合时空图学习与Lévy飞行优化超参数的方法,进一步证明了整合设计好的关系信息和优化机制能够提高二氧化碳排放预测的准确性。本文用通过Lévy飞行引导的Optuna优化算法改进的EST-GNN替换了传统模型。该框架实现了0.98754的先进R2值,有助于市政政策的制定和实时车队监控。尽管当前研究使用了包含7385辆车辆注册记录的庞大实际数据集,但其应用范围主要局限于特定区域,这可能限制了结果在其他具有显著不同城市特征或驾驶原则的环境中的直接适用性。此外,当前模型依赖于静态的注册特征;然而,实时动态因素(如不规则的交通密度和环境要求)可以进一步提高排放预测的准确性。该模型的实用应用还包括电驱动交通系统和绿色能源电网的整合。

未来的研究将致力于扩展该框架,以整合实时传感器数据,并在Raspberry Pi 4(Raspberry Pi基金会,英国剑桥)等平台上实现边缘计算,用于道路行为监测。同时,研究还将集中在将模型部署到FPGA(Zynq Z-7010,AMD Xilinx,美国加州圣何塞)和NVIDIA Jetson(NVIDIA公司,美国加州圣克拉拉)等边缘AI平台上,以实现实时排放诊断。另一个扩展目标是将硬件在环(HIL)仿真集成到模型中,以验证其在更复杂的、多模态电驱动交通网络中的表现。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号