基于变阶分数阶微积分的新型八维超混沌系统混沌分析

《Mathematics》:Variable-Order Fractional Calculus-Based Chaos Analysis of a Novel Eight-Dimensional Hyperchaotic System

【字体: 大 中 小 】 时间:2026年07月25日 来源:Mathematics 2.3

编辑推荐:

  随着大数据时代人工智能技术的快速发展,时间序列预测在环境监测和金融市场分析等关键领域变得不可或缺。然而,现有预测模型在提取高维特征时常常遇到性能限制,并且通常无法动态关注长序列中的关键信息。为解决这些挑战,本研究提出了一种多头注意力融合模型(multi-hea

  
随着大数据时代人工智能技术的快速发展,时间序列预测在环境监测和金融市场分析等关键领域变得不可或缺。然而,现有预测模型在提取高维特征时常常遇到性能限制,并且通常无法动态关注长序列中的关键信息。为解决这些挑战,本研究提出了一种多头注意力融合模型(multi-head attention fusion model,MAFM),旨在提升对不同应用场景中高维和非线性数据的预测精度与建模能力。研究人员在环境和金融领域的两个异构数据集上进行了实验。通过正交实验设计优化MAFM的关键超参数后,该模型在两个数据集上的决定系数(coefficient of determination)均超过0.90。此外,四个对比实验的结果表明,MAFM consistently优于传统机器学习模型(包括支持向量回归(support vector regression,SVR)和极端梯度提升(extreme gradient boosting,XGBoost))以及最先进的深度学习模型(如长短期记忆网络(long short-term memory,LSTM)、时序卷积网络(temporal convolutional network,TCN)和Transformer)。与每个子数据集上表现最佳的基线模型相比,MAFM的均方误差(mean squared error,MSE)分别降低了44.4%、8.3%、29.4%和65.5%,凸显了其优越的预测性能和强大的泛化能力。总之,所提出的MAFM为跨域时间序列预测任务提供了一种高效、稳健且可解释的解决方案,其卓越性能展示了在环境监测、金融预测及其他实际场景中的巨大应用潜力。
**论文解读:基于多头注意力融合模型的高维时间序列预测研究**

**研究背景与问题**

时间序列预测在环境监测(如PM2.5浓度预测)和金融市场分析(如股票价格预测)中具有重要应用价值。现有深度学习方法虽具备强大表示能力,但仍面临若干挑战:基于卷积神经网络(convolutional neural network,CNN)的架构常采用池化操作,可能破坏时序连续性;混合模型超参数多且依赖经验调优,缺乏系统性优化策略;Transformer的自注意力计算复杂度随序列长度二次增长,易过拟合且对高频噪声敏感。此外,图神经网络(graph neural network,GNN)虽能建模变量间依赖关系,但图构建增加了模型复杂度。因此,亟需开发一种既能高效提取高维特征、又能动态聚焦长序列关键信息,且计算复杂度适中的轻量化预测模型。

**研究内容与结论**

该研究提出了一种多头注意力融合模型(multi-head attention fusion model,MAFM),通过移除CNN的池化层、引入双向长短期记忆网络(bidirectional long short-term memory,BiLSTM)和多头自注意力机制,实现多级特征提取与全局依赖建模。研究人员在环境(北京PM2.5浓度)和金融(Google股票价格)两个领域的四个子数据集上进行了系统实验。采用正交实验设计优化超参数后,MAFM在所有数据集上取得了优于传统机器学习模型(SVR、XGBoost)和主流深度学习模型(LSTM、TCN、Transformer)的预测性能,决定系数(R2)最高达0.9758,均方误差相对最佳基线降低44.4%至65.5%。消融实验进一步验证了CNN、BiLSTM和多头注意力模块的贡献。该研究提供了一种高效、稳健且可解释的跨域时间序列预测解决方案,具有重要的实践意义。论文发表在《Mathematics》。

**关键技术方法(不超过250字)**

主要关键技术方法包括:(1)移除传统CNN池化层,采用逐点卷积(pointwise convolution)进行跨通道特征融合,保留时序连续性;(2)利用BiLSTM网络从正向和反向两个方向捕获长时序依赖,生成包含双向信息的隐状态序列;(3)引入多头缩放点积自注意力机制(multi-head scaled dot-product self-attention),将BiLSTM输出投影到多个特征子空间,并行计算注意力权重并进行动态加权聚合,增强对关键局部特征和全局依赖的捕捉能力;(4)采用正交实验设计系统优化学习率、隐藏维度和注意力头数三个关键超参数,确保模型在不同数据集上的最优性能。数据来源包括北京空气质量监测网站(2010-2014年逐小时数据)和Kaggle金融数据集(Google股票2016-2020年日数据),按7:3时间顺序划分训练集与测试集。

**研究结果**

**4.5.1. 环境数据预测结果**
在PM2.5浓度预测任务中,通过对比实验得出:MAFM在两个子数据集(PM2.5_A和PM2.5_B)上均取得最优MSE和R2值,其中在PM2.5_A上R2达0.9068,MSE较最佳基线(LSTM)降低44.4%;在PM2.5_B上R2为0.881,MSE降低8.3%。收敛曲线和预测拟合曲线显示MAFM训练收敛更快、波动更小,并能更准确地拟合峰值、谷值及剧烈波动区域。

**4.5.2. 金融数据预测结果**
在Google股票价格预测任务中,通过对比实验得出:MAFM在两个子数据集(Google_A和Google_B)上MSE分别较最佳基线降低29.4%和65.5%,在Google_A上R2达0.9758。传统机器学习模型表现较差,深度学习基线存在趋势滞后和转折点偏差。MAFM收敛稳定,能够准确捕捉长期上升趋势和短期波动,其性能优势源于多头注意力机制与时序卷积的融合。

**4.6. 消融实验**
通过对比BiLSTM+Attention、CNN+BiLSTM和CNN+LSTM+Attention三种变体,得出:MAFM在所有异构数据集上优于所有消融变体。在PM2.5预测中,MAFM的MSE为0.0005,较最佳变体CNN+BiLSTM降低28.6%;在Google股票预测中,MSE降低29.4%。预测拟合曲线显示,串行结构(如CNN+LSTM+Attention)在极端点处偏差大,而MAFM在趋势转折点和波动幅度上匹配更准确,验证了多头注意力增强融合架构的有效性。

**总结讨论与研究结论翻译**

**讨论**:消融实验进一步支持了模型设计的合理性。单纯串行融合局部与时序特征,或在输出层简单添加注意力机制,均无法同时准确提取高维局部特征并有效建模长程依赖。MAFM通过多头注意力增强融合架构,并行提取不同尺度时序特征,并进行动态加权和全局融合,有效缓解了串行架构的信息丢失问题,并弥补了常规注意力对关键局部特征关注不足的缺陷。

**结论**:为解决短期时间序列预测中高维特征提取困难、预测精度有限和长序列依赖建模不足等问题,本研究提出了多头注意力融合模型(MAFM)。该模型移除了传统CNN中的池化层,采用逐点卷积进行特征融合以提取局部时序特征;利用BiLSTM网络从过去和未来上下文中捕获双向依赖;引入多头注意力机制对相关信息进行加权聚合。通过北京PM2.5浓度和Google股票价格两项预测任务的综合实验,结果表明MAFM在所有四个子数据集上 consistently 优于传统机器学习和主流深度学习模型。消融研究确认了CNN、BiLSTM和注意力模块对整体性能的贡献。与堆叠多层编码器的Transformer模型相比,MAFM采用由单层1D卷积、一层BiLSTM和一层多头注意力模块组成的相对轻量架构,计算复杂度适中,适用于短期时间序列预测任务。尽管结果令人鼓舞,MAFM仍存在局限性:输入维度增加时参数数量大幅增长导致计算成本升高;作为端到端模型可解释性有限;仅在两类时间序列数据集上评估,泛化能力验证不足。未来工作将探索GNN和自适应图学习技术,将时序建模与基于图的特征交互学习相结合,以期更好地捕获异构变量间的复杂关系,并在更广泛的应用场景和代表性公共数据集上评估泛化能力与鲁棒性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号