《FinTech》:Capturing Short- and Long-Term Temporal Dependencies Using Bahdanau-Enhanced Fused Attention Model for Financial Data—An Explainable AI Approach
编辑推荐:
股票收盘价预测在财务规划、风险管理及知情投资决策中扮演关键角色。在本研究中,研究人员提出了一种新型模型,该模型将双向门控循环单元(Bidirectional GRU,BiGRU)与三种互补注意力技术(Top-k稀疏注意力(Top-k Sparse Attent
股票收盘价预测在财务规划、风险管理及知情投资决策中扮演关键角色。在本研究中,研究人员提出了一种新型模型,该模型将双向门控循环单元(Bidirectional GRU,BiGRU)与三种互补注意力技术(Top-k稀疏注意力(Top-k Sparse Attention)、全局注意力(Global Attention)和Bahdanau注意力(Bahdanau Attention))协同融合,以应对金融时间序列中复杂、精细且非线性的时间依赖。所提出的融合注意力模型(Fused Attention Model)在两个高波动性、非线性且模式复杂的股票指数(NIFTY 50和S&P 500)上进行了验证,其中80%的历史价格数据用于模型学习,其余20%用于测试。通过与多种基线及混合深度学习架构在多个回归性能指标(如平均绝对误差(Mean Absolute Error,MAE)、均方根误差(Root Mean Squared Error,RMSE)、平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)和决定系数(R2 Score))上的全面结果对比分析,结果表明所提出的融合注意力模型具有显著优越性。尤为重要的是,该模型在NIFTY 50上取得了0.9955的R2值,在S&P 500上取得了0.9961的R2值,展现了最高的预测精度和泛化能力。此外,为缓解深度学习模型在金融预测中的可解释性与透明度问题,研究人员利用三种不同的可解释人工智能(Explainable Artificial Intelligence,XAI)技术,即集成梯度(Integrated Gradients)、SHapley加法解释(SHapley Additive exPlanations,SHAP)和注意力权重分析(Attention Weight Analysis)。这三种XAI技术的结果验证了三种注意力技术与BiGRU模型结合的有效性。所提出的基于BiGRU的融合注意力(BiGRU based Fused Attention,BiG-FA)模型除了具有卓越性能外,其可解释性还提供了一种稳健且可解释的时间序列预测深度学习模型,使其可应用于金融领域之外。
**论文解读:基于BiGRU与三重注意力融合的可解释金融时间序列预测模型**
**研究背景与问题**
金融时间序列预测,尤其是股票收盘价预测,对财务规划、风险管理和投资决策至关重要。然而,股票市场具有高波动性、非线性和复杂模式,传统统计模型(如自回归移动平均模型(ARMA)、差分整合移动平均自回归模型(ARIMA)和广义自回归条件异方差模型(GARCH))难以捕捉非线性和混沌依赖。机器学习方法(如支持向量机(SVM)和人工神经网络(ANN))虽优于统计模型,但仍面临过拟合、无法建模长期时间关系等问题。深度学习模型(如长短期记忆网络(LSTM)和门控循环单元(GRU))通过门控机制改善了长依赖捕获,但单一注意力机制(如仅用全局或稀疏注意力)无法同时处理短期波动与长期结构。此外,Bahdanau注意力在金融预测中尚未充分探索,且现有研究普遍忽视模型可解释性,导致“黑箱”问题。因此,研究人员旨在开发一种能够同时捕获多尺度时间依赖、兼具高准确性与透明度的深度学习模型。
**研究内容与主要贡献**
研究人员提出了一种名为BiGRU融合注意力(BiG-FA)的模型,将双向门控循环单元(BiGRU)与三种互补注意力机制(Top-k稀疏注意力、全局注意力和Bahdanau注意力)融合,并在两个高波动性指数(NIFTY 50和S&P 500)及五只美国个股(AAPL、MSFT、AMZN、GOOGL、META)上进行验证。该模型在多个回归指标(平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)、决定系数(R
2))上显著优于基线模型。此外,研究人员利用集成梯度(Integrated Gradients)、SHapley加法解释(SHAP)和注意力权重分析三种可解释人工智能(XAI)技术,揭示了模型聚焦于最近时间步的决策机制,增强了可解释性。该论文发表在《FinTech》。
**关键技术方法**(约250字)
研究人员采用的主要技术方法包括:1)使用BiGRU作为编码器,从输入序列(30天日收盘价)中学习双向时间依赖;2)融合三种注意力——Top-k稀疏注意力仅保留得分最高的k个时间步以捕获短期高影响波动,全局注意力通过softmax分配权重以捕捉长期趋势,Bahdanau注意力通过可学习查询向量计算对齐分数以实现细粒度时间加权;3)将三个注意力输出的上下文向量拼接后,经全连接层(含ReLU激活和丢弃(dropout))输出次日收盘价预测;4)使用均方误差(MSE)作为损失函数,Adam优化器训练。数据来源:NIFTY 50和S&P 500从2015年1月1日至2024年12月31日的日收盘价,以及美国个股(AAPL等)的同期数据,按80%/20%划分训练集/测试集。模型参数通过早停法(early stopping)防止过拟合。
**研究结果**
**5.1 NIFTY 50指数表现**:通过对比17种模型(含LSTM、GRU、BiLSTM、BiGRU及其注意力变体、N-BEATS、DeepAR、随机森林(Random Forest)、极限梯度提升(XGBoost)等),BiG-FA模型取得最优结果,MAE=124.70、RMSE=173.34、MAPE=0.58%、R
2=0.9955,证实融合注意力能有效捕捉多尺度时间依赖。
**5.2 S&P 500指数表现**:BiG-FA模型同样表现最佳,MAE=30.13、RMSE=40.29、MAPE=0.63%、R
2=0.9961,验证了模型在不同市场(美国)的泛化能力。
**5.3 区域压力测试与危机泛化**:在COVID-19崩盘期(2020年2月至7月)和全球金融危机(2007–2009年)的测试中,BiG-FA模型在S&P 500上分别获得R
2=0.8167和0.9734,在NIFTY 50上分别获得R
2=0.8711和0.9731,表明其在极端市场波动下仍能保持预测稳定性。
**6.1–6.5 美国个股表现**:在AAPL、MSFT、AMZN、GOOGL、META五只个股上,BiG-FA模型均取得最高R
2值(分别为0.9807、0.9612、0.9894、0.9885、0.9875),且MAE和RMSE最低,证明模型对具有不同波动模式个股的鲁棒性。
**7. 模型可解释性**:通过注意力权重可视化(Top-k稀疏、全局和Bahdanau注意力权重图)、集成梯度归因和SHAP值分析,三种XAI技术一致表明模型主要聚焦于输入序列的最后5–6个时间步(尤其是t
29),忽略较早时间步,这与金融直觉(近期价格影响更大)高度一致,增强了模型透明度与可信度。
**总结讨论与结论**
讨论部分指出,三重注意力的互补设计(Top-k稀疏处理短期噪声、全局捕捉长期趋势、Bahdanau提供上下文敏感对齐)共同提升了预测性能,而XAI结果与注意力加权的一致性验证了模型决策的经济合理性。结论部分原文翻译如下:
"在本研究中,研究人员提出了一种新型BiGRU + 融合注意力模型(BiG-FA),该模型利用三种互补注意力机制——Top-k稀疏、全局和Bahdanau注意力——来提高股票市场预测中深度学习模型的预测性能和可解释性。所提出的模型在两个高波动性和不确定性的股票指数(NIFTY 50和S&P 500)上,使用多个评估指标(如MAE、RMSE、MAPE和R
2得分)进行了严格评估。实验结果表明,所提出的融合注意力模型在所有评估指标上均显著优于多种基线和混合深度学习模型。在NIFTY 50指数上,所提出的模型取得了最高的R
2得分0.9955和最低的误差值,展示了其鲁棒性和捕获复杂非线性时间依赖的能力。在S&P 500指数上也观察到类似的优越性能,进一步强化了模型在不同金融市场间的泛化能力。除了预测精度外,研究还特别关注所提出的BiG-FA模型的可解释性,这是金融应用和决策中的关键因素。通过利用注意力权重可视化、集成梯度和SHAP值,研究人员深入揭示了模型的黑箱行为以及输入序列中每个时间步的时序贡献。所有三种可解释方法一致表明,模型聚焦于最近的时间步,与金融直觉高度一致,并增强了预测的可信度。可以得出结论,所提出的基于注意力的模型与基于梯度的归因和SHAP技术在识别两个股票指数中特征重要性方面的收敛,验证了模型提供透明解释和增强可解释性的能力。这种程度的可解释性对于建立各利益相关方的信任和促进金融领域知情决策至关重要。总之,所提出的BiG-FA模型为金融领域的时间序列预测提供了一个稳健、可扩展且可解释的深度学习模型。它为未来研究如何结合多种注意力策略奠定了坚实基础,并强调了XAI在基于深度学习的金融应用中的重要性。作为未来工作的一部分,研究人员计划扩展所提出的模型以探索其在涉及复杂时间关系的其他领域的适用性,并开发实时自适应交易系统。"