基于XGBoost与SHAP的标普500日度方向预测：标签泄漏诊断与可解释性方法论反思

《Scientific Reports》：When SHAP explains a leaked target: a cautionary study of an XGBoost and multi-level SHAP pipeline for S&P 500 direction prediction

　　**摘要**准确预测股价波动对投资者、投资组合管理者和金融监管者而言具有重要意义。尽管机器学习模型在量化金融领域的应用日益广泛，但许多此类模型透明度不足的问题仍然是其在高风险决策环境中广泛应用的重大障碍，尤其是在需要可审计性和责任可追溯性的场景中。本研究提出了一条端到端的可解释预测流程，该流程融合了多类别技术指标工程、XGBoost梯度提升分类以及基于SHAP（SHapley Additive exPlanations）的综合分析，用于标普500指数的日度方向预测，并对该流程进行了严格的诊断评估。在系统性的特征工程阶段，构建了32个技术指标特征，分为六个类别——收益率、趋势指标（移动平均比率、MACD、RSI、布林带）、多尺度波动率、成交量动态、动量振荡器（ROC、ATR、随机振荡器、威廉指标、CCI）以及滞后收益率——这些特征被输入XGBoost分类器中，该分类器采用顺序划分的80/20训练-测试数据集进行训练，以防止前视偏差。在留出测试集上，分类器达到63.84%的准确率和0.6110的宏平均F1分数。然而，对该数据的深入分析颠覆了对其结果的解读。多数类别（"始终预测下跌"）规则在同一划分上已达到59.32%的准确率。数据溯源审计发现，该广泛使用的公开源文件包含了每一个日历日，其中31.1%的行为上一交易日的完全前向填充副本。由于目标变量由严格不等式\(P^{\textrm{c}}_{t+1}>P^{\textrm{c}}_{t}\)定义，每个后继行为前向填充副本的交易日（每个星期五和星期六）均被构建性地标记为"下跌"，使得31.0%的标签独立于市场行为。因此，一条不需要观察任何价格的单比特规则（"当且仅当上一期收益率恰好为零时预测上涨"）即达到63.84%，仅依赖日历的规则达到71.19%，均匹配或超过了分类器的表现。分解模型准确率后发现，其在日历已预先固定标签的行上得分为95.37%，但在246个具有真实次日价格变动的行上仅为49.19%——低于该子集自身的58.54%多数规则基线。一旦移除前向填充的行，模型的区分能力即崩塌至随机水平（单次划分AUC为0.527；六次滚动前进折检验池化AUC为0.476，每次折均重新优化超参数），模型表现低于多数基线，基于成本的回测显示在10个基点的交易成本下夏普比率为\(-0.24\)，而买入并持有策略的夏普比率为\(+0.59\)。SHAP归因在波动率聚类的内部被证明是不可识别的，该聚类内变量间的成对相关系数高达\(r=0.947\)：该聚类成员个体贡献之和为聚类联合贡献的2.64倍，而在每个相关性组中仅保留一个代表性特征进行重新训练——丢弃32个特征中的14个——并未导致性能下降。多层次SHAP机制忠实地解释的是这种数据泄漏而非任何市场机制——最明显的是，354个测试样本中有108个在滞后收益率恰好为零处聚集，并获得系统性的正向归因。因此，本工作的贡献在于方法论层面而非预测层面：它提供了一条可复现、可审计的SHAP结合XGBoost流程，并利用该流程展示了常规使用的公开数据集与严格不等式目标的结合如何制造标签泄漏，而事后解释方法会以表面上的精确性来合理化这种泄漏。我们将该分析提炼为一份面向金融表格数据的可解释机器学习验证清单。