摘要
由于金融数据具有非平稳性和噪声特性，股票走势预测仍然具有挑战性。尽管注意力机制被广泛用于增强神经网络，但不同注意力集成策略对性能和训练稳定性的影响尚未得到系统研究。我们提出了一项基于多种子样本的实证分析，比较了在三种集成策略（普通MLP、简单插入的自注意力以及残差注意力）下，结合LSTM和Transformer基线模型的表现。研究使用了10只CSI 300股票和10只S&P 500股票的数据，评估了16种配置，在严格的未来视角标签、经过时间筛选的数据分割以及提前停止训练的条件下进行了1600次实验。其中，简单插入自注意力的策略在每次实验中都会导致单一类别预测的退化；而在保留原始表示的策略中，这种情况的发生频率并不高于不使用注意力机制的模型。经过多重比较校正（Holm调整后的p值<10^-3）后，这种差异具有统计学意义。相比之下，排除退化实验结果后，各模型家族之间的准确性差异并不显著，所有非退化模型家族的无条件平衡准确性都在0.01以内——这与市场效率理论所暗示的短期可预测性有限的情况一致。通过对注意力模块进行雅可比分析，并结合训练诊断结果，发现这种退化现象是由于一个秩为1的注意力矩阵导致的，该矩阵将输入表示压缩为一个单一标量（除非保留了原始表示）。多种子样本分析进一步表明，注意力权重的解释结果在不同随机种子下不具有重复性，需要在多次实验中加以验证。这些发现表明，决定注意力增强模型能否可靠训练的是集成策略和原始表示的保留情况，而不仅仅是是否简单地加入了注意力机制。
