金融市场中Mamba选择性门控的机制可解释性：一项泄漏控制研究

《Pattern Recognition》：Mechanistic Interpretability of Mamba’s Selective Gate in Financial Markets: A Leakage-Controlled Study

　　

• 金融 Mamba SSM 的首个泄漏控制的机制可解释性研究 • 原始 F1 = 1.00 的状态分类在控制条件下坍塌至 F1 = 0.398 • 2×2 归因网格：结果是辅助监督加上标签定义输入的交互产物 • 对未训练的 Mamba 应用 SAE 可达 F1 = 0.364；训练-未训练差距仅 0.034 • 可复用的协议：不相交标签、无辅助头、未训练模型参照

**引言**

深度学习已从根本上改变了商业量化金融领域。算法交易约占美国股票成交量的70%[1]，近期在开发更精密的神经网络架构方面也有大量进展。除了行业中的这些快速发展外，选择性状态空间模型（SSM）正作为一种计算高效的 Transformer 架构替代方案，在处理序列金融数据时日益受到欢迎。其中包括：CryptoMamba 使用 SSM 进行加密货币预测[3]；MambaStock 利用选择性扫描进行股票预测[4]；FinMamba 使用图增强多尺度处理进行股票预测[5]；以及 CrossMamba 利用跨序列编码器-解码器交互进行股价预测[6]。这些架构的线性时间复杂度加上具有竞争力的准确率，使它们在延迟敏感的金融部署中尤为吸引人，因为在这些场景中，微秒级延迟即可决定盈利能力。

尽管 Mamba 模型在预测中的应用有所增加，但仍存在一个关键开放性问题：这些模型如何内部编码和处理决定其在不同市场条件下行为的市场状态信息（即牛市/熊市/横盘市场）？这些模型为状态变化所形成的内部表征仍未被探索。这种透明度的缺乏造成了两个重大问题。一个问题来自合规角度：欧盟人工智能法案要求自2026年8月起，所有用于金融服务的AI系统必须具备透明度/可解释性[7]。第二个问题来自实践角度：如果无法理解模型如何表征状态变化，从业者就无法识别模型在状态转换期间何时及为何失败，无法预见性能下降，也无法对模型输出建立合理的信心。

机制可解释性（MI）是一种用于逆向工程神经网络的新兴方法论，Bereska & Gavves 对此进行了全面综述[37]。MI 通过提供将神经激活表示为可解释特征的理论基础，解决了可解释表征的需求。为实现此目标，MI 应用了各种技术，包括稀疏自编码器（SAE）和因果干预，将神经网络激活分解为可理解的部分。值得注意的是，MI 在解释大语言模型方面已取得了一些显著成功。Anthropic 使用 SAE 进行的缩放实验成功地识别了商用模型潜在表征空间中的有意义方向[9,10]，而他们在2025年追踪电路以理解大语言模型如何多步骤推理、产生幻觉内容和执行安全行为的实验表明，在特征层面追踪是可行的[11,37]。

迄今为止，金融领域的 MI 工作仅涉及 Transformer 架构。Golgoon 等人[14]调查了 GPT-2 small 的注意力模式如何趋向于合规监管。Tatsat & Shater[15]使用带有 SAE 的 MI 进行金融 LLM 情感分析及欺诈检测。Zhang 等人[16]的 SAE-FiRE 框架将稀疏特征选择应用于从金融文件中预测盈利意外。我们此前未发现有研究将 MI 应用于状态空间模型或金融 SSM 的应用。

关于本文框架的说明。本文早期版本是一篇发现性论文：它报告了 SAE 特征在 F1 = 1.00 的水平上恢复市场状态，并基于该结果提出了五项正面发现。该分类被证明是标签-特征泄漏和辅助监督的产物，而非学习到的表征结构。我们进行了相应的控制实验，控制实验确认了该诊断，我们相应地重构了本文。因此，这是一项泄漏控制的警示性研究。其贡献是方法论层面的：一个可复现的控制协议（不相交标签评估、移除标签定义输入、消融辅助监督、未训练模型参照），以及定量证明先前报告的状态结构在该协议下无法存留。我们保留原始五个研究问题作为组织轴，但如今在控制评估下对每一个给出否定回答，并报告真正存留的内容：一个小的、有经济依据的特征子集和诚实的、经依赖校正的效应量。我们认为，对于模式识别读者而言，这比原始发现性声明更为可辩护且更为有用，因为原始五项发现均通过了常规合理性检查，但无一能在泄漏控制下存活。

本研究旨在回答五个研究问题，这些问题共同构成了机制性解释金融状态空间模型行为的基础：

**RQ1：** 我们如何确定 Mamba 的时间门控（Δt）是否适应股票市场的不同状态（例如牛市、熊市、横盘）？是某一层识别状态，还是所有层都参与且各层专门识别特定类型的状态？

**RQ2：** Mamba 的稀疏自编码器（SAE）用于识别不同状态的特征在多大程度上仅仅是偶然的（即相关但无因果关系），还是这些特征在多大程度上导致模型根据识别出的状态以不同方式处理信息？测试一个状态的知识能否应用于其他状态的实验是否会显示 SAE 识别的特征对特定状态具有专属性？

**RQ3：** Mamba 的隐状态是否表现出叠加性，即它们编码的与状态相关的特征是否多于维度数量？如果是，叠加程度从输入到输出在各层间如何演变？（注：Mamba 是选择性状态空间序列模型，不是降维方法；问题关注的是其学习表征中的叠加性。）

**RQ4：** SAE 分解的特征能否作为分类金融状态的内部一致方式，从而提供外部可解释的状态分类器？

**RQ5：** 在金融状态的内部表征方面，Mamba 与具有可比容量的 Transformer 模型相比如何？选择性门控机制是否导致了状态表征的根本性差异？

本文做出以下贡献，与原始投稿中声称的贡献有显著不同。早期版本的本文报告了五项正面发现（层专业化的时间步层级、因果状态回路、多义性到单义性梯度、近乎完美的状态分类，以及 Mamba 相对于 Transformer 的67%特征数量优势）。如第4节实验结果和第6节结论所述，这些发现在控制评估中无一存留，我们相应地重构了本文。其贡献现已转向方法论和警示性。

(1) 我们为金融序列模型的机制可解释性声明引入了一个可复现的泄漏控制协议，结合不相交标签评估、移除标签定义输入、消融辅助监督和未训练模型参照。

(2) 我们使用2×2归因网格定量表明，原始近乎完美的状态分类是辅助监督与标签-特征泄漏的交互产物，而非学习到的表征结构。

(3) 我们报告了经依赖校正的效应量（块自举区间、eta-squared和omega-squared），证明残余状态效应虽然在大型面板上具有统计可检测性，但在经济上可忽略不计。

(4) 我们记录了一项确实存留的适度正面发现：一个小的SAE特征子集具有经济可解释性，与未作为模型输入的外部压力指标相关。

(5) 我们提供了匹配维度的架构比较，以描述性方式报告，而非作为优越性的证据。我们发布了完整的控制流水线及所有附加实验，以使该协议可复用。

**章节摘要**

**用于金融时间序列的状态空间模型**

现代深度学习状态空间模型的发展始于 Gu 等人[17]提出的 S4 架构。S4 证明了结构化状态空间模型可以在长程基准测试上匹配 Transformer 性能，同时保持序列长度的线性复杂度。使 S4 得以进一步发展为现代深度学习状态空间模型结构的创新来自于 Mamba[2]中的工作。从 S4 到 Mamba 的关键变化是将 S4 的……

**数据流水线**

我们构建了一个多源数据集，覆盖2004年1月1日至2025年12月31日。我们从 Yahoo Finance 获取50只标普500成分股的每日 OHLCV 数据，该成分股集合为时点有效（历史有效）集合，而非静态的当前名单，从而消除了幸存者偏差和前瞻偏差。股日统计：50只股票在5,534个交易日上产生理论上的276,700个股日；时点集合和上市历史将其减少至250,644个；因60天序列要求丢弃40,927个……

**实验结果**

本节所有结果除特别说明外均使用控制配置。图1首先确认了 Mamba 和 Transformer 模型均稳定训练，为后续的可解释性分析奠定了基础。

**解释受控选择性门控结果**

在控制配置下，Mamba 的选择性时间步长（Delta t）并不表现出原始投稿中描述的层专业化状态层级。针对与输入不相交的标签，每层 Delta t 的状态效应较小（最大 eta-squared 0.169，每状态绝对差约0.0075，基于接近0.72的基准值，约1%的相对差异），且排序在所有六层中均匀一致，而非层专业化。因此我们未……

**结论**

本文对在一个包含时点有效50只标普500成分股21年多源金融数据上训练的六层 Mamba 模型应用了机制可解释性。本文始于一篇围绕五个研究问题和近乎完美的状态分类结果组织的发现性研究，最终成为一项泄漏控制的警示性研究。重构本身即是发现：在控制协议下，近乎完美的结果坍塌，且原始五项正面发现无一存留……

**CRediT 作者贡献声明**

Dip Roy：概念构思、方法论、软件、形式分析、调查研究、写作 – 初稿、可视化。Rajiv Misra：监督、写作 – 审阅与编辑。S. K. Singh：写作 – 审阅与编辑。Anisha Roy：数据管理、验证、写作 – 审阅与编辑。

**数据可用性声明**

金融数据来源于公开渠道：每日股价通过 Yahoo Finance 获取，宏观经济指标来自 FRED，Fama-French 因子来自 Kenneth French 数据库。完整的实验流水线、控制协议笔记本、附加实验笔记本、所有结果文件及训练模型权重作为补充材料提供，并在论文接收后将存入公共存档并分配可引用的 DOI。

**利益冲突声明**

作者声明不存在任何可能影响本文所述工作的已知竞争财务利益或个人关系。

**作者：**

Dip Roy（通讯作者）
印度理工学院巴特那分校 计算机科学与工程系

Rajiv Misra
印度理工学院巴特那分校 计算机科学与工程系

Sanjay Kumar Singh
Rajarshi 管理学院 计算机科学系

**CRediT 作者贡献声明**

Dip Roy：写作 – 初稿、可视化、验证、软件、方法论、调查研究、数据管理、概念构思。Rajiv Misra：写作 – 审阅与编辑、验证、监督、软件、资源、项目管理。Sanjay Kumar Singh：写作 – 审阅与编辑、监督、软件、资源、项目管理、方法论。Anisha Roy：写作 – 审阅与编辑、可视化、验证、调查研究、形式分析、数据管理。

**利益冲突声明**

作者声明不存在任何可能影响本文所述工作的已知竞争财务利益或个人关系。

Dip Roy | Rajiv Misra | Sanjay Kumar Singh | Anisha Roy