《Pattern Recognition》：FCT-Stock: A Fusion CNN-Transformer Model for Anomaly Detection in Stock Volatility
编辑推荐：
异常股票波动检测中融合CNN与Transformer的FCT-Stock模型提出分层特征提取机制，通过改进的坐标注意力模块实现跨维度特征交互，采用双分支并行架构同步处理多频数据，显著提升异常模式识别准确率。
盛东沐|刘博宇|宋金|连超龙|张燕|谢伟伟
中国重庆长江师范学院武陵山区绿色发展协同创新中心，408100
摘要
股票与概念之间存在动态相关性。异常的股票波动可能导致重大的经济损失，因此分析和检测此类异常是降低市场风险最简单且最有效的方法之一。本文通过分离CNN和Transformer分支构建了FCT-Stock模型。在最大程度保留局部和全局特征的同时，引入了改进的坐标注意力模块，并采用双向同步桥接方法实现并行结构，从而增强了FCT-Stock模型的特征提取能力。CNN模块通过多层卷积操作提取局部股票特征，逐步聚合并结合这些特征，形成更抽象和复杂的表示。Transformer模块通过压缩补丁嵌入中的自注意力机制聚合全局特征，有效捕捉概念数据集之间的长距离依赖性和共享信息。通过构建股票-概念关联的信息交互机制，FCT-Stock模型加深了对股票市场中共享信息的理解和把握，从而提升了异常检测能力。
引言
随着金融市场的不断发展，由异常股票市场波动引发的溢出效应可能严重削弱经济发展[1]。早期检测股票价格异常是预防金融市场风险最直接和有效的方法之一[2]。深度学习在预测资本市场内的异常波动中得到应用。刘等人[3]使用深度学习模型将新闻文章转换为分布式表示，模拟事件对多家公司开盘价格的时间影响，以预测股票价格异常波动的可能性。刘等人[4]提出了一种结合小波变换、堆叠自编码器和长短期记忆（LSTM）的深度学习框架来检测异常股票波动。王等人[5]提出使用对抗训练来提高神经网络预测模型的泛化能力，从而提高检测异常股票波动的概率；廖等人[6]引入了一种基于层次图注意力网络的股票趋势预测方法，该方法考虑了股票之间的相关性并建立了异常股票波动的基准；柯等人[7]研究了机器学习方法在金融市场预测中的应用，特别是将图神经网络与市场预测相结合的有效性。从信息挖掘的角度来看，一些研究通过分析社交媒体情绪来预测金融市场趋势。例如，白田等人[8]构建了金融社区并分析了关键节点的影响，发现他们开发的情感指标与主要金融市场指数回报相关，解释了股票异常波动的原因。
然而，当前的研究通常假设股票与概念之间的关系是静态的，忽视了股票与概念之间的动态相关性，限制了股票异常检测的结果。此外，现有方法忽略了隐藏概念所携带的宝贵共享信息，这些信息可以衡量超出人为定义的股票概念的股票共性。为了克服这些缺点，最近的研究开始关注如何更好地提取共享信息并将其与深度学习模型结合进行分析。共享信息挖掘是从各种金融数据集中提取和分析潜在相关信息的过程。市场中的股票价格通常表现出列向量相关性，这在很大程度上受到共享信息的影响[9]。技术进步、政策变化、经济指标和互联网零售趋势等因素不仅影响个别股票，也影响更广泛的市场趋势。因此，有效挖掘和利用这些共享信息可以提高检测异常股票波动的准确性。
本文提出了一种混合CNN–Transformer数据流架构，称为FCT-Stock，为检测股票市场中的异常波动提供了更有效的框架。该模型通过特征耦合模块将基于CNN的局部特征提取与基于Transformer的全局特征建模相结合，逐步整合局部和全局特征，实现相互补充。CNN分支基于ResNet架构构建，而Transformer分支经过重新设计，以解决传统Transformer的局限性，即需要将二维特征展平为一维向量，从而减弱了对空间信息的敏感性。具体来说，自注意力模块通过沿高度和宽度维度分解特征数据进行了修改，使得在保持原始二维结构的同时实现自注意力建模。此外，受CSPNet的启发，引入了双分支设计来增强MLP模块，并采用改进的坐标注意力（CA）机制，用一维卷积和组归一化替代了2D卷积和批量归一化，从而加强了通道和空间维度的特征提取。本文的主要创新总结如下：
•我们提出了FCT-Stock，这是一种用于检测异常股票波动的并行结构模型。该结构模型通过其CNN分支和Transformer分支最大化提取股票的局部和全局特征。
•我们设计了一个特征耦合模块用于特征融合。这使得来自两个分支的不同特征类型能够互补整合，增强了模型的全局感知能力，同时捕捉更多局部细节特征。
•Transformer的自注意力模块得到了增强。一方面，ECA模块中的Conv结构被更轻量级的LightConv结构所替代，实现了更有效的模型压缩和轻量化。另一方面，在Transformer分支中保留了特征数据的原始二维结构。
本文的结构如下。第2节回顾了异常检测方法的相关工作。第3节开发了一个股票-概念关联模型，用于分析股票市场中的信息传播。第4节描述了FCT-Stock混合架构的构建，重点介绍了局部和全局特征的整合以及特征耦合模块的设计。第5节展示了2021年12月29日至2022年12月26日中国A股数据的实证评估。最后，第6节总结了本文。提出的FCT-Stock模型通过混合架构共同处理高频和低频数据，利用注意力机制和股票-概念关联来增强股票市场中共享信息的表示。
相关研究
数据研究中检测到的异常值有时被称为噪声、孤立点或异常值。在统计学中，异常值是指与数据集大多数数据点显著偏离的数据点，意味着它们不符合整体序列的分布模式。在回归模型中，异常值表示与给定模型显著偏离的点。一般来说，在给定的数据集中，异常值是指表现出明显不同的观测值
股票-概念的信息传递机制
通常，股票波动受到高频和低频数据的影响[19]。高频数据以分钟或秒级间隔记录，而低频数据则每天、每周或每月收集一次。通过将深度学习方法应用于这两种类型的数据，可以分析股票市场行为和价格波动。在不同时间尺度上进行转换后，数据被输入到类似的时间序列网络架构中进行特征提取，然后得到
CNN-Transformer混合架构
通过上述分析，可以看出异常股票波动是通过股票（全局）和概念（局部）特征的传播而产生的。受此启发，我们提出结合CNN和Transformer的优势来构建一个混合架构模型。CNN在提取局部特征方面非常有效[21]，而Transformer编码器能够捕获多级特征融合[22]。然而，大多数现有方法以串行方式连接CNN和Transformer
实证过程和框架设计
FCT-Stock模型采用并行CNN–Transformer架构来捕获与异常股票波动相关的局部和全局信息。在数据预处理和对齐之后，混合频率的股票特征首先被输入到浅层特征提取模块（Stem）以获得初始表示。然后这些特征由两个并行分支同时处理：CNN分支和Transformer分支。CNN分支旨在提取局部结构特征
结论与讨论
为了解决深度学习框架中的多时间尺度集成挑战并实现异常股票数据的有效检测，建立了FCT-Stock模型架构。这种方法涉及将来自不同时间尺度的数据转换为类似的时间序列网络结构进行信息提取。然后提取的信息在网络中合并并进行集体训练。这种方法使网络能够
CRediT作者贡献声明
盛东沐：数据整理，概念化。刘博宇：项目管理，调查。宋金：项目管理，方法论。连超龙：验证，软件。张燕：写作——原始草稿，资源。谢伟伟：监督，方法论。
致谢
本研究未收到公共部门、商业部门或非营利部门任何资助机构的特定资助。
