面向时间序列分类的可解释神经符号模型分类体系

《Knowledge-Based Systems》：A taxonomy of interpretable neurosymbolic models for time series classification

　　

**摘要**

时间序列分类（TSC）在过去十年中利用深度学习取得了显著进展，但模型识别和利用判别性模式的机制仍然只有部分被理解，这限制了可解释性。本文综述了神经符号方法，这些方法要么（i）通过从数据中提取人类可读的规则和解释来推导知识，要么（ii）通过向学习过程中注入逻辑、物理或结构约束来利用知识。我们回顾了涵盖信号时序逻辑（STL）公式提取和时序决策树、神经符号约束合成和电路、基于损失的正则化（包括物理信息目标）、用于事件推理的概率逻辑（例如DeepProbLog）、概念级持续学习和蒸馏等方法。我们将这些方法沿着共同的维度进行定位，包括显式与隐式知识、对TSC的适用性、知识发现能力、先验知识需求和可重复性，并讨论了典型的失败模式，包括数据偏差和推理捷径。我们还将最近的一些节俭导向设计联系起来，这些设计利用不可训练滤波器而不牺牲准确性。我们的分析表明，神经符号技术可以提供可操作的解释和更强的归纳偏置，在二元任务上尤其表现出色，但在扩展到多类设置、处理形状依赖现象以及确保学习到的规则的透明选择方面面临挑战。本综述提供了一个分类法和实用指南，用于在TSC中整合符号结构和深度学习，突出了开放问题和有前景的方向。

**引言**

时间序列数据在科学和工业领域中无处不在。无论是处理温度测量、股市波动还是文本数据，时间序列分析对于理解和预测时间现象都是根本性的。一般来说，在处理时间序列数据时可以识别出八种主要类型的问题：

- **预测**：根据历史观测预测时间序列的未来值。典型应用包括金融、天气预报和能源需求预测[1], [2], [3]。
- **回归**：基于过去的观测以及可选的外生变量预测连续目标值。该问题通过在统计或机器学习框架中纳入滞后特征、趋势、季节性和协变量来推广预测[4], [5]。
- **分类**：将时间序列分配到几个预定义的类别之一。该任务在医学（如心电分类）、工业监控或手势识别等领域很常见[6], [7], [8], [9]。
- **聚类**：将时间序列分组为具有相似时间模式的集群，而不依赖预定义标签。该方法主要用于探索性分析和模式发现[10], [11]。
- **异常检测**：识别偏离预期行为的异常或意外模式。典型应用包括工业系统故障检测或金融交易欺诈检测[12], [13], [14]。
- **分割**：将长时间序列划分为同质或有意义的片段，通常作为分类或预测任务的前处理步骤[15], [16]。
- **数据表示**：将原始时间序列转换为低维或符号表示（如傅里叶、小波、SAX），以实现高效存储、相似性搜索和下游学习[17], [18], [19], [20], [21]。
- **相似性搜索**：高效检索与给定查询相似的时间序列或子序列，这是大规模数据库中的关键操作[22], [23]。

已经提出了各种方法来解决这些问题。在机器学习中，这些方法可以大致分为两类：可解释（或内在可解释）方法和不可解释（黑箱）方法。可解释方法具有内在可解释性，提供用户可以追溯和验证的推理。相比之下，黑箱方法虽然通常非常有效，但通常难以（如果不可能）解释。因此，近年来的一项主要研究工作集中在增强黑箱模型的可解释性上。

尽管取得了显著进展，这一挑战在很大程度上仍未解决。核心问题在于理解模型用于解决任务的知识（例如时间模式、依赖关系或高级概念）是什么，以及这些知识是如何表示的。知识表示本身是可解释人工智能的一个复杂但关键的方面。符号分支的机器学习专注于通过离散、结构化的或可解释的符号和关系来表示数据，因此提供了一条通向可解释性的自然途径。然而，纯符号方法往往难以处理真实世界数据的规模和变异性。相反，连接主义分支（包括深度学习）近年来取得了显著成功，因为它能够建模数据中复杂的非线性关系，尽管代价是透明度的缺失。

可以用三个主要概念来对时间序列分析中可解释人工智能（XAI）的最新发展进行广义分类。首先，自然可解释的模型，如决策树[24]、基于规则的系统[25]或符号方法[26]，通过设计上的透明性提供易于理解的决策机制。其次，事后解释技术寻求在训练后解释复杂黑箱模型的行为，例如通过特征归因方法[27]或基于显著性的方法（如Grad-CAM [28]）来突出最具影响力的时间区域。第三，专注于时间模式[29]、子序列[30]或形状表示[31]的特定领域XAI技术已被创建以应对时间序列数据的特定困难。由于它们结合了神经网络的表达能力和符号表示的有序、人类可读特性，神经符号技术在这个环境中占据独特地位。

这正是神经符号方法发挥关键作用的地方，特别是在时间序列中，推理必须在时间依赖关系上进行。通过结合符号推理和连接主义学习的优势，例如强制执行逻辑约束或提取符号规则[32], [33], [34]，神经符号方法旨在弥合可解释性与性能之间的差距，为构建既强大又可解释的模型提供了有前景的途径。

接下来，我们回顾应用于时间序列分析的现有神经符号方法，更具体地说是分类问题，即使大多数方法在理论上可以应用于其他时间序列问题。具体而言，我们旨在呈现当前可用的声称通过整合符号推理来增强深度学习中可解释性或解释性的方法。为了汇编本综述的文献，我们使用Google Scholar搜索了2024年12月至2025年7月之间发表的文章，使用查询"时间序列可解释性"。从初步结果中，我们排除了仅将现有可解释性技术应用于特定用例的研究。相反，我们对这些应用论文进行反向引用追踪，以识别和检索基础方法论文。最后，我们批判性地评估了所选算法，并排除了被发现有根本性理论缺陷的算法。（见图1）

随后，我们根据提取的方法是为了从数据中提取知识还是在学习过程中使用现有知识来组织它们。在此背景下，这两个概念定义如下：

- **可解释性**作为有助于理解当前实验的事实族。该族称为解释。
- **解释性**作为可以通过不同相似实验进行推广的事实族。该族称为说明。
- **知识**作为所有说明的集合。

**示例**：考虑对心电信号（ECG）进行分类以检测心律失常的任务。一个模型（例如深度卷积网络或时间序列Transformer）在给定ECG数据集上训练。分析模型在特定信号区域（如QRS峰值、不规则心跳）上的激活情况提供了一种解释，因为它只解释了该数据集和该实验中的模型行为。如果我们在多个不同条件下记录的ECG数据集上评估同一模型，并一致观察到模型使用相同的时间模式（例如峰值之间的不规则间距），这就成为一个说明，因为它跨实验进行了推广。相反，如果在同一数据集上测试多个模型（CNN、Transformer、LSTM），它们都依赖于异常峰值间隔的存在，我们就获得了关于数据集本身的说明。所有这些说明，无论是与模型相关的还是与数据相关的，都可以形式化为知识。

在模型-数据集实验中，提出一种解释，然后通过额外实验进行验证。当这种解释在不同实验设置中一致成立时，它就演变为一个说明。在这些定义下，知识作为一个更高层次的构建块出现，独立于个别实验。换句话说，知识在实验间保持稳定，因为它封装了从多个实验环境中推导出的概括性说明。

在本综述的语境中，我们主要通过提取显式公式和符号规则来定义可解释性。具体而言，如果一种方法隔离关键数据点或模式并通过数学或逻辑公式表达它们，我们将其分类为结构可解释的。然而，我们批判地区分了公式的简单生成与其实际的人类可理解性。在整个本综述中，我们不仅评估方法是否产生这些结构解释，还评估它们给领域专家带来的认知负担，以真正验证和理解这些解释。

虽然其他综述专注于神经符号方法是什么的细节[35]和神经符号范式的分类法[36]，但本综述专注于它们在时间序列分析中的应用，特别强调时间序列分类。时间序列提供了一个特别相关的测试平台，因为符号知识通常表达时间约束或事件关系。我们区分两类主要方法：知识学习方法，旨在从数据中提取或归纳符号知识；以及知识使用方法，利用现有符号知识来指导或约束学习过程。这两类之间的概念关系如图2所示，该图展示了学习如何将解释逐步推广为知识，而使用知识如何将其专门化为说明和解释。

知识学习方法试图将数据转化为解释。这些方法与逻辑的使用密切相关，如一阶逻辑（FOL）[37]或Horn逻辑（HL）[38]。事实上，要通过逻辑获得可解释性，时间序列必须被转换为逻辑谓词序列。在神经符号方法中，这可以通过使用信号时序逻辑（STL）来实现，STL表达了信号上的时间条件[39]。然而，其他符号表示（如SAX [6], [29]）仍在被研究，以将时间序列缩减为与符号推理兼容的形式[40]。这些表示通过节点分类或决策树归纳等不同方法提取知识来实现可解释性[41], [42]。

知识使用方法采取相反的方法：它们利用现有知识和说明来增强当前方法，或设计更便宜和/或性能更好的模型。例如，在[31]中，作者利用当前关于时间序列的知识来手工设计不可训练的卷积滤波器，从而实现显著的经济性改进。知识还可以用于强制解决方案遵守先验知识中的约束，如现实世界约束或偏微分方程[43], [44]。除了约束执行外，知识还可以引导学习机制本身，例如通过将其集成到符号框架（如ProbLog程序[45]）中或将其扩展为HL[46]。最后，通过使用知识蒸馏在给定基础模型的情况下创建专门针对任务更轻量化的模型[47]，可以进一步改善经济性。这种知识驱动策略对于时间序列分析特别相关，因为模型通常需要遵守复杂的时间依赖关系（如季节性）。

可解释方法可以根据模型提取的知识是隐式还是显式分为两大分支。如果知识需要补充实验外的知识（例如领域专家）才能成为人类可读的，则被认为是隐式的；如果它直接是人类可读的，则是显式的。

这两类方法——知识学习和知识使用——将综述结构化为两个主要部分。第一部分专注于通过迭代生成解释和说明来推导知识的方法，即通过从实验结果进行推广。第二部分检查利用现有知识来引导学习并生成解释性或可解释输出的方法，从而将一般知识专门化为特定案例。对于每种方法，我们还讨论了潜在偏倚来源并概述了可能的改进方向。

在详细介绍这些方法之前，我们引入以下符号：我们用??∈?*表示时间序列??的长度，用??表示其相关输出：在分类问题的情况下，??是??的类标签，这是我们拥有的数据。

**章节摘要**

**知识学习**

在本节中，我们介绍各种从实验中学习知识的方法。将知识表示为既可解释又与神经网络兼容的形式至关重要，因为符号描述必须在训练期间与神经网络架构交互。

大多数现有的神经符号方法依赖于逻辑[41]、[42]、[48]、[49]、[50]、[51]，尽管所采用的具体逻辑类型在不同方法之间可能有所不同。以下是对这些方法之间最具有信息量的比较——知识利用。在进行讨论之前，我们首先明确本节所调研的知识利用方法的范围。当某种技术以第1节中定义的方式操作知识时，我们将其纳入本文讨论：即通过标准端到端任务损失最小化之外的专用通道，保存、转移或约束模型的解决方案——无论该通道承载的是显式知识（例如，物理信息神经网络中的物理定律、基于DeepProbLog的持续学习中的逻辑程序）还是隐式知识（例如，

讨论

我们强调了几种目前可用于构建和利用知识的有前景的方法。尽管发现和利用知识的方法显示出巨大的潜力，但由于架构约束、可扩展性问题或领域特定需求，它们在许多实际场景中仍难以集成。与此同时，广泛使用的机器学习技术容易受到各种偏差的影响（例如，捷径学习、虚假相关或

结论

我们调研了广泛的方法，希望这一综合分析能够促进它们在方法多样性、可扩展性或计算效率等方面的进一步发展。然而，即使提供了解释，其潜在知识往往仍然分散且对人类的解释性有限。因此，评估所提取知识的相关性和可靠性仍然是一个核心挑战。这一问题对于

CRediT作者贡献声明

Damien Porcher：写作——审阅与编辑，写作——初稿撰写，方法论，调查研究，形式化分析，概念化。Ali Ayadi：写作——审阅与编辑，写作——初稿撰写，监督指导，项目管理，方法论，形式化分析，概念化。Maxime Devanne：写作——审阅与编辑，监督指导，项目管理，方法论，形式化分析，概念化。Jonathan Weber：写作——审阅与编辑，监督指导，资金获取。Cédric

致谢

本研究由法国国家研究署（ANR）在TURFU-Net TSIA项目下资助，资助编号为"ANR-24-IAS1-0001"。

利益冲突声明

作者声明不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

Damien Porcher | Ali Ayadi | Maxime Devanne | Jonathan Weber | Cédric Wemmert