综述：面向问题的时间序列异常检测评估指标分类法

《Neurocomputing》：A problem-oriented taxonomy of evaluation metrics for time series anomaly detection

　　摘要：物联网设备的迅猛增长使得时间序列异常检测在各种安全关键领域变得不可或缺。然而，现有的指标分类体系是根据数学形式而非评估目标来组织的，这导致实践者在选择指标时缺乏明确的指导。这种不匹配会带来严重后果：不适合特定场景的指标可能会产生误导性的排名，在极端情况下，随机预测的得分甚至可能与真正有效的检测器相当。我们提出了一种以问题为导向的框架，将二十多种指标重新归类为六个维度：（1）基本参考指标，（2）时效性奖励，（3）对标注不确定性的容忍度，（4）人工审核成本惩罚，（5）无需用户指定参数，（6）漏检惩罚。系统的稳健性实验表明，这些指标在区分真正有效的检测器与随机猜测方面的能力差异可达一个数量级。这些结果并非意味着如NAB或Point-Adjust这类指标在其预定的早期预警或事件警报应用中无效；而是表明在将其作为通用基准分数或以稳健性为目标的评估标准时需谨慎使用。这些发现强调了指标的适用性本质上取决于具体任务，而所提出的框架为在各种物联网场景中选择更具情境意识且更为稳健的评估方法提供了实用指导。

引言：物联网的出现加速了众多领域的数字化转型。其核心特征在于大规模部署智能且种类多样的设备——如传感器、执行器和RFID系统——这些设备通过互联网相互连接，从而实现无需人工干预的自主通信[1]。在工业领域，物联网技术的整合推动了工业4.0革命的进程，这一革命注重互联互通、自动化以及智能化。通过结合数据分析、人工智能算法、工业机器和物联网传感器，工业4.0旨在构建一个高效且智能的工业生态系统。随着工业4.0的发展，作为智能监测与测量基础的时间序列数据正以前所未有的速度产生。这一增长凸显出迫切需要先进的分析工具，以便在海量数据流中准确识别异常。除了工业系统之外，时间序列异常检测在多种应用场景中也发挥着至关重要的作用。机器学习的快速进步进一步推动了时间序列异常检测方法的演变，使得相关模型具备更复杂的数据依赖关系和自适应学习能力。然而，异常检测性能的评估进展并未跟上新算法发展的速度。评估指标的选择从根本上决定了在不同运行要求下如何量化、解读和比较检测性能。在实际应用中，不同的物联网和信息物理系统对于“良好性能”的定义各有侧重：有些系统注重早期检测以避免连锁故障，有些则关注在标签存在噪声或不确定性时的稳健性，而资源受限的系统可能更看重反映人工介入检查成本的指标。因此，每个指标都隐含着其旨在强调的特定评估目标——但在现有研究中，这一目标很少被明确阐述。尽管异常检测指标非常重要，但人们却很少从以目标为导向、以应用为驱动的角度来审视它们。现有的分类体系通常是根据数学形式、聚合级别（基于点还是基于事件）或阈值方案来对指标进行分组。虽然这些分类具有描述性，但无法揭示其背后的评估动机。为了实现可靠且可解释的评估——尤其是在异构的物联网环境中——理解指标作为解决特定性能问题的工具至关重要：该指标侧重于检测的哪个方面？在何种条件下它能保持稳定表现？又会引入何种类型的不确定性或偏差？因此，指标选择并不仅仅是挑选一个流行或数学上方便的分数而已。一个评估指标会将任务目标转化为评分函数：它奖励什么、惩罚什么以及忽略什么，都会直接影响不同检测器的排名。所以，时间序列异常检测评估的核心问题不仅在于指标的计算方式，还在于其设计假设是否与所面临的实际问题相匹配。在选择具体指标之前，这种视角的实用性就已经显现出来。图1展示了预测层面上的四种典型评估困境。该图并非用于对指标进行排名，而是旨在明确指标可能需要回答的不同实际问题。在图1(a)中，预测区域与异常行为有重叠，但并不完全符合标注的边界。当事件的起始点和结束点本身就存在不确定性时，严格的点对点匹配会使评分极易受到特定标注位置的影响。因此，那些能够更准确地捕捉到潜在异常行为的检测器，其评分可能会低于那些预测结果恰好更符合特定标注的检测器。图1(b)则展示了另一种情况：两个预测可能都检测到了同一事件，但在时间敏感的场景中，提前报警和延迟报警的价值截然不同。图1(c)指出，尽管在其他方面有很多正确预测，但如果有一个独立的异常事件被完全遗漏，那么这些正确预测仍可能被汇总为一个有利的点级评分。最后，图1(d)表明，尽管错误报警的点数相似，但如果一种模式较为集中，而另一种则分散在正常操作过程中，那么它们所带来的人工审核工作量可能会大相径庭。这些情况并非是对单一公式级特性的不同描述，而是对何为有效检测器的不同定义：能否容忍不确定的标签、是否重视及时检测、是否要对漏检事件负责，或是能否降低检查负担。因此，二元与非二元、基于点与基于事件、依赖阈值与无阈值等分类虽能提供一些信息，但仅凭这些尚不足以让实践者判断哪个指标符合评估目标。这也促使本文采用了以问题为导向的分类方法，即将指标视为用于回答不同实际问题的功能工具，而非单纯的数学公式集合。最近有一项研究提出了时间序列异常检测评估的另一个问题：一些常用的指标可能会给随机预测赋予较高的分数，这使得很难可靠地区分真正有效的检测器行为与随机评分效应[2]。这一观察结果表明，指标选择不仅要考虑其是否符合预定的评估目标，还要考虑在特定的评估方案下，它是否仍能足够有效地区分随机预测器。基于这一担忧，我们将分析范围扩展到本研究中考察的所有常用指标，探讨不同指标系列是否存在类似的缺陷。具体而言，第4节中的稳健性分析通过引入另一个用于指标选择的参考维度，进一步完善了所提出的以问题为导向的分类体系：即指标区分有效检测器输出与随机预测可能产生的分数的能力。其主要含义是，指标选择应同时考虑问题匹配度和对比稳健性。那些强烈体现特定应用需求的指标，如早期预警奖励或事件级容忍度，在相应的应用场景中可能具有很高的价值。然而，如果它们的评分机制也使得它们在离线评估方案下更容易出现随机评分过高的情况，那么通常应将其与具有更强抗随机预测能力的指标一起报告。这样的组合报告既能保留任务适配型指标的实际价值，又能为模型比较提供独立的稳健性检验。为填补这一空白，本文对异常检测评估指标进行了以应用为导向的重新审视和重新分类。与传统主要关注计算结构的分类体系不同，我们的框架是根据指标背后的评估目标来对它们进行组织——即它们旨在满足的特定性能需求。这种以目标为意识的视角有助于更清晰地理解指标之间的关联、它们如何契合不同的物联网应用需求，以及它们如何影响对算法性能的解读。通过围绕实际运行要求而非纯粹的数学定义来构建异常检测评估体系，本文为时间序列异常检测中指标的选择与设计提供了兼具实用价值与理论依据的指导。本文的主要贡献如下：1. 一种以问题为导向的时间序列异常检测评估指标分类体系：我们提出了一种新的分类方法，根据指标所解决的实际评估问题——如检测时效性、标签不确定性、阈值依赖性、检查成本以及漏检惩罚——而非仅依据其数学表达形式，对指标进行分类。这种以问题为导向的视角将指标选择与物联网异常检测中的实际运行要求联系起来。2. 超过二十种常用指标的统一表述：由于原始文献采用的各种符号和定义存在不一致性，我们对所有指标进行了统一的数学表述，从而便于直接比较它们的计算规则和评估假设。3. 针对随机预测的系统性稳健性分析：我们通过控制实验，比较了真实检测器、随机预测器以及“神谕”预测器的表现，量化了每种指标区分有效检测与随机评分的能力。4. 指标选择指南及未来指标设计方向：基于所提出的框架，我们为在不同运行约束下选择合适的指标提供了指导，并探讨了未来指标设计的方向，旨在提升物联网场景中时间序列异常检测评估的公平性、稳健性和一致性。本文的其余部分结构如下。第二节介绍了必要的背景知识，包括时间序列异常检测任务的正式定义、标准评估流程，以及对现有指标分类方法及其局限性的综述。第三节对二十多种常用的评估指标进行了统一表述，并根据所提出的以问题为导向的分类体系，将其重新归类为六个功能维度。第四节描述了实验设置，并报告了在合成数据集和来自TimeSeriesBench[84]的真实工业数据集上，比较真实检测器、随机预测器以及基于“神谕”的攻击方法的系统性稳健性实验结果。第五节将分析结果转化为实用的指标选择指南，包括能力矩阵以及针对常见应用场景推荐的指标组合。最后，第六节对全文进行了总结，并探讨了未来指标设计的方向。