工业物联网中的无监督异常检测：一种基于随机映射的一类张量训练机器学习方法

《Knowledge-Based Systems》：Unsupervised Anomaly Detection in Industrial IoT: A One-Class Tensor-Train Machine with Randomized Mapping

　　邓晓武|石远泉|卢荣波|姚敦红|米春桥|夏建华

摘要：工业物联网产生了大量高维张量数据，因此异常检测对于确保制造安全与运营效率至关重要。一类支持向量机最初是为基于向量的数据设计的，往往难以捕捉大规模工业物联网数据的复杂结构。为克服这些局限，我们提出了一类支持张量列训练机器（1CSTTM）。这一新框架通过张量列分解将OCSVM扩展到张量空间，利用张量列核心的纤维结构构建张量纤维核，从而保留数据的固有结构信息。这样一来，所提方法的计算与存储复杂度从指数级降至多项式级。我们还提出了随机化1CSTTM（R1CSTTM），该方法通过使用随机傅里叶特征来近似非线性张量核，有效处理大规模数据集，提升了可扩展性与检测精度。在真实工业物联网数据集上的实验表明，这两种方法在精度和鲁棒性方面均优于现有最佳技术。尤其是R1CSTTM在大幅减少训练和推理时间的同时仍保持优异性能，证明了其在工业应用中的大规模异常检测适用性。

引言：随着工业物联网在各个行业的深度应用[1]，先进制造业取得了显著发展。工业物联网系统持续生成并积累海量工业数据，实时异常检测成为高效智能工厂运营的关键环节。例如，在化工厂中，关键设备往往在高温、高压或极低温度等极端环境下运行，这可能导致严重危险，如灾难性爆炸或有毒气体泄漏。这类事故可能造成人员重伤、巨大经济损失以及不可逆转的环境破坏。为降低这些风险，及时检测潜在异常至关重要。这就需要具备实时监控工业流程并通过工业物联网数据分析快速识别异常的强大异常检测方法[5]。因此，工业物联网系统中及时有效的异常检测对于保障运营安全、可靠性与高性能具有重要意义。

近年来，机器学习已成为异常检测的主要方法[[2], [3], [4]]。根据数据的可用性，异常检测技术通常可分为三类：监督学习、无监督学习和半监督学习。当有足够的标记数据时，监督学习方法在检测精度上通常优于无监督学习方法。这类方法是在包含正常样本和异常样本的标记数据集上训练的[7,8]。然而，由于标记的异常样本往往稀缺，且当训练数据分布与实际场景不同时，其性能可能会下降[6]。在缺乏标记数据的情况下，无监督学习方法通过基于距离[9]、基于重建[10]或基于聚类的技术，将异常识别为偏离所学正常模式的现象。半监督学习方法则结合少量标记的异常样本与大量未标记数据，相比无监督学习方法具有更高的召回率，同时假阳性率也低于完全监督学习方法[11]。

在工业环境中，收集足够的异常数据用于模型训练尤为困难，因为异常现象出现频率较低。此外，手动标记异常样本既耗时又成本高昂，尤其是在大规模生产系统中。因此，工业环境中的异常检测通常被构建为一类分类问题，这一领域在工业异常检测研究中已得到广泛探讨。最常用的一类分类方法包括支持向量数据描述（SVDD）和一类支持向量机（OCSVM）[[12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23]]，这两种方法已被广泛应用于故障检测领域[[24], [25], [26], [27], [28], [29], [30]]，尤其是在故障数据稀缺或无法获取的场景中。最近，深度一类分类框架将端到端特征学习与分布式训练相结合，充分利用深度学习架构的表示能力，为工业物联网系统中的异常检测提供了有力解决方案[[31], [32], [33]]。

近年来，工业异常检测研究逐渐从以精度为导向的模式转向注重可信度的检测框架，在安全关键的工业应用中，检测结果的可靠性与检测模型的不确定性越来越受到重视。例如，一些最新研究通过将SVDD与基于蒙特卡洛丢弃的不确定性估计相结合，实现了机械故障诊断中的不确定性感知可信检测[44]。此外，人们在光伏系统中探索了具有健康状态意识的无监督异常检测方法，结果表明，强大的紧凑表示学习能够在复杂的工业条件下提升检测可靠性[45]。这些研究表明，除了检测精度和计算效率之外，鲁棒性、可靠性以及不确定性意识正逐渐成为现代工业异常检测模型的重要评估标准。

然而，上述一类分类方法主要是为向量空间分析设计的，因此无法直接处理来自不同工业物联网数据源的特征张量。为解决这一问题，一类支持张量机（OCSTM）将传统的OCSVM框架从向量空间扩展到张量空间。具体而言，参考文献[34]提出了OCSTM，该方法特别适用于高维度、小样本量的场景，因为它能有效利用结构信息，同时降低过拟合风险。为处理二阶及更高阶的张量数据，参考文献[35]进一步提出了一种针对高阶张量的一类支持向量机。该方法通过直接的张量表示保留数据的固有结构关系，提升了模型的泛化能力。类似地，参考文献[36]提出了一种将遗传算法与一类支持塔克机相结合的物联网大数据异常检测新框架。另一项研究中，则提出了一种用于未标记异常检测的一类选择性迁移机，实验结果显示其性能优于现有方法[37]。参考文献[38]开发了一种带有有界损失函数的新型OCSTM，并进一步提供了一种基于随机优化技术的可扩展异常检测框架，适用于大规模应用。参考文献[39]提出了一种综合性的张量异常检测框架，该框架结合了支持张量数据描述的线性和非线性变体，以处理更高阶的数据。同样，参考文献[40]提出了一种利用支持张量数据描述进行特征张量分析的轴承故障检测与退化监测新方法。

这些基于一类张量的模型通常依赖CP/塔克分解来识别工业物联网衍生特征张量中的异常模式。然而，随着核心张量维数的增加，塔克分解的存储需求呈指数级上升，这大大限制了其在高阶数据中的应用可行性。相比之下，虽然CP分解通过将权重张量表示为秩为1的分量来缓解这一问题，但其表达能力仍受线性可分性假设的限制。此外，确定最优CP秩属于NP难问题，使得其在高维数据集上的计算变得极为困难。与之相比，张量列分解（TTD）提供了一种更高效的替代方案，它通过一系列奇异值分解来确定张量秩，从而能够快速将数据转换为冗余极低的紧凑型张量列格式。

为克服基于CP分解和塔克分解方法的局限性，我们提出了一类支持张量列机器（1CSTTM），这是OCSVM向张量空间的一种新扩展。通过利用张量列分解，1CSTTM将存储和计算复杂度从指数级降至多项式级，从而确保了其在大规模工业物联网应用中的可扩展性。此外，我们还提出了R1CSTTM，该方法通过使用随机傅里叶特征来近似非线性张量核。这种随机化策略不仅进一步提升了可扩展性，还能通过在大规模工业物联网环境中高效近似核函数，增强异常检测性能。

本研究的主要贡献如下：
(1) 我们提出了1CSTTM，这是一种基于张量的新型工业物联网张量数据异常检测方法，它通过张量列分解将OCSVM扩展到张量空间。该方法利用张量列核心的纤维结构构建张量纤维核，从而保留张量数据中的结构信息。因此，所提框架将计算和存储复杂度从指数级降至多项式级。
(2) 我们还提出了R1CSTTM，该方法通过使用随机傅里叶特征来近似非线性张量核，从而在保证检测精度的同时，提升了大规模数据集的可扩展性。
(3) 实验结果表明，1CSTTM和R1CSTTM在精度、效率及鲁棒性方面均优于基准方法。尤其是R1CSTTM在训练和推理时间上都有显著缩短，非常适合用于大规模工业异常检测。

除方法论贡献外，本研究还着眼于在工业物联网环境中的实际应用。由于计算需求大幅降低，R1CSTTM可以部署在边缘计算节点上，以实现低延迟的本地异常检测。而1CSTTM框架则更适合在集中式云平台上对整个工厂的汇总数据进行全面分析。这种灵活的部署方式使得所提方法能够应用于从全厂健康监测到单个生产线的实时故障检测等多种工业场景。

本文的其余部分结构如下：第2节对相关背景进行了全面综述，包括张量运算、张量列分解以及OCSVM，同时还探讨了相关研究进展。第3节介绍了所提出的方法体系，详细阐述了1CSTTM框架及其R1CSTTM变体，以及相应的算法形式。第4节报告了实验评估结果，包括在多个基准数据集上与现有最佳方法的对比分析。最后，第5节总结了主要研究结论，并指出了未来基于张量的异常检测研究的方向。

张量概念
定义2（张量内积）：给定两个张量X、Y∈R^I1×I2×?×IN，它们的内积定义为：〈X,Y〉=∑i1=1I1∑i2=1I2?∑in=1INxi1i2?inyi1i2?in
定义3（张量弗罗贝尼乌斯范数）：给定一个张量X∈R^I1×I2×?×IN，其弗罗贝尼乌斯范数表示为：∥X∥F=〈X,X〉=(∑i1=1I1∑i2=1I2?∑in=1IN|xi1i2?in|2)1/2
定义4（张量收缩）：张量收缩正式定义为对一组张量中所有共享指标的求和。例如，给定两个张量X∈R^I1×I2×I3和Y∈R^I3×I4×I5，它们的收缩操作会产生一个新的OCSTM张量。

设D={Xi}i=1N表示一个张量数据集，其中每个样本都是一个M阶张量Xi∈R^I1×I2×?×IM。为将OCSVM从向量空间扩展到张量空间，OCSTM被形式化为：
{minw,ξ(1/2∥W∥F2+1/vN∑i=1Nξi?ρ)s.t.(〈W,?(Xi)〉)≥ρ?ξiξi≥0,i=1,2,?,N}
权重张量W的维度与对应的输入张量Xi相同。通过对高维内积进行核函数替换并引入拉格朗日乘数，由方程(8)推导出的对偶形式可简化为如下形式。

数据集
Montes传感器数据集包含从英特尔伯克利研究实验室部署的54个传感器在一个月的监测期间收集的多模态测量数据[见图5(a)]。该数据集包含四个环境变量：温度、湿度、光照强度以及传感器电压。鉴于Montes数据集规模庞大，人们系统地选取了10,000条代表性记录，构建了一个三阶传感张量，如图5(b)所示。

结论
本文提出了两种用于大规模工业物联网数据的无监督张量基异常检测方法——R1CSTTM和1CSTTM。1CSTTM方法通过利用张量列结构将传统SVM扩展到张量空间，从而将存储和计算复杂度从指数级降低到多项式级。R1CSTTM则通过数据的随机傅里叶特征映射来近似非线性张量核，从而使原有的线性分类器能够得到有效应用。

利益冲突声明
不存在需要声明的利益冲突。

作者贡献说明
邓晓武：撰写——初稿、方法论、资金获取。石远泉：撰写——审阅与编辑、方法论。卢荣波：指导、资源提供。姚敦红：方法论。米春桥：撰写——审阅与编辑、资金获取。夏建华：撰写——审阅与编辑、验证。