基于分布熵正则化的多模态子空间支持向量数据描述方法在异常检测中的应用

《Pattern Recognition》：Distribution Entropy Regularized Multimodal Subspace Support Vector Data Description for Anomaly Detection

本文提出基于分布熵正则化的多模态子空间SVDD方法（DEMS-SVDD），解决多模态数据维度不一致、超参数敏感及少数异常样本问题，通过多模态图正则化、稀疏投影矩阵正则化及分布熵权重优化，在多个数据集上验证其优越性。

　　在当今的数据科学领域，异常检测（anomaly detection）是一个至关重要的研究方向，尤其在许多实际应用中，获取异常样本的成本和难度远高于正常样本。例如，在机器监控、医学诊断和分布式统计等场景中，正常数据通常较为丰富和容易获取，而异常数据则往往稀少且难以获得。这促使了“一类分类”（one-class classification, OCC）问题的研究兴起，即仅利用正常样本进行模型训练，以识别未知的异常样本。面对这一挑战，科学家们提出了多种方法，其中“支持向量数据描述”（support vector data description, SVDD）因其直观的几何解释、较少的超参数以及高效的凸优化特性，成为了最具代表性的OCC方法之一。

尽管SVDD在OCC任务中表现出色，但在实际应用中仍然面临诸多挑战。首先，SVDD及其衍生方法在处理多模态数据时存在一定的局限性，特别是在不同模态的特征维度不一致的情况下，模型难以有效融合多源信息。其次，SVDD对超参数的调整非常敏感，尤其是用于平衡正常样本与异常样本之间关系的权衡参数，其选择直接影响模型的性能和边界配置。最后，当异常样本数量非常有限时，许多SVDD变体的性能往往不尽如人意，难以准确捕捉到异常样本的分布特征。因此，如何在多模态数据背景下提升模型的鲁棒性与泛化能力，成为当前研究的一个重要方向。

为了解决上述问题，本文提出了一种新的OCC框架——分布熵正则化的多模态子空间支持向量数据描述（Distribution Entropy Regularized Multimodal Subspace Support Vector Data Description, DEMS-SVDD）。该方法在传统SVDD的基础上，引入了多模态图正则化项和稀疏投影矩阵正则化项，以增强模型对多模态数据的适应能力。同时，还结合了分布熵理论，构建了一种新的权重机制，用于对样本进行自适应的重要性赋值。此外，DEMS-SVDD特别关注分类的不确定性、样本所含信息量以及超球体边界建立的重要性，从而提升模型在小样本异常检测中的表现。通过将这些创新点融入SVDD框架，DEMS-SVDD不仅解决了传统方法在多模态数据处理中的不足，还增强了模型对异常样本稀缺情况的适应性。

多模态数据（也被称为多视图数据）通常被认为能够提供更全面的描述，并且包含更多的信息。例如，在水下图像字幕生成任务中，研究人员通过结合视觉和文本信息，提出了基于注意力机制的多模态融合方法，以生成更具上下文感知能力的字幕。另一项研究则利用AquaSketch增强的跨尺度信息融合技术，有效应对了水下场景中的尺度变化和图像失真问题。这些案例表明，多模态数据在实际应用中具有显著的优势，能够提供更丰富的信息，从而提升模型的性能和鲁棒性。然而，如何在多模态OCC任务中有效利用这些信息，仍然是一个亟待解决的问题。

在多模态学习中，有两个基本原则被广泛认为是关键因素：一致性（consistency）和互补性（complementarity）。一致性原则认为，不同模态的数据通常具有共同的内在特征，能够帮助区分不同的个体或类别。从流形学习的角度来看，一致性意味着在数据投影到低维子空间的过程中，保留原始数据的几何结构，以确保不同模态之间的信息对齐。互补性原则则指出，每个模态可能包含其他模态所不具备的独特信息，这些信息可以弥补单一模态的不足，从而形成互补。然而，在多模态OCC任务中，如何在保持一致性的同时，充分挖掘互补信息，仍然是一个具有挑战性的问题。尤其是在处理异常样本稀缺的情况下，模型需要在有限的信息基础上，构建一个具有足够泛化能力的超球体边界。

为了应对这一挑战，本文提出了一种新的方法，即DEMS-SVDD。该方法首先将所有模态的数据映射到一个统一的低维子空间中，通过一个投影矩阵实现多模态数据的融合。在这一过程中，引入了多模态图正则化项和稀疏投影矩阵正则化项，以提升模型的泛化能力和鲁棒性。多模态图正则化项旨在保留模态内部和模态之间的结构关系，从而确保不同模态数据在低维空间中的对齐和一致性。而稀疏投影矩阵正则化项则通过抑制特征冗余和干扰，提高模型对互补信息的提取能力。此外，本文还提出了一种基于分布熵的惩罚机制，用于在低维子空间中对样本进行更精细的权重分配。该惩罚机制不仅考虑了样本的分布特性，还结合了分类的不确定性、信息量以及对超球体边界建立的重要性，从而更全面地反映样本在模型中的作用。

在异常样本数量有限的情况下，DEMS-SVDD框架能够有效提升模型的泛化能力。传统的OCC方法往往依赖于大量正常样本来构建超球体边界，但在实际应用中，异常样本的稀缺性使得这一过程变得困难。为此，DEMS-SVDD引入了分布熵正则化项，使得模型能够在有限的异常样本基础上，更准确地识别潜在的异常模式。该方法通过将样本分布和信息熵理论结合起来，对每个样本赋予不同的权重，从而在训练过程中更关注那些对超球体边界建立具有更大意义的样本。这种自适应的权重分配机制不仅提升了模型的稳定性，还增强了其对异常样本的敏感度。

为了进一步提升模型的性能，本文还开发了DEMS-SVDD的非线性变体。由于现实世界中的数据往往是线性不可分的，传统的线性SVDD可能无法有效捕捉到复杂的数据分布模式。因此，非线性DEMS-SVDD通过引入核函数，将数据映射到高维特征空间，从而在该空间中构建更复杂的超球体边界。这一变体不仅保留了DEMS-SVDD在多模态数据处理中的优势，还提升了模型在非线性数据场景下的适应能力。通过将线性和非线性版本的DEMS-SVDD应用于不同的数据集，本文验证了该方法在多种应用场景下的有效性。

本文的研究成果已在多个公开数据集上进行了验证，包括MSRC-V1、IRIS、Robot Execution Failures（REF）和Ionosphere（IONO）等。MSRC-V1数据集包含了7种物体类别，每种类别有5种视觉模态的数据，如颜色矩、HOG、Gist、LBP和Centrist等。IRIS数据集则包含了三种鸢尾花类别，每个样本由花萼和花瓣的长度与宽度组成，可以视为两种模态的数据。REF数据集涉及机器人执行失败的场景，而IONO数据集则用于预测大气电离层的异常情况。通过对这些数据集的实验分析，本文展示了DEMS-SVDD在多模态OCC任务中的优越性能，并验证了其在不同数据规模和分布情况下的鲁棒性。

此外，本文还对DEMS-SVDD的计算复杂度进行了分析。在解决线性DEMS-SVDD的过程中，模型的计算可以分为五个主要步骤：计算权重矩阵、计算稀疏投影矩阵正则化项中的矩阵、求解二次规划问题、更新投影矩阵以及对投影矩阵进行正交化和归一化处理。其中，计算稀疏投影矩阵正则化项的复杂度为O(N)，与其他步骤相比要低得多，因此在实际应用中，该部分的计算负担相对较小。此外，由于DEMS-SVDD引入了自适应权重机制，使得模型在处理小样本数据时更加高效，从而提升了其在实际应用中的可行性。

在实际应用中，异常检测模型的泛化能力和鲁棒性是衡量其性能的重要指标。为了提升这些能力，本文提出了一个两步迭代优化方法，用于求解DEMS-SVDD模型。该方法首先通过投影矩阵将多模态数据映射到低维子空间，然后结合正则化项和分布熵惩罚机制，逐步优化模型的参数配置。通过这种迭代优化过程，模型能够在有限的异常样本数据基础上，逐步调整其超球体边界，从而提高对异常样本的识别能力。同时，该方法还能够有效应对多模态数据之间的维度差异问题，确保不同模态的数据在低维空间中保持一致性和互补性。

综上所述，本文提出的DEMS-SVDD框架在多模态OCC任务中展现出了显著的优势。通过引入多模态图正则化项和稀疏投影矩阵正则化项，该方法不仅提升了模型对多模态数据的适应能力，还增强了其在异常样本稀缺情况下的泛化性能。同时，基于分布熵的权重分配机制使得模型能够更准确地识别不同样本的重要性，从而优化超球体边界的构建。此外，非线性变体的引入进一步扩展了该方法的应用范围，使其能够处理更复杂的数据分布模式。通过对多个数据集的实验验证，本文证明了DEMS-SVDD在实际应用中的有效性，并为未来的研究提供了新的思路和方法。