《Mathematics》：Embedded One-Class Classification for Deep Neural Network Representations
编辑推荐：
人工神经网络（ANNs）基于训练期间学习的模式进行预测；然而，当数据分布或训练模型发生变化时，其可靠性可能下降。本文提出了一种嵌入式单类分类（Embedded One-Class Classification, EOCC）框架，用于监测任务信息驱动的神经网络表
人工神经网络（ANNs）基于训练期间学习的模式进行预测；然而，当数据分布或训练模型发生变化时，其可靠性可能下降。本文提出了一种嵌入式单类分类（Embedded One-Class Classification, EOCC）框架，用于监测任务信息驱动的神经网络表示。首先使用其原始分类或回归目标训练预测网络，然后固定网络。随后，将嵌入式支持向量数据描述（Embedded Support Vector Data Description, ESVDD）或嵌入式最小二乘支持向量数据描述（Embedded Least Squares Support Vector Data Description, ELS-SVDD）拟合到从选定隐藏层提取的嵌入中。该框架通过涉及均值、协方差和混合分布漂移的分类和回归模拟进行评估。额外实验考察了嵌入层和激活函数选择、直接神经网络权重扰动以及由改变训练条件引起的模型变化。与基于深度、基于密度、基于协方差、基于隔离和端到端深度单类方法的比较表明，EOCC具有竞争力，且经常在保持标称受控接受概率的同时实现低第二类错误，尽管没有方法在所有设置中均占优。涉及Internet Firewall、ELEC2和SINE1数据集的示例应用展示了该框架如何识别神经网络反映出的变化。本框架仅执行变化检测；适应和自动模型更新留待未来研究方向。
**研究背景与问题**
人工神经网络（ANNs）在训练中学习数据模式，但在数据分布或模型参数变化时，其预测可靠性可能下降。传统单类分类（One-Class Classification, OCC）方法如支持向量数据描述（Support Vector Data Description, SVDD）和最小二乘支持向量数据描述（Least Squares Support Vector Data Description, LS-SVDD）能够检测异常，但直接应用于原始输入空间可能受噪声和维度影响。近年来，深度学习方法如Deep SVDD和Deep LS-SVDD将神经网络与单类目标结合，但端到端训练可能引入表示坍塌风险。同时，神经网络隐藏层产生的嵌入（嵌入）富含语义信息，可用于监测分布漂移（distribution shift）。现有研究如Malinovskaya等人提出的基于深度的统计过程监测（SPM-ANN）框架，通过数据深度函数监测嵌入变化，但尚未系统探索基于边界的SVDD方法在嵌入空间中的应用。因此，本研究旨在提出嵌入式单类分类（EOCC）框架，将SVDD和LS-SVDD应用于固定的神经网络嵌入，以检测分布变化和模型变化，并评估其在不同任务和维度下的性能。
**研究内容与结论**
研究人员提出了EOCC框架，包括两个变体：嵌入式支持向量数据描述（ESVDD）和嵌入式最小二乘支持向量数据描述（ELS-SVDD）。首先训练一个具有分类或回归目标的神经网络，固定其参数，然后从选定隐藏层提取嵌入，并分别拟合SVDD或LS-SVDD构建超球体。通过模拟研究，在分类和回归任务中评估了均值漂移、协方差漂移和混合漂移下的性能，并与马氏深度（MD）、核密度估计异常得分（KDEOS）、局部异常因子（LOF）、Hotelling T2、Deep SVDD、DLS-SVDD、单类神经网络（OC-NN）和孤立森林（iForest）等方法比较。结果表明，EOCC方法在多数设置下具有竞争力，经常实现较低的第二类错误，同时保持标称的受控接受概率（约0.95）。嵌入消融研究表明，最终隐藏层预激活嵌入在分类和回归中表现稳健。权重扰动实验显示，在模型仅变化（输入分布固定）时，ESVDD和ELS-SVDD比Deep SVDD和DLS-SVDD对隐藏层权重扰动更敏感。改变训练条件实验表明，ESVDD和ELS-SVDD能检测到由训练数据分布变化引起的神经网络漂移。在Internet Firewall、ELEC2和SINE1数据集上的示例应用验证了框架在真实场景中的有效性，尤其是SINE1数据中，ESVDD和ELS-SVDD在概念漂移后约6个观测点即检测到变化。该研究发表在《Mathematics》。
**关键技术方法**
1. **神经网络训练与嵌入提取**：使用原始分类或回归目标训练神经网络，固定后提取最终隐藏层的预激活输出作为嵌入向量。
2. **ESVDD**：对嵌入使用SVDD，通过高斯径向基函数（RBF）核映射到高维特征空间，求解二次规划问题得到超球体中心和半径，基于核距离判定异常。
3. **ELS-SVDD**：对嵌入使用LS-SVDD，采用等式约束和平方损失，得到闭式解，通过正则化核矩阵和权重向量计算中心，同样基于核距离判定。
4. **阈值选择**：通过Bootstrap重采样，以目标第一类错误率（α=0.05）校准决策阈值h，确保受控接受概率。
5. **超参数选择**：网格搜索确定神经网络结构（激活函数、优化器、学习率、隐藏层大小）和单类模型参数（正则化参数C、核带宽γ），仅使用受控数据。
**研究结果**
**4.2.1 均值漂移（大类别分离）**
在p=2（80样本）和p=5（80样本）设置中，KDEOS在较小漂移时表现最优，ELS-SVDD在中等漂移时优于其他方法；在p=16（32样本）高维设置中，ELS-SVDD在较大漂移时表现最优，ESVDD在最大漂移时最优。
**4.2.2 协方差漂移-分类**
在p=2设置中，KDEOS在所有非零漂移下置信区间最低；在p=5设置中，KDEOS同样最优；在p=16设置中，ESVDD在所有非零漂移下置信区间最低。
**4.2.3 混合漂移（大类别分离）**
在p=2设置中，KDEOS在δ=0.5最优，ELS-SVDD在δ=1.0最优，Hotelling T2在δ=2.0最优；在p=5设置中，KDEOS在δ=0.5最优，ELS-SVDD在δ=1.0和2.0与KDEOS和DLS-SVDD无显著差异；在p=16设置中，孤立森林在δ=0.5最优，ESVDD在δ=1.0和2.0最优。
**4.2.4 均值漂移（小类别分离）**
在p=5设置中，各方法置信区间多重叠，无方法在所有漂移下显著优于其他；在p=16设置中，同样无方法具有绝对优势，ESVDD、LOF、KDEOS等在不同漂移下表现接近。
**4.2.5 混合漂移（小类别分离）**
在p=5设置中，ESVDD在δ=3.0时置信区间最低，其余漂移下ESVDD、ELS-SVDD、LOF置信区间重叠；在p=16设置中，无方法在所有非零漂移下具有非重叠最低置信区间。
**4.3.1 回归-均值漂移**
在p=2设置中，KDEOS在δ=0.5最优，ESVDD在δ=1.0和1.5最优，ELS-SVDD在δ=2.0最优；在p=5设置中，OC-NN在δ=0.5最优，ELS-SVDD在δ=1.0-2.0最优；在p=16设置中，ELS-SVDD在δ=1.5和2.0具有非重叠最低置信区间。
**4.3.2 回归-协方差漂移**
在p=2设置中，KDEOS在δ=1.5最优，ELS-SVDD在δ=2.0-3.0最优；在p=5设置中，ELS-SVDD在所有非零漂移下最优；在p=16设置中，DLS-SVDD在δ=2.0-3.0最优。
**4.3.3 回归-混合漂移**
在p=2设置中，ELS-SVDD和Hotelling T2在所有漂移下置信区间重叠且优于其他方法；在p=5设置中，ELS-SVDD在所有非零漂移下具有非重叠最低置信区间；在p=16设置中，OC-NN在δ=1.0最优，ELS-SVDD在δ=1.5和2.0最优。
**4.4 嵌入消融研究**
在p=2设置中，分类任务下最终隐藏层后激活嵌入使ELS-SVDD和ESVDD获得最低平均第二类错误；回归任务下第一隐藏层预激活嵌入对ELS-SVDD最优，最终隐藏层预激活对ESVDD最优。最终隐藏层预激活嵌入作为主研究中的通用选择。
**4.5 神经网络权重扰动敏感性**
在p=2设置中，固定输入分布并扰动隐藏层权重，ELS-SVDD和ESVDD在扰动幅度0.5、1.0、2.0时第二类错误低于Deep SVDD和DLS-SVDD，尤其回归任务中差异显著。
**4.6 改变训练条件引起的神经网络漂移检测**
在p=2设置中，固定监控输入分布，用漂移训练数据替换网络，ESVDD在分类和回归任务中均获得最高检测能力，且随训练漂移严重性增加而提高。相同条件重新训练的控制实验显示，普通重新训练本身也会引起嵌入变化。
**总结讨论与结论**
讨论部分指出，EOCC性能可能依赖嵌入层选择，最终隐藏层并非对所有任务最优；高斯RBF核对带宽敏感，需仔细校准；两阶段设计可能不如端到端方法联合优化；核方法需要O(N2) Gram矩阵存储和O(N3)计算成本，递归实现可降低更新成本但大规模参考样本仍具挑战。本研究仅关注检测，不涉及自适应学习或在线更新机制。
研究结论：本文提出了EOCC框架，通过ELS-SVDD和ESVDD将单类分类应用于神经网络嵌入，能够在嵌入空间检测输入空间或输出层不易察觉的偏差。模拟研究显示，在分类和回归设置中，ELS-SVDD和ESVDD在检测分布漂移方面普遍优于多种对比方法。Internet Firewall、ELEC2和SINE1数据集示例验证了其实用性，尤其在SINE1数据中，ESVDD和ELS-SVDD在漂移后约6个观测点即检测到变化。总体表明，基于SVDD的嵌入监测可作为异常检测、分布漂移和模型行为变化的有效替代方法，结合了神经网络表示学习能力与单类边界方法的几何可解释性。
