面向具有概念漂移的梯形数据流的多分支随机配置网络

《Knowledge-Based Systems》：Multi-branch stochastic configuration network for trapezoidal data streaming with concept drift

　　

摘要

现有针对数据流中概念漂移的研究通常假设特征空间固定，即仅数据分布随时间演变。然而，在工业监测、传感系统等许多实际场景中，新特征可能以增量方式引入，从而产生梯形数据流。当特征空间扩展与概念漂移同时发生时，传统流分类器要么无法利用新出现的可用特征，要么受到历史知识与新兴概念之间严重干扰的影响。为应对这些挑战，提出了一种多分支随机配置网络（MSCN）用于处理带概念漂移的梯形数据流。具体而言，MSCN 维护一条主分支和多条残差分支来建模不断演变的决策结构。当新特征可用时，首先进行隐节点扩展，将新可用信息纳入当前模型；随后构建新的残差分支，以捕捉现有分支无法充分表示的互补依赖关系。此外，引入周期性的分支重建机制，以刷新主分支并仅保留有用的残差分支，从而提升对突发变化的适应能力。另外，MSCN 保留了从随机配置网络继承的通用逼近性质。在 12 个合成与真实世界数据集上的实验结果表明，MSCN 的整体性能优于代表性基线方法。

引言

数据流以顺序到达且可能无界的观测为特征 [1]，已成为智能监测、信息物理系统和在线服务中的常见数据形式 [2], [3]。在这些场景中，预测模型被期望持续地从到达的实例中学习 [4]。当数据流是非平稳的，这一要求变得更加具有挑战性，因为特征与标签之间的统计关系可能随时间演变 [5]。这种现象通常被称为概念漂移，它可能导致预测精度下降，甚至使现有分类器变得不可靠 [6]。因此，对于存在概念漂移的数据流，预测模型通常需要专门的更新策略，以高效地从新数据中学习，同时适应不断演变的数据模式 [7]。

针对此类场景，已提出许多分类方法 [8], [9]。然而，大多数方法是在特征空间固定的假设下开发的 [10]。这一假设在实际场景中经常被违反 [11]。在工业检测、过程监控和分布式传感系统中，部署后往往会引入额外的传感器和衍生指标，从而产生特征空间逐步扩展的数据流 [12], [13]。此类数据通常被称为梯形数据流，其中新特征随时间逐步出现。如图 1 所示，考虑一条锂离子电池生产线：早期监测系统仅记录涂布和干燥单元的温控、压力和流量信号，而后续升级引入振动、红外和气体浓度传感器，以更好地检测涂布不均匀、溶剂残留和设备故障。与此同时，原材料批次变化、车间湿度、辊筒磨损和生产排程等因素可能持续改变数据分布，从而引发概念漂移。

虽然现有的非平稳数据流分类方法仍可通过简单地忽略新出现的特征应用于此类场景，但这种处理方式使模型无法利用新安装传感器和衍生指标所携带的补充信息，尤其是当这些新揭示的特征对新兴故障或状态变化高度敏感时。相比之下，每当新特征出现时从头重新训练模型可能会丢弃从早期数据积累的宝贵历史知识，特别是在稳定时期，先前学到的决策结构仍然具有信息量时尤为如此 [14]。因此，对于存在概念漂移的梯形数据流，学习任务变得更加具有挑战性。分类器必须能够从新可用特征中吸收有用信息，而不过度干扰从历史数据中学到的决策结构。同时，随着数据分布持续演变，模型也应保持足够的灵活性，以便及时学习新的决策模式 [15]。

随机配置网络（SCN）是一类随机化神经网络，通过随机配置隐节点来构建隐表示，而非依赖基于梯度下降的训练 [16]。通过将可扩展的非线性表示与高效的输出权重估计相结合，这种构建性学习机制使 SCN 无需传统神经网络常见的迭代优化即可高效学习。此外，SCN 支持增量式隐节点扩展，并具有构建性通用逼近性质。在我们先前的工作 [17] 中，提出了一种针对演变数据流的在线 SCN，实验结果表明其能够高效处理概念漂移。基于这些性质，将 SCN 扩展到带概念漂移的梯形数据流显示出相当大的潜力。

鉴于此，本文在先前的工作基础上，提出了一种多分支随机配置网络（MSCN），以应对数据流中概念漂移与增量特征空间的双重挑战。MSCN 维护一个主分支来捕捉主要的决策结构。当新特征可用时，模型在现有分支上增量式扩展隐节点以纳入新可用信息，并进一步创建新分支以吸收剩余的残差信息。此外，所提出的隐节点增量和分支增量机制保留了从原始 SCN 框架继承的通用逼近性质。为进一步应对概念漂移，开发了一种周期性分支重建机制，以动态维护 MSCN 的主分支与残差分支，从而实现对新概念的快速适应。本文的主要贡献总结如下。

• •
  通过结合隐节点增量和多分支架构，设计了一种针对新可用特征的学习机制，使模型能够选择性吸收新可用信息，同时保留历史知识。
• •
  针对概念漂移开发了一种自适应的分支结构调整策略，使模型能够根据近期数据分布重组其主分支与残差分支。
• •
  在合成与真实世界数据流上的大量实验证明了所提出的 MSCN 在处理增量特征空间和概念漂移时的有效性和鲁棒性。

本文其余部分的组织如下。第 2 节综述关于非平稳流分类以及特征空间演变下学习的相关研究。第 3 节介绍所提出的 MSCN 及其主要更新程序。第 4 节介绍实验设置、评估协议和参数配置。第 5 节报告对比结果及相关分析。最后，第 6 节总结全文并讨论未来工作。

章节摘要

相关工作

与本工作相关的研究主要包括概念漂移下的分类方法、梯形数据流的学习方法以及随机配置网络。因此，本节首先综述前两类主题的研究，然后介绍随机配置网络。

所提出的 MSCN 方法

在本节中，我们首先给出问题表述和所提出 MSCN 的总体框架，随后详细介绍各个组件。

实验设置

为全面评估 MSCN 的性能，开展了四组实验。第一组将 MSCN 与代表性竞争方法进行比较。第二组分析 MSCN 的计算效率。其余两组分别考察各组件的贡献以及主要超参数的敏感性。

与同类竞争方法的比较

表 2 报告了在全部 12 个数据集上的预测准确率。在七种竞争方法中，MSCN 取得了最高的平均准确率和最低的平均排名，并在九个数据集上排名第一。与标准 SCN 相比，MSCN 将平均准确率从 0.5752 提升至 0.7093，并且在 12 个数据集中的 11 个上获得了更高的准确率。这一结果证明了所提出多分支学习策略的有效性。

在合成数据流上，MSCN 在以下数据集上表现尤为出色：

结论

本文提出了一种面向带概念漂移的梯形数据流的多分支随机配置网络。所提出的方法维护一条主分支来捕捉主要决策结构，并引入残差分支以充分利用新出现的可用特征。为吸收增量特征而不覆盖历史知识，在 SCN 框架下联合设计了隐节点扩展和残差分支构建。为进一步增强对新概念的响应能力，

作者贡献声明（CRediT）

Botao Jiao：撰写——初稿、方法学、概念构思。Yinan Guo：撰写——审阅与编辑、方法学、基金获取、概念构思。Kai Zhang：撰写——审阅与编辑、基金获取、概念构思。Shihui Liu：可视化、概念构思。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知财务利益冲突或个人关系。

Botao Jiao|Yinan Guo|Kai Zhang|Shihui Liu