MCE-CDD：基于多粒度条件熵的概念漂移检测方法

《Neurocomputing》：MCE-CDD: Concept drift detection based on multi-granularity conditional entropy

　　邓大勇|廖卓奇|邓志轩|沈文欣|潘志超|李天瑞|何秀辉 中国浙江省兰溪市321100，浙江师范大学行知学院 摘要 在对流数据进行分析的过程中，由于概念漂移现象，模型的性能往往会下降。许多研究者利用信息熵来应对概念漂移问题。然而，大多数方法仅采用单一粒度，缺乏多样性，从而导致概念漂移检测的性能降低。为解决这一问题，本文提出了一种基于多粒度条件熵的概念漂移检测方法（MCE-CDD）。该方法采用了三种数据粒度组织方式，包括等价类划分、高斯混合建模以及密度区域划分。随后，基于加权轮廓系数，提出了自适应的多粒度权重分配与融合机制。该机制同时考虑了各粒度内的凝聚性以及不同粒度间的分离度，从而更准确地刻画数据的固有结构。最后，建立了多粒度条件熵指标，用于量化时间上相邻滑动窗口之间的分布差异。在11个基准数据集上的实验结果表明，与第二好的算法相比，MCE-CDD的平均准确率提升了约1.16%，平均F1分数提升了约1.14%，且通过事后统计检验，这种性能提升具有显著性。引言 在大数据时代，各类行业蓬勃发展，这就导致了大量数据的持续产生与积累。这类数据通常被称为数据流[1]。传统的学习算法通过从这些数据流中提取信息，帮助系统进行分类和决策。而数据的分布可能会以难以预测的方式随时间发生变化，这种现象被称为概念漂移。概念漂移这一概念由Granger和Schlimmer在1986年提出[2]，在众多行业中普遍存在。例如，对实际信息系统的分析表明，超过100家企业的业务流程会随时间发生变化。有些变化是预先计划好的，而有些则是意外发生的，它们都可能影响企业的运营状况[3]。同样，垃圾邮件过滤[4]和网络入侵检测[5]等行业应用也会受到概念漂移的影响。这类变化可能会降低许多数据驱动型信息系统的有效性。因此，在数据不断变化的环境中，确保这些系统保持高性能至关重要。许多研究者致力于概念漂移的检测工作，推动了相关技术的不断发展。根据检测统计量，这些方法可分为三大类[1]：•基于错误率的漂移检测：该方法主要监测基础分类器错误率的实时变化情况[6]。当错误率显著上升或下降并超过预定的统计阈值时，就会触发漂移警报。这类方法中最经典的算法是漂移检测方法（DDM）[7]，它首次明确了漂移预警阈值和漂移检测阈值，从而确定何时需要构建新的学习模型。在此基础上，又提出了多种改进版本，包括早期漂移检测方法（EDDM）[8]、基于Hoeffding不等式的漂移检测方法（HDDM）[9]以及用于概念漂移检测的EWMA方法（ECDD）[10]。值得注意的是，自适应窗口算法（ADWIN）[11]与这些方法的不同之处在于，它不需要预先设定比较窗口的大小。•基于数据分布的漂移检测：这类方法利用距离度量指标来衡量两个窗口数据分布之间的差异[12]、[13]、[14]。当测得的差异超过预定阈值时，就会发出概念漂移警报。最近，Cano等人[15]提出了ICD3方法，该方法通过学习无偏的簇描述符并监控各簇的分布变化来检测概念漂移，从而提高了在数据分布不平衡情况下的漂移检测的可解释性和有效性。•基于多重假设检验的漂移检测：这种方法通过联合评估数据流中的分布变化，运用多重统计假设检验来检测概念漂移。目前，关于概念漂移的研究已经相当丰富。Yu等人[16]提出了一种基于元学习框架的主动漂移检测方法，该方法首先在已知存在漂移的数据流上离线预训练模型，然后再在线微调模型以提高检测精度。这项工作证明了识别不同类型的漂移模式而非仅仅检测其出现的可行性。随后，Li等人[17]提出了类型驱动的懒惰漂移适配器（Type-LDA），该适配器能够确定概念漂移的发生时间和类型，包括突然性漂移、渐进性漂移和渐进式漂移，并进一步利用漂移类型信息来提升模型的适配性能。Li等人[18]提出了一种结合滑动窗口技术和数据标注技术用于对分类数据流进行聚类的集成框架。该框架使用了三种主要针对分类数据流的相似度度量方法，但灵活性较差。Sun等人[19]根据单个属性的信息熵定义了目标概念的不确定性，并构建了用于概念漂移检测的统计指标。Porwik等人[20]则采用基于LASSO的特征排序方法，通过比较相邻数据批次中重要特征子集的变化来检测漂移。最近，Yu等人[21]开发了类型驱动的轻量级概念漂移检测器（Type-LDD），它在轻量级的预训练框架中整合了漂移类型标识器和漂移点定位器。通过引入知识蒸馏机制，Type-LDD在提升计算效率的同时保持了漂移检测的准确性，非常适合资源受限的流式处理环境。这些研究表明，与仅能检测漂移发生的传统检测器相比，具备类型感知能力和轻量级特性的漂移检测框架能够提供更丰富的漂移信息，并提高适配效果。传统检测方法采用单一粒度视角，仅能在原始特征空间中进行线性评估，难以捕捉非线性、多模态以及由噪声引起的变化。为了突破这种线性的单视角评估限制，近期的在线学习研究开始探索在模型内部实现多视角适配机制[22]。一个典型的例子是基于多遗忘因子的基于树篱的随机向量函数链接网络（HRVFLM）。HRVFLM会根据各网络层实时的性能动态地分配和调整遗忘因子，通过树篱加权的集成方式，有效地平衡了模型在面对概念漂移时的适应性与其在稳定时期的学习能力。这代表了一种先进的、基于模型内部的策略，用于实现面对分布变化时的稳健性。概念漂移检测、领域适配（DA）和领域泛化（DG）虽然都涉及分布变化问题，但其应用场景有所不同。DA和DG侧重于静态源领域与目标领域之间的知识迁移，而概念漂移则关注领域内部随时间发生的连续变化。不过，DA和DG中的一些先进策略，如统计对齐、动态协作适配以及几何结构学习，为设计强大的漂移检测器提供了宝贵的灵感。例如，强化学习中关于DA的系统方法学综述[23]、用于处理序列式领域变化的增量式对抗学习方法[24]、DCADAN中的动态协作对抗适配方法[25]、PPR中的主动学习与原型修正方法[26]、DACAD中的对比学习方法[27]，以及CoUDA中用于解决灾难性遗忘问题的机制[28]，都体现了有助于开发能够精准捕捉复杂分布变化的、与具体分类器无关的框架的方法论。然而，数据粒度的单一性会导致在处理复杂且动态的数据时出现缺陷。粒度计算[29]被广泛应用于数据结构分析中，人们也开发出了多种信息粒度模型[30]、[31]、[32]。这些模型根据信息或数据粒度的功能、距离和相似度等特征，将不同粒度聚合为一组。例如，不同的专家基于自身在实际应用中的经验或理论，对同一问题会有不同的见解。多粒度分析能够通过获取不同类型的数据粒度，从而更全面地理解问题[20]。在动态变化的环境中，多粒度分析能够更好地适应新情况，并及时调整策略。最近的研究也验证了这种多视角方法的有效性。例如，沈等人[33]开发了一种基于模糊三值决策的增量式高斯混合模型。该模型能够构建自适应的局部区域以匹配漂移范围，并评估实例级别的风险，从而实现更精确、更稳健的模型适配。同样，在分布适配的更广泛研究中，神经模糊元学习（NF-ML）方法[34]利用元学习框架动态选择并整合多种无监督领域适配方法，有效应对复杂的非线性分布变化。这也进一步体现了多视角整合策略的普遍优势。邓等人[35]提出了一种基于三值决策的集成学习模型，用于概念漂移适配。他们的方法利用三值决策进行多粒度分析，并能够动态适配模糊的局部漂移。综合考虑概念漂移检测的优缺点，本文提出了一种多粒度条件熵漂移检测方法（MCE-CDD）。该方法利用多粒度条件熵来构建统计量，从而减少概念漂移检测算法对特定学习模型的依赖。该方法采用了三种互补的数据粒度类型——等价类划分、高斯混合建模以及密度区域划分。这些不同的粒度相互补充，能够从多个角度全面捕捉复杂且动态的数据流的多元固有结构。本文的主要贡献如下：•通过等价类划分、高斯混合建模以及密度区域划分这三种数据粒度类型，构建了一种多粒度架构。这种多层框架通过自适应的粒度多样化，显著提升了复杂数据流中概念漂移检测的能力。•采用加权轮廓系数对多种粒度进行自适应加权与融合。该融合过程同时考虑了各粒度内的凝聚性以及不同粒度间的分离度，从而更好地刻画数据的结构特征。•基于多粒度加权系统不确定性，提出了一种名为概念漂移变化率（CRCD）的概念漂移量化指标。CRCD用于衡量连续时间窗口之间加权条件熵的相对变化率，从而量化分布变化的强度。本文的其余部分结构如下：第2节简要介绍了概念漂移及其在信息系统中的相关理论知识。第3节介绍了用于复杂数据流分析的新型框架MCE-CDD。该框架包含了三种数据粒度类型：等价类划分、高斯混合建模以及密度区域划分。随后，引入了一种称为加权轮廓系数的自适应聚类评估指标，用于量化不同粒度间的凝聚性与分离度，并为多粒度融合确定自适应权重。最终，该检测机制通过条件熵理论将这些组成部分整合在一起，从而能够在非平稳环境中识别概念漂移。第4节研究了MCE-CDD中滑动窗口大小和阈值大小的选取问题，并将其性能与五种现有的概念漂移检测算法进行了比较。第5节总结了全文内容，并指出了未来的研究方向。片段内容初步知识在本节中，我们将介绍相关研究工作，包括概念漂移和信息系统方面的相关知识。表1列出了本文中使用的重要符号。用于漂移检测的多粒度条件熵在本节中，我们提出了一种新的漂移检测算法MCE-CDD。图1展示了该算法的具体流程。该算法不依赖于学习模型的性能，因此避免了因模型差异导致的性能下降。系统不确定性是通过对应于多粒度条件熵的属性的自适应聚合来量化的。随后，这一不确定性量化框架使得CRCD指标的构建成为可能。实验在本节中，我们在人工数据集和真实世界数据集上进行了大量对比实验，以凸显所提方法的优点。4.1节主要介绍了所用数据集的特征属性，并以表格形式呈现。4.2节对该算法相关的参数进行了实验研究，观察了它们的变化规律，最终还将结果与其他几种算法进行了比较。结论在现实世界中，存在着大量复杂、动态且随时可能发生概念漂移的数据。为了解决这些问题，我们设计了一种名为MCE-CDD的概念漂移检测方法。该方法通过多粒度条件熵量化系统不确定性，并利用新开发的CRCD指标来实现概念漂移检测。为此，我们的方法从三个方面对数据进行了粒度划分，包括等价类……CRediT作者贡献说明邓大勇：写作——审阅与编辑，指导工作。廖卓奇：写作——初稿撰写，资源收集，形式分析，数据整理，概念构思。邓志轩：资源收集。沈文欣：调研工作。潘志超：验证工作。李天瑞：指导工作。何秀辉：数据整理。利益冲突声明作者声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。邓大勇于1989年获得南京大学学士学位，2003年获得南昌大学工程硕士学位，2007年获得北京交通大学博士学位。他目前是浙江师范大学行知学院的教授。他的研究兴趣包括颗粒计算、创新理论及其应用以及心理咨询。