iHOMER+：用于流式多标签学习的渐进式多视图输出专业化技术

《Information Fusion》：iHOMER+: Incremental Multi-View Output-Specialization for Streaming Multi-Label Learning

　　阿方索·洛伦索 | 拉拉·内维斯 | 阿尔贝托·卡诺 | 戈雷蒂·马雷罗斯
GECAD, ISEP, 波尔图理工学院, Dr. 安东尼奥·贝尔纳迪诺·德·阿尔梅达街, 波尔图, 4249-015, 葡萄牙

**摘要**
挖掘多标签数据流面临重大的计算挑战，这主要是由于输出空间的指数级增长和分布的不断演变。大多数增量式多标签学习器依赖于一系列轻量级的局部模型，这些模型将任务分解为更简单的单标签组件。虽然这些方法效率较高，但它们难以处理极度稀疏的标签和复杂的标签依赖关系。全局方法则能够考虑整个输出空间，从而更好地利用标签之间的相关性来提高预测性能。为了结合这两种策略的优点，我们引入了iHOMER+，这是一种由专门针对输出空间的模型组成的集成系统，这些模型使用全局预测器来预测输出空间的子集。通过将标签空间划分为在完全局部和全局极端之间取得平衡的多视图簇，iHOMER+能够同时捕捉标签相关性和稀疏模式。该方法还在全局和局部层面融入了漂移检测机制，使得标签划分和子树的动态重构成为可能，并通过一种替代的背景替换过程进行了验证。在九个具有标注概念漂移的合成数据集上的实验表明，与当前最先进的全局方法相比，iHOMER+的预测性能提高了5%，与六种基准局部方法相比则提高了29%。代码和数据集均公开可用。

**1. 引言**
数据流挖掘关注的是提取模型，其中底层数据分布会随着时间推移而演变，这是由于特征维度和类别中出现概念漂移所致[1]。传统上，一个基本假设是每个样本只属于一个概念，即具有唯一的语义含义，目标是预测与每个样本相关的单一离散或数值[2]、[3]。然而，在许多学习任务中，上述简化假设并不适用，因为现实世界中的对象可能很复杂，同时具有多种语义含义，即每个样本可能关联多个目标，并且这些目标之间存在依赖关系。实际上，对于具有漂移概念的数据序列进行训练，可以更好地将其表述为每个项目具有多个标签，从而考虑到一个现实世界对象可能具有的多种语义含义和序列内部关系[4]。在这种情况下，流式多标签学习的范式自然应运而生，其主要任务是利用标签相关性和依赖关系[5]，同时需要克服三个主要挑战：
• 指数级的输出空间：在多标签学习中，输入和输出空间的维度都是问题；而在处理单一类别或标签时，维度灾难仅适用于特征空间。因此，需要更复杂的技术来处理庞大的输出空间，即随着类别标签数量的增加，标签集的数量呈指数级增长，而不需要大量的计算资源。
• 类别不平衡：将多个含义进行划分通常会导致正例数量有限的稀疏标签，为了缓解标签不足的问题，假设缺失的标签为负标签，从而在两种不同的方式上造成不平衡[6]。一方面，单独看每个标签时，通常会发现负例很多而正例很少，这可以用基数（例如，与每个样本关联的标签的平均数量）和密度（即基数除以标签数量）来衡量。另一方面，某些标签自然更受欢迎，从而导致标签之间的传统不平衡现象，即一个多标签数据样本可能同时与一个非常常见的标签和一个非常稀有的标签相关联。
• 概念漂移：漂移会进一步加剧捕捉动态标签相关性的挑战，同时还需要处理动态不平衡问题。一方面，类别不平衡经常与概念漂移同时发生，加剧了标签定义的变化、不平衡比例的变动、潜在的多数/少数角色转换、样本量小、标签噪声、类别重叠以及边缘和罕见实例等问题[6]。另一方面，尽管动态标签相关性本身就是多标签学习的核心，但漂移环境还会引入不一致性，以及模型可以利用的重复模式。

**局部方法与全局方法**
传统上，多标签学习器可以分为局部方法和全局方法，如图1所示。简而言之，局部方法的关键思想是将数据适配到算法中，而全局方法的关键思想则是将算法适配到数据中。局部方法试图找到成对的标签相关性或小簇的相关标签，而全局方法则尝试找到多个标签之间的全局相关性。为了结合两种方法的优势，输出专业化方法采用了一种中间概念，即用全局方法对输出空间的一部分进行建模[7]，同时依赖复杂的标签空间划分方法在局部和全局划分之间创建标签簇[8]。HOMER[9]、[10]将问题转化为一个更简单、更平衡的多标签问题的树状层次结构，采用分而治之的策略；而HPML[11]生成由不相关标签簇组成的混合划分，不依赖层次结构，这有助于满足数据流环境的计算效率要求[11]。

**下载：** 下载高分辨率图像（264KB）
**下载：** 下载全尺寸图像

**图1.** 局部方法将任务分解为单标签模型，而全局方法共同预测所有标签。输出专业化方法将相关标签分组，输出专业化集成则组合了多个此类模型。

**本研究**
基于这些进展，本研究提出了iHOMER+（增量式层次化输出-专业化集成，用于多标签流），这是一种在线集成方法，它对标签空间进行聚类以创建混合划分，在利用全局和局部策略的同时取得平衡。iHOMER+是在2025年博洛尼亚举行的第28届欧洲人工智能会议上首次提出的iHOMER[12]的扩展。原始的iHOMER具有以下特点：
(1) 灵活性，允许无需预先定义划分数量即可进行多样化的混合划分；
(2) 非冗余性，强制标签簇不重叠；
(3) 计算效率，使用基于Jaccard的距离聚类算法和受霍夫丁界限指导的伯努利树增长；
(4) 自适应机制，通过高效的方法进行分类器的重新组织和子树的动态重构，并结合漂移检测。本文进一步扩展了iHOMER，采用了多视图输出专业化设计[13]（见图2），发现了标签组合之间相关性的不同视图。与iHOMER不同（iHOMER可以被视为具有替代背景替换程序的全局模型集成，但实际上是一个在非重叠标签集上运行的单一多标签模型），iHOMER+同时维护三个全局学习器：
- **主动学习器**：适应速度较慢，但在稳定或逐渐演变的数据段中表现良好；
- **次要学习器**：使用最新的标签聚类结构进行训练，能够快速适应突然的漂移；
- **备用学习器**：当连续多个漂移信号表明主动和次要学习器与当前数据流不匹配时启动。

**下载：** 下载高分辨率图像（225KB）
**下载：** 下载全尺寸图像

**图2.** 每种颜色代表一个不同的标签。在iHOMER中，标签是不重叠的，不会在簇之间重复；而在iHOMER+中，同一个标签可能出现在多个簇中以捕捉不同的相关性上下文。

漂移检测使用Welch’s T检验在多标签准确性上进行，ADWIN基滑动窗口控制统计评估。在概念变化期间，来自三个学习器的预测结果会根据监控到的错误进行组合和加权，备用学习器只有在收到最小数量的实例（nmin）后才会参与预测，从而在稳定性和快速适应之间取得平衡。此外，虽然原始的iHOMER仅在未知漂移发生的数据集上进行评估，但iHOMER+是在具有控制性漂移场景下的数据集上评估的，这些数据集是专门设计来模拟漂移情况的。在这些实验中，iHOMER+的预测性能比全局方法提高了5%，比局部方法提高了29%。代码和数据集均公开可用。

**12. 相关工作**
多标签算法以不同的方式利用输出之间的相关性，可以根据它们捕捉依赖关系的顺序大致分为三类：一阶、二阶或高阶。一阶方法独立处理每个标签，忽略相关性，这在概念上简单但往往不够最优[14]。二阶方法考虑标签对之间的依赖关系，要么通过对标签对进行建模，要么根据相关性对标签进行排序[15]。高阶方法则更进一步，对多个标签或相关标签子集之间的交互进行建模[16]、[17]、[18]，尽管计算成本更高，但提供了更丰富的表达能力。

**采用的分类法**
除了相关性顺序外，多标签方法还可以根据依赖关系是全局的还是局部的来进行分类。局部方法将结构化的输出分解为基本标量输出，为每个输出训练传统的学习器，然后再将它们组合成整体预测。相比之下，全局方法在整个结构化输出上学习单一模型，将传统的分类算法适配到多标签环境中[19]、[20]。全局方法通常比局部方法具有优势，包括更紧凑的模型、更高的效率以及更好的标签依赖关系利用能力，这通常转化为改进的预测性能。此外，集成方法提供了一种将它们组合成多视图表示的机制。通过整合不同的局部和全局决策，集成方法增强了相关性建模并在流式环境中提高了鲁棒性。值得注意的是，局部方法有时也被称为集成方法，因为它们涉及多个二元模型，但这里使用的“集成”一词严格指多标签方法的集合。根据这两个标准，我们将文献分为四类：
- **不显式建模相关性的局部方法**；
- **捕捉成对依赖关系的局部方法集成**；
- **跨所有标签建模相关性的全局方法集成**；
- **利用标签簇内相关性的全局方法集成**。

**2.1. 局部方法**
最简单的流式多标签学习局部方法是二元相关性（BR）方法，由应用于每个标签的传统流式二元分类器组成，如图4所示。BR通过查询每个单独二元分类器的标签相关性并组合相关标签来预测其对应的标签集Y[21]。例如，转换方法包括select-max、select-min、select-random、带有信息损失的转换，或Copy-weight，这些方法要求学习器考虑示例的权重，且没有信息损失。为了避免生成空的预测标签集，当没有二元分类器产生正面预测时，可以采用额外的规则，如包含具有最小负面输出的类别标签[21]。总体而言，这些方法继承了一些使传统集成学习成为数据流挖掘领域的最佳实践的成功因素，不仅对标签集过拟合具有很高的抵抗力，而且时间复杂度极低，并且能够并行运行，这对于从数据流中学习特别有利。然而，数据流中的BR方法的一个问题是，大量训练样本可能会导致类别标签不平衡问题加剧。对此可以采取对策，例如使用基于标签的阈值方法或分类器权重调整[22]。此外，在验证延迟极端的漂移场景中，MINAS-BR扩展了流行的新颖性检测算法[23]，增加了关于标签基数、窗口大小和簇数量的参数，能够区分已知概念的变化和新概念的出现，处理由不同类别组成的重复概念，使用标记和未标记的示例更新模型，并请求有用的实例进行标记[24]。值得注意的是，与传统的流式集成方法类似，局部方法可以进一步分为真正递增的分类器（一次处理一个实例）或基于分块的分类器（随后批量训练新实例），并随着时间的推移替换先前构建的分类器。例如，由于极端学习机（ELM）在处理类别不平衡数据集的流式分类性能方面的极大成功[25]，无论是一次性学习还是分块学习，都提出了各种扩展。OSML-ELM提出了一种新的在线顺序数据学习算法，基于阈值进行高速多标签流分类[26]。阈值在ELM训练阶段选择，以最大化输入数据样本中的类别标签与不属于输入数据样本的类别标签之间的差异，根据原始预测结果进行选择。然而，当q较大且标签密度较低时，这种方法仍可能存在类别不平衡的问题。为了解决这个问题，dw-ELM提出了一种自适应的双重加权策略，该策略包括基于时间级别的类别不平衡比率和空间级别的样本概率密度来构建权重[27]。下载：下载高分辨率图片（158KB）下载：下载全尺寸图片图4. 二元相关性（局部方法）。其他问题转换。遵循局部方法的核心理念，在将数据适配到算法时，还有其他问题转换方法可以超越BR的一阶方法，即：标签排名（LR）和标签组合（LC）。一方面，LR是一种二阶方法，通过成对比较技术对标签进行排名，使用二进制模型对每对可能的标签进行建模，从而模拟它们之间的决策边界而不是它们的共现[15]。此外，虽然BR以一对多的方式构建二进制分类器，但校准标签排名（Calibrated Label Ranking）则以一对一的方式构建二进制分类器（除了虚拟标签之外），因此具有减轻类别不平衡问题负面影响的优势。例如，MuENL提出了一种异常检测方法，该方法处理极端验证延迟下的概念演化，其中提出了隔离森林（Isolation Forest）方法的扩展以及聚类程序来检测可能代表新类别出现的异常示例，从而触发新的成对标签排名分类器[28]。然而，这些方法仍然面临标签数量 quadratic 复杂性的问题，因此通常不适用于许多数据流问题。另一方面，LC是一种高阶方法，它通过将所有标签集视为单个标签来将多标签问题转换为单标签多类别问题，如图5所示。为了应对随着时间推移标签空间扩展而导致的新的标签组合指数级增加，可以实施一种通用的“缓冲”策略[29]，从初始数量的示例中学习标签组合，并认为这些示例足以代表分布。在缓冲阶段，可以使用另一种模型来满足“随时可预测”的要求。下载：下载高分辨率图片（148KB）下载：下载全尺寸图片图5. 标签组合（局部方法）。2.2. 局部方法集成为了进一步提高预测性能，可以依赖于问题转换集成，例如分类器链集成（ECC）[16]、剪枝集合集成（EPS）[17]和随机k标签集（RAKEL）[18]。ECC在预测性能方面显著优于BR，但其有效性在很大程度上受到排序的影响。为了考虑排序的效果，可以构建一个基于标签空间n个随机排列的ECC，通过按标签求和预测结果，然后应用阈值来选择相关标签，如图6所示。EPS通过剪除具有不常见标签集的示例（通常是少数），并进一步对不常见标签集进行子采样以转换为目标常见标签集，从而重新引入示例到数据中而不引入新的标签组合集[17]。因此，PS保留了（并且通常改进了）LC的预测能力，同时由于大幅减少了转换中的类别标签数量，速度提高了一个数量级，这对于流式环境非常有益。RAKEL将问题转换为多类别分类问题的集成，其中集成中的每个组件学习器针对随机标签子集，随后通过标签组合（LC）技术对其进行转换，将数据分布中出现的每个独特标签集视为新类别[18]。这不仅允许改进仅限于预测数据中出现的标签集的LC方法，即无法泛化到外部标签集，还解决了在新映射的类别较多时的效率问题。特别是，一些传统方法已经扩展了特定的流式组件，以考虑标签依赖性并处理不同类型的概念漂移，如IBR [30]、SMART [31] 和 GOOWE-ML [32]。IBR训练基于块的分类器，其中一个BR的输出用于第二个BR的属性空间，这是一种带有额外局部动态加权方案的堆叠形式，用于考虑标签相关性[30]。SMART提出了一个基于衰减树和kNN算法组合的堆叠BR模型，以解决标签相关性、类别不平衡和概念漂移问题[31]。GOOWE-ML提出了一个动态加权的堆叠集成，利用空间建模为其组件分类器分配最优权重，采用滑动窗口、LSQ和欧几里得范数[32]。下载：下载高分辨率图片（187KB）下载：下载全尺寸图片图6. 分类器链（CC），其中每个模型关注一组局部标签，捕捉不同的标签依赖性（局部方法集成）。2.3. 全局方法算法适应采取了与问题转换相反的方法，专注于无需转换即可支持多标签输出空间的方法。这降低了模型复杂性和计算负载，这对于流式环境至关重要。流行的增量全局方法包括懒学习技术的适应，如ML-kNN [14]，其中最大后验（MAP）规则基于邻居预测标签，如图7所示，以及决策树技术，如ML-DT [33]，它使用多标签熵递归构建树[33]。下载：下载高分辨率图片（177KB）下载：下载全尺寸图片图7. ML-kNN基于最近邻居中最常见的标签预测标签（全局方法）。一方面，ML-kNN结合了懒学习和贝叶斯推理的优点，决策边界适应每个实例的不同邻居，并通过先验概率减轻类别不平衡。然而，它是一阶方法，不考虑标签相关性，需要几个扩展才能提供二阶和高阶方向。此外，使用MAP规则需要在新实例到达时重新计算后验概率，这在计算上非常昂贵。为此，已经提出了参数化窗口机制或双重记忆系统[4]、[34]，其中短期记忆（STM）用于处理漂移，长期记忆（LTM）用于处理重复概念。ML-SAM-kNN [4]为多标签数据维护STM和压缩LTM，处理动态频率、不平衡和重复性。然而，ML-SAM-kNN并未明确调整记忆以适应标签依赖性或优化LTM速度。ML-SA-kNN [35]通过使用简化的多数投票kNN和惩罚系统来移除引起错误的示例，以及自适应聚类和选择性训练来进行改进。AR-kNN [34]通过老化和恢复实例进一步提高效率，同时利用惩罚性和基于标签的机制。另一方面，遵循ML-DT [33]的原则，它利用hoeffding树（HT）[36]在流式分类任务中的巨大成功。ML-HT [29]在叶节点处使用多标签分类器适应HT，使用多数标签集和剪枝集合进行标签组合[17]，可以在不影响核心结构的情况下重置。iSOUP-Tree [20]将HT扩展到多目标场景，具有分类特征支持、自适应感知器和通过衰减错误度量选择最佳模型的机制。此外，为了在预测时进一步利用目标间的依赖性，iSOUP-Tree还扩展了显式漂移检测机制以及自动选择每个目标的最佳当前预测器的机制[37]，即使用堆叠的单目标预测器、标准感知器或最简单的平均预测器。最后，MLHAT独创地将多标签漂移检测与通过监控基数依赖性度量来处理叶子级分类器选择的机制结合起来[38]。2.4. 全局方法集成算法适应集成方法是其基础分类器本身也是算法适应方法的集成，如图8所示的多个ML-kNN。最常见的例子是预测聚类树的集成，最近已扩展到监督学习、半监督学习和无监督学习的增量场景[39]。每个基础分类器预测多个标签，这些预测使用投票方案（例如多数投票或概率分布投票）进行组合，同时对实例和特征空间进行采样。然而，随机属性选择可能导致选择稀疏特征，从而降低性能。为了减轻这一点，自适应集成可以结合变化检测机制、随机子空间和装袋策略[37]。此外，为了指导集成过程，可以通过聚类聚集传入的样本来构建标签分布，并使用衰减机制减少旧样本的影响[40]。下载：下载高分辨率图片（330KB）下载：下载全尺寸图片图8. 多个具有不同局部决策边界的分类器结合它们的预测，提供更稳健和可靠的不确定性估计（全局方法集成）。输出专业化。为了结合局部和全局方法的优点，输出专业化方法使用全局模型对输出子集进行建模[7]，通常依赖于复杂的标签空间分区。尽管这些方法有时被称为集成，因为它们涉及多个全局模型，但如果每个模型处理不相交的标签集，它们实际上形成了一个单一的多标签模型。为此，基于树的策略可以在标签簇内部局部建模相关性，而像HPML [11]这样的方法则全局建模相关性以创建混合分区，而不是依赖随机分区[41]或在寻找最佳分区时忽略标签相关性的遗传算法[42]。除了树之外，规则学习方法为多标签流学习提供模块化，并具有输出专业化。例如，AMRules [43]用于多标签分类[44]，通过Page-Hinkley（PH）测试丢弃过时的规则并检测异常示例[45]。这种模块化允许通过针对重叠或非重叠目标的规则专业化来超越传统的全局和局部方法[7]、[19]。在规则扩展过程中，如果目标空间的方差仅对某些目标减少，则为受益目标创建新规则，而补充规则覆盖其余目标。这导致决策规则可以涵盖所有目标、部分目标或单个目标。多视图标签依赖性学习。输出专业化方法通常依赖于最小的、不相交的标签划分。iHOMER+将这一概念扩展到一个轻量级的单次通过框架中，捕捉驱动最先进块基多标签学习的两个关键方向：（1）利用标签、特征和实例空间来建模有意义的依赖性[46]，以及（2）利用数据集的多个视图来增强预测性能[13]、[47]。先前的工作明确说明了这些原则：多标签因果[48]和Markov边界特征选择[49]区分了跨多个标签共享的特征和特定于标签的特征，而多视图方法要么自适应地组合多个特征投影以捕获相关性[50]、[51]，要么联合执行特征选择并在视图之间学习统一的相似性图[52]、[53]。iHOMER+在一个高效框架内实现了这些原则，仅依赖于结构上扩展的Hoeffding树的轻量级单次通过统计和漂移检测器，使其适合高需求的流式环境。3. 方法论为了阐明iHOMER+（增量层次化输出专业化集成多标签流）如何在流式环境中集成多种相关建模策略，我们将它们组织成三个互补的维度：（1）标签依赖性，捕获哪些统计关系；（2）数据集空间，从中提取表示轴的相关性；以及（3）多视图集成，如何结合多个视角。•标签依赖性。标签之间的相关性可以被建模为无条件的，描述数据集中的共现模式，或者是有条件的，捕捉给定特定实例的依赖性。iHOMER+同时利用了这两种方法：Jaccard相似性在集成级别编码无条件共现，而分区树内的多元伯努利过程捕获由特征介导的条件依赖性。•数据集空间。相关性可能起源于不同的表示空间：标签空间，其中显式建模了标签之间的关系；实例空间，其中示例之间的相似性或分区驱动结构；以及特征空间，其中属性引起条件依赖性。iHOMER+通过两种增量树结构将它们统一起来，一种聚类标签，另一种基于特征对实例空间进行分区。•多视图集成。虽然前两个维度关注数据的单一演变视图，但iHOMER+将它们集成到一个动态的多视图集成中。这种设计通过将依赖性和空间的互补视角结合到一个连贯的表示中，增强了流式环境中的鲁棒性。3.1. 标签依赖性在多标签学习中，模型的性能质量通常取决于有效利用标签相关性。在流式环境中，标签通常表现出复杂的关系，包括丰富的语义信息、层次结构、各种复杂的关联和随着时间演变的歧义。高效利用标签相关性可以帮助模型更好地学习特征表示，提高模型在漂移环境中的泛化能力和训练效率。在这方面，目前文献中的大多数方法在探索标签相关性时，会进一步抽象出标签之间的复杂关系，并将其简化为共现关系[38]。当两个标签对象频繁一起出现时，它们被认为具有很强的正相关性。在二进制标签空间中，输入由0和1表示标签的缺失或存在，如表1所示，必须设计一种方法来建模标签空间中每对标签的出现次数和共现情况。

然而，在现实世界的场景中，标签不仅仅是在同一个实体或数据中共现；它们也可能表现出互斥关系。这种互斥关系意味着某些标签在同一个实体或场景中出现在一起在逻辑上或实际上是不太可能的。虽然标签共现关系可以被归类为正标签相关性，但这些互斥关系可以被归类为负标签相关性。基于这种区分，iHOMER+整合了两种相关性模型：一种是条件概率相关的，通过多元伯努利过程捕捉给定特定实例下标签之间的依赖性；另一种是无条件的，使用Jaccard相似性度量来反映整个数据集中的共现模式。

3.1.1 无条件相关性
为了定义互斥簇，iHOMER+在数据集层面建模无条件标签相关性。为此，Jaccard指数已被证明能够有效捕捉标签空间中所有标签的成对相似度[11]。形式上，考虑标签空间中的两个不同标签pj和qj，Jaccard指数用于计算标签的不相似性：
(1)d(Jaccard) = (1 ? (a/pj) × (b/qj) + (c/qj))
其中a表示同时被pj和qj分类的实例数量；b表示仅被pj分类的实例数量；c表示仅被qj分类的实例数量。图9示例了得到的不相似性矩阵。需要注意的是，用于计算Jaccard指数的因素可以逐步更新。由于每个示例只处理一次，因此统计量会逐步更新，而不相似性矩阵仅在测试分割或聚合时计算。缺失的标签被假定为零。

3.1.2 条件相关性
为了有效解决簇内的标签共现问题，多元伯努利分布允许同时建模多个二进制随机变量，这些变量表示特定标签的存在或缺失，从而更准确地捕捉熵量。形式上，每个标签L∈L被定义为一个具有二进制结果l∈{0, 1}的伯努利随机变量，其概率质量函数为P(L=l) = p^l × (1 ? p)^(1 ? l)。由于可能的结果是互斥的，P(L=1) = 1 ? P(L=0)，因此L的熵为H(L) = ?p log2(p) ? (1 ? p) log2(1 ? p)。考虑问题中的所有标签(L1, L2, ..., Ln)，我们有一个n维的随机向量，其中包含可能相关的伯努利随机变量，其值可以是(0, 0, ..., 0)、(1, 0, ..., 0)、... (1, 1, ...)，总熵定义为所有n个伯努利随机变量熵的总和：
(2)H(L1, L2, ..., Ln) = ∑_{i=1}^n p_l log2(p_l) ? (1 ? p_l) log2(1 ? p_l)

3.2 输出专业化
相关性可能起源于不同的表示空间：标签空间（其中明确建模了标签间的关系）；实例空间（其中示例间的相似性或分区驱动结构）；以及特征空间（其中属性引起条件依赖性）。iHOMER+通过两种增量树结构统一这些空间，一种用于聚类标签，另一种根据特征对实例空间进行分区。为了进一步捕捉实例空间的复杂性，它在每个叶节点内采用了不同的学习策略。

3.2.1 标签空间
iHOMER+算法依赖于在线 divisive 聚类来逐步构建一个树状层次结构，该结构捕捉标签簇的嵌套组织，采用自上而下的策略，如图10所示。叶子节点是最终的簇，每个叶子节点上有一组变量。叶子的并集是所有变量的完整集合。叶子的交集为空集。系统包含一个增量距离度量，并根据簇的直径执行树的扩展和聚合程序。

在iHOMER+中，每个簇Ck都维护自己的Hoeffding阈值?k。设d(a, b)表示两个观测值之间的不相似度，Dk表示簇Ck内的所有观测值对。为了确定是否需要进行统计上显著的分割，算法会评估簇内的成对不相似度。设d1是簇内任意两个元素之间的最大距离：
(x1, y1) = argmax(x, y) ∈ Dk，d1 = d(x1, y1)。
设d0表示最小成对距离，d表示所有对的平均不相似度。一个精细的分割标准将不相似度的分布与偏离平均值的情况进行比较：
(4)(d1 ? d0) | d1 + d0 ? 2d | > ?k。
这个条件不仅捕捉了簇内的不相似度范围，还捕捉了它们相对于平均值的偏差，从而得到了一个更健壮的内部异质性度量。如果这个不等式成立，则认为该簇足够多样化，可以进行分割。在这种情况下，选择不相似度最大的观测值x1和y1作为簇的枢轴变量。然后将旧簇上的所有剩余变量分配给最近的枢轴簇。这个决定可以由用户定义的观测值数量阈值nmin来控制，或者基于Hoeffding界限的统计标准来控制。Hoeffding界限为有界随机变量的均值提供了一个浓度不等式。具体来说，对于一个范围在R内的实值随机变量r，在观察n个独立样本后，该界限表明有1?δ的置信度，真实均值在ε范围内：
(3)? = R^2 ln(1/δ)^2n。
在iHOMER+中，每个簇Ck都维护自己的Hoeffding阈值?k。

3.2.2 特征空间
iHOMER+的一个关键特性在于它持续监控簇的直径，这不仅为启动分割提供了依据，也为检测之前的分割是否不再反映当前数据的结构提供了依据。在静态数据流中，分裂层次聚类方案中的每次连续分割通常会导致簇内不相似度的减少，从而产生越来越精细的子组。然而，在非静态环境中，数据分布可能会发生变化，使得之前的分区决策变得过时。在这种情况下，系统必须具备反向分割并将子节点重新聚合到其父节点的灵活性。同样，当创建一个新簇作为叶子节点时，它从新的统计摘要开始，假设只有未来的观测值会影响其内部结构。这种初始化使系统能够响应数据模式的变化。为了检测之前的分割是否不再有效，算法会评估兄弟簇的直径是否仍显著小于它们父节点的直径。如果子节点的直径增长并接近父节点的原始直径，这表明分割可能不再有效。设Ck是给定的叶子节点，Cs是其兄弟节点，Cj是它们的共同父节点。评估是否保持分割的标准基于差异：
(5)Δa = 2 · diam(Cj) ? (diam(Ck) + diam(Cs)) < ?j。
如果满足这个条件，则表明没有足够的证据来证明保持分割的合理性，系统选择将Ck和Cs重新聚合到它们的父节点Cj。这个决定由之前在父节点积累的数据量得出的置信区间?j支持。通过合并兄弟簇的直径接近父节点直径时，iHOMER+有效地减少了簇的数量，并承认之前的分割不再反映最优数据结构。这样，重新聚合的节点开始积累新的统计信息，表明概念发生了漂移，使模型能够相应地适应。Hoeffding界限的这种双重使用增强了iHOMER+适应数据分布变化的能力，同时在对新模式的敏感性和抗噪声稳定性之间保持平衡。然而，结果可能会产生不平衡的簇。理想情况下，iHOMER+应该在任何给定时间提取最有意义和最平衡的簇。为了保持树结构构建过程的灵活性，必要时会进行第二阶段聚合，确保它们代表连贯的组而不是孤立的单独标签。利用生成的分类树可以在不同层次上切割的事实，这个过程通过适当合并簇来调整树结构，随着时间的推移 refining 数据的表示。为此，当需要时，使用多数标签集分类器（Majority Labelset classifier）来分析标签集大小的分布。它检索一个频率表，指示具有给定标签数量的标签集出现的频率，并使用这些信息来确定最小的安全簇大小，相应值用于合并簇，如算法1所示。这种方法很直观，因为它表明簇应该至少包含与最常见的标签集大小相同的标签数量。例如，如果数据集中最常见的标签集大小是八个，那么一次只预测两个标签将是低效的。相反，如果大多数实例只有一个标签，维护针对单个标签的专门模型更为有效。由于这种策略遵循层次聚类方法，因此没有必要对每个簇施加最大标签数量的限制，这可能会阻碍结构随时间的自然细化。理论上，所有标签最初可以形成一个簇，但随着新观测值的处理，层次结构会自我调整，根据需要分割或合并簇。这种自适应过程确保了聚类结构的演化，达到了平衡细节性和连贯性的目的，无需对簇大小施加严格限制。由于每个标签都由集成中的单个本地分类器处理，这避免了预测重叠和任何额外的投票过程。新实例的最终预测是通过合并所有本地分类器的输出得到的，不需要复杂的融合机制。第二阶段合并过程的伪代码如图11所示。

3.2.2 特征空间
一旦iHOMER+通过层次分割识别出有意义的标签簇，它就会为每个簇训练一个专门的多标签霍夫丁自适应树（MLHAT），如图11所示。增量决策树算法通过递归划分输入空间来创建相对于目标标签越来越同质的子集，允许在新实例到达时进行模型更新，而不需要完全重新训练或存储历史数据[36]。MLHAT将这一概念扩展到多标签流式数据，在树构建过程中考虑标签关系和共现情况，是第一个结合嵌入式概念漂移适应的多标签增量树，可以快速识别和替换表现不佳的树分支[38]。基础学习器随后使用启发式函数G(·)选择最佳属性，即基于前述伯努利分布的信息增益，其中标签先验来自节点维护的计数器。它比较前两个属性，并应用霍夫丁界限(Hoeffding Bound)来确定ΔG的差异是否具有统计学意义：(6)?=log2(|L|)2ln(1/δ)2n，其中L是已知标签集的数量，δ是所需的置信水平，n是节点处的样本数量。当ΔG>?时，发生分割。通过这种方式，只要新分割能够最小化叶节点的熵，树就会逐步扩展。为了管理复杂性和避免过拟合，基础学习器使用了两个超参数：缓冲期和平局阈值，这些参数调节分割的评估时机，确保在噪声或演变的数据环境中稳定学习。当数据包含不完美的值时，可能会混淆启发式函数的值。对于属性Xi，最佳两个启发式评估之间的差异ΔHˉ(Xi)=H(xia)?H(xib)可能可以忽略不计。为了解决这个问题，提出了一种固定的平局打破机制τ，这是一个用户定义的增量学习决策树的阈值，用于控制树的增长速度。该阈值限制了节点分割条件，使得ΔHˉ(Xi)≤HB<τ。有效的τ可以防止树的大小爆炸问题。然而，τ的值并不适用于所有任务。因此，τ的选择取决于数据及其性质，因为过度调用平局破坏不仅会显著降低决策树在复杂和噪声数据上的性能，还会导致不必要的树增长和复杂性。除了平局打破阈值τ之外，nmin是叶子在尝试分割之间应观察到的实例数量。换句话说，τ是一个用户定义的值，用于控制树的增长速度，而nmin是一个用户定义的值，用于控制检查节点分割的时间间隔。特征驱动的增量树结构的完整伪代码在算法2中呈现。

在没有具体图像的情况下，无法提供直接的图像下载链接。但是，您可以按照以下步骤尝试下载相关文档：

1. 访问算法库或文档网站。
2. 在搜索框中输入“algorithm 2. multi-label tree growth with alternates”或类似的关键词。
3. 找到相应的文档后，点击“download”按钮下载高分辨率图像（109kb）或全尺寸图像。

请注意，由于文件大小较大，下载可能需要一些时间。 在没有具体图像的情况下，无法提供直接的图像下载链接。但是，您可以按照以下步骤尝试下载相关文档： 1. 访问算法库或文档网站。 2. 在搜索框中输入“algorithm 2. multi-label tree growth with alternates”或类似的关键词。 3. 找到相应的文档后，点击“download”按钮下载高分辨率图像（109kb）或全尺寸图像。>
在没有具体图像的情况下，无法提供直接的图像下载链接。但是，您可以按照以下步骤尝试下载相关文档：

1. 访问算法库或文档网站。
2. 在搜索框中输入“algorithm 2. multi-label tree growth with alternates”或类似的关键词。
3. 找到相应的文档后，点击“download”按钮下载高分辨率图像（109kb）或全尺寸图像。

请注意，由于文件大小较大，下载可能需要一些时间。>这些措施共同捕捉了精确正确性、部分一致性和每个标签的错误率，提供了在流式设置中预测性能的全面视图。设Yi={yi1,?,yiL}和Zi={zi1,?,ziL}分别为第i个实例的真实标签集和预测标签集，共有L个标签和n个实例。子集准确性（或完全匹配）认为只有当预测集Zi与真实标签集Yi完全匹配时预测才正确，这是最严格的标准。正式表示为：(9)SubsetAccuracy=1/n∑i=1n1[Yi=Zi]。

样本准确性通过使用Jaccard相似度来放宽这个要求，Jaccard相似度定义为预测标签集和真实标签集的交集与并集之间的比率，其中|Yi∩Zi|计算正确预测的标签（重叠部分），|Yi∪Zi|计算出现在任一集合中的所有不同标签（并集部分）。这即使集合不同时也能捕捉到部分一致性。正式表示为：(10)SampleAccuracy=1/n∑i=1n|Yi∩Zi||Yi∪Zi|。

基于F1的度量标准通过关注精确度-召回率的权衡来补充这些基于集合的标准。Micro F1总结了所有实例中所有标签的贡献，而Macro F1则对每个标签的F1分数进行平均，从而给予频繁和罕见标签相同的权重。正式表示为：(11)MicroF1=2·∑l=1L∑i=1n1[yil=1∧zil=1]∑l=1L∑i=1n1[yil=1]+∑l=1L∑i=1n1[zil=1]；(12)MacroF1=1/L∑l=1L2·∑i=1n1[yil=1∧zil=1]∑i=1n1[yil=1]+∑i=1n1[zil=1]。

最后，汉明损失（Hamming Loss）评估标签级别的正确性，定义为与真实标签不同的单个标签预测的比例，每个标签都独立对待。正式表示为：(13)HammingLoss=1/nL∑i=1n∑l=1L1[yil≠zil]。

遵循已建立的数据流实践[59]，我们采用了序贯评估协议（prequential evaluation protocol），在更新模型之前对每个实例进行测试，提供了预测质量的连续在线测量。为了捕捉随时间的变化，还使用了滑动窗口（sliding window）来跟踪样本准确性，这可以平滑短期波动并揭示长期适应模式。此外，还报告了序贯分数的累积平均值，以抵消逐步估计中的波动性。通过Friedman检验评估性能差异的统计显著性，增强了关于处理漂移能力的结论的稳健性。

超参数研究。图16展示了iHOMER+超参数的相对重要性，这些超参数是通过功能ANOVA得出的，并按方法学部分进行颜色编码。图16显示了从ANOVA得出的iHOMER+超参数的相对重要性，并按方法学部分进行颜色编码。扩展显著性阈值（δspl, δclust）的范围是[10^-8, 10^-5]，替换阈值（αwelch, δalt）的范围是[10^-4, 10^-1]，宽限期（nclust, nspl, nalt, nmulti）的范围是[100, 1000]，决胜阈值（τspl, τclust）的范围是[10^-4, 10^-1]，以及叶级分类器基数阈值（η）的范围是[100, 1000]。标签空间参数（δclust, τclust, nclust）主要控制在线分裂聚类的结构扩展。其中，决胜阈值（τclust）最具影响力，表明决胜决策可以显著影响层次结构的构建，突显了潜在的脆弱性来源。特征空间参数（δspl, τspl, nspl, δalt, nalt）具有中等重要性，由于分割的决胜阈值（τspl）和替代树重建的宽限期（nalt）指定不当，可能会导致更多的预测变异性。在实例空间中，基数阈值η对于叶级分类器的选择至关重要，过高的值会负面影响性能。多视图集成参数（αwelch, nmulti）显示出较低的重要性。这表明iHOMER+的集成机制是稳健的，不需要精确调整就能保持有效的性能。

下载：下载高分辨率图像（384KB）
下载：下载全尺寸图像

图15. 关键差异图：Nemenyi 95%检验。
下载：下载高分辨率图像（135KB）
下载：下载全尺寸图像

图16. 功能ANOVA重要性（%）。

表4展示了每种方法在所有合成数据集和评估指标上的详细和平均性能。iHOMER+在大多数指标上取得了最佳结果，包括样本准确性（0.8150）、Micro F1（0.4800）和Macro F1（0.4460），表明其在有效建模多标签概念漂移方面具有强大的能力。虽然MLHAT是一个在全标签空间上训练的全局模型，保持了竞争性结果，但正如之前讨论的那样，iHOMER+通过动态集成结构整合了全局和局部视角而超越了它。有趣的是，HAT是一个仅在实例级别操作的完全局部学习器，它获得了最高的子集准确性（0.0851）和最低的汉明损失值之一（0.1980），表明在简单场景中具有高精度匹配标签的能力。然而，在更适应用于多标签环境的整体标签指标上，其性能落后。像EFDT和ABOLR这样的简单模型在大多数指标上的表现较差，SGT始终显示出最弱的结果。为了评估不同数据集和分类器之间性能差异的统计显著性，进行了Friedman检验。在所有情况下，p值为零，明确拒绝了所有方法表现相同的零假设。随后的Nemenyi事后检验确认了这些差异，并且95%置信度的关键差异图（CDDs）显示iHOMER+始终排在表现最好的方法之中。

表4. 所有数据集和算法的所有指标（准确性、Macro F1、Micro F1、汉明损失、子集准确性）。包括数据集的平均性能和Friedman统计结果。每种指标的最佳值用粗体突出显示。

数据集 | 指标 | iHOMER+ | ABOLR | RFEF | THAT | KNN | MLHAT | SGT |
|---------------|-----------|-------|-------|-------|-------|-------|------|
| HPRecAccuracy | 0.718 | 0.684 | 0.701 | 0.650 | 0.685 | 0.660 | 0.6657 |
| Macro F1 | 0.336 | 0.190 | 0.214 | 0.241 | 0.208 | 0.287 | 0.3639 |
| Micro F1 | 0.444 | 0.314 | 0.340 | 0.352 | 0.3351 | 0.3827 | 0.4678 |
| Hamming L. | 0.321 | 0.223 | 0.226 | 0.234 | 0.2231 | 0.2523 | 0.2999 |
| Subset Acc. | 0.054 | 0.084 | 0.0896 | 0.0948 | 0.1011 | 0.0762 | 0.0224 |
| HPIncAccuracy | 0.724 | 0.684 | 0.750 | 0.677 | 0.686 | 0.7054 | 0.6657 |
| Macro F1 | 0.238 | 0.0253 | 0.0304 | 0.1068 | 0.0486 | 0.1755 | 0.2497 |
| Micro F1 | 0.444 | 0.314 | 0.3409 | 0.3525 | 0.3351 | 0.3827 | 0.4678 |
| Hamming L. | 0.305 | 0.241 | 0.2435 | 0.2553 | 0.2418 | 0.2833 | 0.3147 |
| Subset Acc. | 0.039 | 0.0045 | 0.0155 | 0.0099 | 0.0303 | 0.0393 | 0.0004 |
| HPSudAccuracy | 0.738 | 0.684 | 0.718 | 0.6352 | 0.6600 | 0.6613 | 0.6657 |
| Macro F1 | 0.359 | 0.2153 | 0.2232 | 0.2244 | 0.2013 | 0.3114 | 0.3459 |
| Micro F1 | 0.395 | 0.2931 | 0.2906 | 0.2750 | 0.2897 | 0.3394 | 0.0094 |
| Hamming L. | 0.311 | 0.2411 | 0.2435 | 0.2553 | 0.2418 | 0.2833 | 0.3147 |
| Subset Acc. | 0.039 | 0.0045 | 0.0155 | 0.0099 | 0.0303 | 0.0393 | 0.0004 |

下载：下载高分辨率图像（384KB）
下载：下载全尺寸图像

图15. 关键差异图：Nemenyi 95%检验。
下载：下载高分辨率图像（135KB）
下载：下载全尺寸图像

图16. 功能ANOVA重要性（%）。

表4. 所有方法在所有合成数据集和评估指标上的详细和平均性能。iHOMER+在大多数指标上取得了最佳结果，包括样本准确性（0.8150）、Micro F1（0.4800）和Macro F1（0.4460），表明其在有效建模多标签概念漂移方面具有强大的能力。虽然MLHAT是一个在全标签空间上训练的全局模型，保持了竞争性结果，但如前所述，iHOMER+通过整合全局和局部视角的动态集成结构超越了它。有趣的是，HAT是一个仅在实例级别操作的完全局部学习器，它获得了最高的子集准确性（0.0851）和最低的汉明损失值之一（0.1980），表明在简单场景中具有高精度匹配标签的能力。然而，在更适用于多标签环境的整体标签指标上，其性能有所滞后。像EFDT和ABOLR这样的简单模型在大多数指标上的表现较差，SGT始终显示出最弱的结果。为了评估不同数据集和分类器之间性能差异的统计显著性，进行了Friedman检验。在所有情况下，p值为零，明确拒绝了所有方法表现相同的零假设。随后的Nemenyi事后检验确认了这些差异，95%置信度的关键差异图（CDDs）显示iHOMER+始终排在表现最好的方法之中。

表4. 所有数据集和算法的所有指标（准确性、Macro F1、Micro F1、汉明损失、子集准确性）。包括数据集的平均性能和Friedman统计结果。每种指标的最佳值用粗体突出显示。将iHOMER+框架扩展到同时支持多视图标记和特征专化的范式，可以帮助模型更好地捕捉不断变化的相关性，从而在高度动态的流媒体环境中保持稳固的性能。最后，这些成果在实际应用中的验证至关重要。以传感器数据和设备状态不断变化的预测性维护应用[61]、[62]为例，它们为验证这些成果提供了理想的测试平台。

CRediT作者贡献声明：
Afonso Louren?o：撰写——初稿
Lara Neves：撰写——初稿
Alberto Cano：撰写——审阅与编辑
Goreti Marreiros：撰写——审阅与编辑