综述：一种用于多标签分类的深度集成方法

《Array》：A deep ensemble approach to multi-label classification

　　阿卜杜勒卡德尔·贝鲁阿奇迪（Abdelkader Berrouachedi）、拉基亚·贾齐里（Rakia Jaziri）、吉勒斯·伯纳德（Gilles Bernard）
法国巴黎第八大学

**摘要**
多标签分类面临一个根本性的矛盾：有效建模复杂的标签交互关系通常需要大型、计算密集型的架构，而简单的模型则无法捕捉到关键的依赖性。本文介绍了深度额外树（Deep Extra-Trees，DET），这是一种基于极端随机树（Extremely Randomized Trees）的分层、层次化集成方法，通过用来自前层的概率上下文来增强原始特征来 refining 预测结果。在 DET 中，“深度”一词严格指代集成层的多层堆叠（而不是神经表示学习或反向传播），使得通过迭代预测增强逐步细化特征-标签交互成为可能。DET 为主要的多种多标签转换策略（如二元相关性（Binary Relevance）、分类器链（Classifier Chains）和标签幂集（Label Powerset）提供了一个统一的框架，从而使单一架构能够适应多种相关性结构。在八个基准数据集上的实验表明，DET 特别是其分类器链变体，在保持树集成解释性和效率的同时，显著提高了宏观 F1 分数（Macro-F1 score），超越了包括 ECC 和 RAkEL 在内的强劲基线模型。这些结果表明，可以在一个透明的集成框架内实现层次化的改进，为纯粹的神经方法提供了一个实用且可扩展的替代方案。

**1. 引言**
1.1. 多标签分类概述
多标签分类（MLC）是一种监督学习范式，其中每个数据实例可以同时与多个类别标签相关联。这与传统的单标签分类形成对比，后者只为每个实例分配一个标签 [1]、[2]、[3]、[4]。处理多个标签的能力对于建模现实世界数据的复杂性至关重要，因为对象通常表现出多种属性或同时属于多个类别 [5]、[6]、[7]、[8]。
MLC 在许多领域具有广泛的应用，包括文本分类 [9]、图像注释 [10]、音乐标签、生物信息学和医学诊断 [11]。例如，一张医学图像可能同时表示“肿瘤”和“炎症”，而一条社交媒体帖子可能被归类为“体育”和“政治”。这种多方面的数据使得 MLC 成为捕捉现实世界现象丰富性的关键框架。
MLC 的主要挑战不仅在于预测多个标签，还在于有效地建模这些标签之间的依赖性和相关性。这些标签间关系可以是层次化的、互补的或互斥的；利用这些关系已被证明可以显著提高预测性能 [12]、[13]、[14]。随着现代数据集在复杂性、维度和规模上的增长，开发准确、可解释且计算高效的 MLC 模型仍然是一个未解决的研究挑战。

1.2. 多标签分类的分类法
多标签分类研究涉及多个方法论家族，这些家族并行发展而非相互取代。图 1 提供了一个紧凑的分类法，并在整个论文中用于将 DET 与现有方法进行比较。四个主要的家族包括：问题转换方法（如 BR、CC、LP）、算法适应方法（如 ML-kNN、CorrLog）、基于集成的方法（用于多标签任务的装袋、提升和堆叠），以及基于表示的方法（深度学习和基于图的结构）。这些家族是互补的：转换和适应方法关注可行性，集成方法提高鲁棒性和相关性建模，而基于表示的方法以更高的计算成本学习表达性的特征-标签交互 [15]、[16]、[17]。
这一分类法清楚地表明，正在进行的研究同时推进了多个方向的工作。它还突出了本文解决的方法论差距：在完全可解释的基于树的框架内进行分层集成堆叠以改进多标签预测。

**1.3. 多标签分类的应用**
MLC 的多功能性使其在各种科学和工业应用中得到广泛应用。在医疗保健领域，MLC 可以同时诊断多种并发症，如糖尿病并发症或心血管疾病，从而改善临床决策 [18]、[19]。视觉知识融合框架将成像数据与医学知识图结合，进一步提高解释性并简化自动化报告生成 [20]。在生物信息学中，MLC 广泛用于蛋白质功能预测、代谢途径分类以及识别翻译后修饰位点（如赖氨酸戊二酰化 [Kglu]）[1]。在自然语言处理中，MLC 有助于自动文本分类和文档标记，实现大型文本语料的高效检索和语义组织 [17]、[22]。分层文本分类（HTC）方法通过利用对比学习和最近邻居 k（KNN）等技术来利用层次化的标签结构 [16]。
除了这些领域，MLC 在物联网 (IoT) 系统中的语义注释和 Web API 分类 [20]、构建用于文化类型识别的旅游知识图 [23]，以及工业诊断中检测机械系统的复杂故障 [24]、[25] 中也发挥着关键作用。此外，当标记数据稀缺或数据分布在不同领域之间变化时，还应用了领域适应和迁移学习技术来提高模型鲁棒性 [25]。

1.4. 多标签分类的挑战
尽管取得了显著进展，MLC 仍面临限制其可扩展性和泛化能力的持续挑战 [16]、[26]、[27]、[28]：
- **标签相关性复杂性**：准确建模相互依赖和非线性的标签关系仍然困难。顺序方法（如 CC）对标签顺序敏感，而高度表达性的模型可能会过拟合或掩盖所学到的依赖性 [14]。
- **数据不平衡和稀疏性**：许多现实世界的数据集表现出高度偏斜的标签分布，某些标签或标签组合很少出现，导致少数类别的学习偏差和性能下降 [29]。
- **计算可扩展性**：基于转换的方法和集成架构通常需要训练大量模型，这使得它们在处理大规模或高维数据时计算密集 [15]。
- **解释性与性能的权衡**：高容量的 MLC 模型通常具有很高的准确性，但作为“黑箱”运行，而传统方法虽然可解释，但可能缺乏预测能力 [20]。
- **评估复杂性**：传统的指标（如准确率和精确度）对 MLC 来说不够；虽然有汉明损失（Hamming loss）、子集准确率和宏观 F1 分数等替代指标 [30]，但尚未建立通用的指标框架。
这些挑战激发了持续的研究，旨在开发计算效率高、能够捕捉高阶标签依赖性、可解释且对现实世界数据不完善具有鲁棒性的模型。

1.5. 研究目标和贡献
为了解决上述挑战，本文提出了深度额外树（DET）框架：一种分层、层次化的集成方法，结合了基于树的模型的优点和迭代预测 refinement。该方法将 DET 与已 established 的问题转换策略（如二元相关性（BR）、分类器链（CC）和标签幂集（LP）结合起来，创建了一个可适应且性能优异的 MLC 系统 [7]。
本文的主要贡献总结如下：
1. **分层集成架构**：我们提出了一种称为深度额外树（DET）的层次化集成框架，将传统的堆叠扩展为具有预测驱动特征增强的多层迭代细化过程。
2. **与转换技术的混合集成**：所提出的框架将 DET 与三种主要的问题转换范式（BR、CC、LP）统一起来，允许灵活适应多样化的多标签场景和相关性结构。
3. **全面的实证评估**：通过在多个基准数据集上的广泛实验，我们证明了该方法的有效性，显示出对强基线的持续改进。
4. **统计和理论验证**：使用弗里德曼（Friedman）和尼梅尼（Nemenyi）分析进行统计测试，评估性能差异的显著性；理论复杂性分析确认了 DET 框架的效率。

**1.6. 论文组织**
本文的其余部分组织如下。第 2 节对多标签学习的最新方法进行了批判性回顾，强调了从问题转换和算法适应方法到现代深度和集成架构的演变过程。第 3 节介绍了提出的深度额外树（DET）框架，详细说明了其分层集成架构、与二元相关性（BR）、分类器链（CC）和标签幂集（LP）技术的集成以及理论复杂性分析。第 4 节描述了实验方法，包括基准数据集、评估指标、基线方法和统计验证程序。第 5 节报告并分析了实验结果，重点介绍了性能比较、计算效率以及从评估中得出的关键见解。最后，第 6 节总结了主要发现，讨论了当前的限制，并提出了未来研究的潜在方向。

**2. 相关工作**
本节总结了多标签分类（MLC）的先前工作，并将 DET 定位在更广泛的框架中。我们关注四个互补的方法论家族：问题转换、算法适应、基于集成的方法和基于表示的方法。这些工作线继续并行发展，并在实践中经常重叠 [1]、[2]、[31]、[32]。

**2.1. 问题转换方法**
问题转换将 MLC 转换为一个或多个单标签任务 [1]、[32]、[33]。二元相关性（BR）为每个标签训练一个分类器，简单且可扩展，但忽略了标签依赖性。分类器链（CC）将早期预测作为特征纳入模型以模拟顺序依赖性，而标签幂集（LP）将每种独特的标签组合映射到一个元类，虽然会导致类数量的指数级增长，但捕获了相关性。这些方法仍然是基础性的，并被广泛用作更先进系统的构建块。

**2.2. 算法适应方法**
算法适应方法修改单标签学习器以直接处理多标签数据 [1]、[34]。例如，ML-kNN 从邻居估计标签概率 [35]，多标签决策树在分割标准中嵌入标签依赖性信息 [36]。这些方法提供可解释性和直接建模，但可能对不平衡和标签稀疏性敏感。

**2.3. 基于集成的方法**
集成策略通过组合多个多标签学习器来提高鲁棒性和相关性建模 [32]、[37]。代表性方法包括 ECC（具有随机顺序的分类器链集成）和 RAkEL（在随机标签子集上的标签幂集模型集成）[4]。装袋和提升也已适应 MLC，基于堆叠的集成因利用异构预测器而受到关注 [32]。DET 与这一家族最为相关，因为它执行分层堆叠树集成以迭代细化预测。

**2.4. 基于表示的方法**
深度学习模型（如 CNN、RNN、基于注意力的架构）从数据中学习特征-标签交互，并在非结构化领域经常获得强大的预测性能 [17]、[38]。基于图的方法将标签和实例建模为关系结构，可以捕捉更高阶的依赖性 [16]。这些方法提供表达性强的表示，但通常计算成本较高且透明度较低。

**2.5. DET 的定位及其与深度森林模型的关系**
由于效率和可解释性，随机森林（Random Forests）和额外树（Extra-Trees）等树集成在 MLC 中仍然很受欢迎 [39]、[40]。DET 通过在多个层中堆叠额外树并用预测概率增强特征，实现了层次化的预测细化，而无需神经训练。这使 DET 与神经深度学习模型（没有基于梯度的表示学习）和专为多标签转换或链建模设计的通用深度森林方法区分开来 [41]。DET 明确地将 BR、CC 和 LP 集成在一个统一的分层集成中，旨在多标签相关性建模的同时保持树级别的可解释性。

**2.6. DET 与经典堆叠的比较**
虽然提出的深度额外树（DET）框架在概念上与集成堆叠相关，但在几个基本方面有所不同。经典堆叠通常依赖于固定的两级架构，其中基础学习器一次性训练，然后通过单一步骤组合它们的输出。相比之下，DET 引入了一个多层迭代细化过程，其中预测概率被递归地重新注入特征空间。这种设计将堆叠从静态组合策略转变为渐进的表示学习过程，使模型能够迭代地细化其预测。此外，DET 在各层之间传递完整的标签概率分布，使得模型能够隐式捕获非线性和高阶标签依赖性，而无需预先定义的依赖结构。因此，DET 可以被视为堆叠的层次化扩展，其中深度和迭代反馈在提高预测性能中起着核心作用。

**3. 深度额外树（DET）框架**
本节介绍了提出的深度额外树（DET）框架。我们首先介绍了核心架构和学习机制，包括正式定义和预测增强过程（第 3.1 节）。然后详细介绍了其与三种基本问题转换技术（二元相关性（BR-DET）、分类器链（CC-DET）和标签幂集（LP-DET）的集成（第 3.2 节）。第 3.3 节提供了建立复杂性界限的理论分析，第 3.6 节讨论了框架的可解释性。最后，第 3.7 节总结了主要优点。

**3.1. 深度额外树架构和学习机制**
提出的深度额外树（DET）框架扩展了极端随机树（Extra-Trees）算法 [40]。选择 Extra-Trees 作为基础学习器是因为其固有的高随机性和计算效率特性。随机分割阈值减少了单个树的方差，有助于在堆叠多个模型时减轻过拟合现象——这是堆叠多个模型时的关键属性。此外，其快速的训练时间使得迭代的、多层架构在实际应用中变得可行，从而在性能和计算成本之间提供了有利的平衡。

### 定义1：深度额外树（Deep Extra-Trees）

给定一个数据集 D={(xi,yi)}i=1n，其中 xi∈Rd 表示特征向量，yi∈{0,1}L 表示多标签向量，K 层深度额外树（DET）模型被正式定义为：DET(K)=F(1),F(2),…,F(K)，其中每一层 F(k)（k=1,…,K）由 M 棵极度随机化树（Extreme Randomized Trees）的集成组成。DET 的核心创新在于其分层的学习机制和预测增强。如方程（1）所 formalized 的，每层的输入是一个增强后的特征向量，该向量将原始特征与来自前一层的预测上下文拼接在一起：
(1)Z(k)=Xifk=1X,P(k?1)ifk>1
其中 P(k)∈[0,1]N×L 表示来自层 F(k) 的概率预测，N 是实例的数量。

这种架构如算法 1 所 formalized 的，通过以下迭代过程运行：
1. **初始化**：第一层仅处理原始特征：Z(1)=X。
2. **层级处理**：每一层 F(k) 使用标准的额外树算法在 Z(k) 上训练以生成概率预测 P(k)。
3. **预测增强**：对于后续层（k≥2），输入特征向量被前一层的概率预测增强：Z(k)=[X,P(k?1)]。
4. **停止准则**：当验证的宏 F1 分数（Macro-F1）的相对改进低于阈值 τ 时，采用提前停止。改进定义为 Macro-F1(k)?Macro-F1(k?1)。阈值 τ=0.005（对应于 0.5% 的相对改进），该阈值通过多个数据集的经验验证来有效识别收益递减的点，同时防止过拟合。

预测增强机制有两个关键目的：
- **分层特征细化**：每一层都在原始特征（X）和来自前一层的“知识”（P(k?1)）的基础上进行构建，从而能够学习越来越抽象和精细的特征表示。
- **隐式标签依赖建模**：概率预测 P(k?1) 包含了模型对所有标签的当前信念。通过将这种联合预测上下文传播到后续层，DET 可以隐式捕获和利用复杂的、非线性的标签相关性，而无需预定义的依赖结构。这创建了一个反馈循环，逐步精细化特征表示和标签预测。此过程使模型能够捕获复杂的、非线性的标签交互，同时通过提前停止保持计算效率。完整的训练过程在算法 1 中正式化。

### 下载
- 下载高分辨率图片（314KB）
- 下载全尺寸图片
- 下载高分辨率图片（340KB）
- 下载全尺寸图片

### 图 2. 提出的深度额外树（DET）框架的端到端架构。该流程包括两个主要阶段：
- （1）转换将多标签问题转换为合适的格式：BR（二元相关性）使用 L 个独立的分类头，CC（分类器链）使用带有前一标签概率注入的顺序头，LP（标签集合）使用带有标签集映射的单一多类头；
- （2）堆叠集成应用分层额外树和预测增强 Z(k)=[X,P(k?1)] 以生成最终预测 Y?。

### 3.2. 与问题转换技术的集成

我们将 DET 架构与三种基本的问题转换方法集成起来，以处理多标签分类，创建三种不同的模型变体：
- **3.2.1. 带有 DET 的二元相关性（BR-DET）**
- **方法**：为每个标签训练一个独立的 DET 模型。
- **优势**：利用 DET 的分层特征学习能力来独立处理每个标签。
- **复杂性**：时间复杂度为 O(L?K?M?n?d?logn)，其中 L 是标签的数量。这反映了训练 L 个独立的 DET 模型。
- **3.2.2. 带有 DET 的分类器链（CC-DET）**
- **方法**：L 个 DET 模型组成的链，其中标签 ? 的分类器接收标签 1 到 ??1 的预测作为附加输入特征。
- **标签排序与集成**：为了减轻对标签顺序的固有敏感性，我们使用 R 个具有随机标签排序的链的集成。最终预测是通过平均所有链的概率输出获得的。
- **依赖建模**：通过链结构显式捕获顺序标签相关性，使模型能够学习标签之间的条件依赖性。
- **3.2.3. 带有 DET 的标签集合（LP-DET）**
- **方法**：通过将 MLC 问题转换为单一多类问题，将每个独特的标签组合（或“标签集”）视为一个独立的元类。然后为这个多类任务训练一个单独的 DET 模型。
- **处理稀疏性**：为了避免过拟合和管理复杂性，我们修剪不常见的标签组合（即频率低于阈值的组合，通常为 0.1%）。
- **可扩展性**：这种方法最适合标签数量中等的问题（通常 L<50），因为可能的元类数量随 L 的增加而呈指数级增长。

### 3.3. 理论分析

**定理 1 复杂性界限**

训练一个 K 层 DET 模型的时间复杂度，每层有 M 棵树，n 个实例，d 个特征，受以下界限约束：
T(n,d,K,M)=O(K?M?n?d?logn)

存储训练模型的空间复杂度受以下界限约束：
S(n,d,K,M)=O(K?M?n?logn)

**证明**

训练单层 M 个额外树的时间复杂度为 O(M?n?d?logn) [40]。K 层堆叠引入了一个乘法因子 K，导致整体时间复杂度为 O(K?M?n?d?logn)。提前停止机制确保 K 在实践中保持有界，但最坏情况下的复杂性考虑了可能的最大深度 K。

对于空间复杂度，模型必须存储 K?M 棵树。由于每棵树的平均深度为 O(logn) 并且每个节点存储固定的信息量，因此总空间复杂度为 O(K?M?n?logn)。

### 3.4. DET 变体的复杂性

每个 DET 模型的基本复杂性（定理 1）对于集成框架如下：
- **BR-DET**：时间复杂度为 O(L?K?M?n?d?logn)，因为训练了 L 个独立的 DET 模型，每个标签一个。
- **CC-DET**：时间复杂度为 O(R?L?K?M?n?d?logn)，用于训练 R 个分类器链，每个链包含 L 个 DET 模型。然而，单个链的训练是可以高度并行化的。
- **LP-DET**：时间复杂度仍然为 O(K?M?n?d?logn)，但处理的是一个转换后的多类问题，其中类别的数量对应于独特标签组合的数量，这可能会随着 L 的增加而呈指数级增长。

### 3.5. 关于分层树堆叠泛化的理论见解

虽然分层树堆叠的正式泛化界限仍然是一个开放问题，但几个标准视角有助于解释为什么 DET 在实践中能够很好地泛化。从偏差-方差的角度来看，额外树通过强随机化减少了方差，而堆叠可以通过跨层平均概率证据进一步稳定预测。预测增强机制还鼓励自我纠正：后续层接收校准后的概率上下文，而不是原始的硬标签，这可以平滑噪声决策并减少方差放大。同时，更深层次的堆叠增加了模型容量，但如果不受控制，可能会增加过拟合的风险。DET 通过以下方式缓解这一问题：(i) 每层中的极端随机化，(ii) 基于验证改进的提前停止，以及 (iii) 在多棵树和 CC-DET 中的多个链上的平均。这些机制符合已建立的集成泛化原则，并为分层堆叠可以提高鲁棒性提供了谨慎的、基于理论的理由。

### 3.6. DET 框架的可解释性

DET 框架在添加分层预测精细化的同时保留了基于树的模型的可解释性。模型透明度和解释的关键机制包括：
- **特征重要性传播**：每个 DET 层中的每棵树都计算特征重要性分数（例如，基尼重要性或排列重要性）。这些分数可以跨所有树和层聚合（例如，通过平均）以产生全局特征重要性排名。这识别了对模型所有标签的预测最具影响力的特征。
- **决策路径追踪**：对于任何给定的实例，可以通过追踪从根节点到所有层中贡献于最终预测的每个树的 splits 规则的序列来解释预测。这提供了一个明确的、基于规则的推理链，显示了导致特定多标签分配的条件。
- **分层贡献分析**：通过比较各层中的中间预测 P(k) 可以量化分层学习过程的影响。这种分析揭示了模型的置信度和特征表示如何演变，显示了在分层集成过程中哪些标签在哪个阶段得到了细化。
- **标签依赖可视化（CC-DET）**：在 CC-DET 变体中，分类器链结构使得标签依赖性变得显而易见。可以追踪链中早期标签的预测如何直接影响后续标签的特征，从而影响它们的预测。这使得在模型逻辑中发现和可视化条件依赖性和类似因果关系的关系成为可能。

这些可解释性特性使 DET 适合于高风险应用，如医疗诊断和安全报告，在这些应用中，理解模型的决策过程与其预测准确性同样重要。

### 3.7. 关键优势

提出的 DET 框架相对于现有的 MLC 方法有几个关键优势：
1. **渐进式分层细化**：每一层都在原始特征和来自前一层的上下文洞察的基础上细化预测和特征表示，从而能够学习越来越抽象的模式。
2. **自适应标签相关性感知**：该框架可以通过预测增强（在所有变体中）隐式学习标签相关性，并且可以通过 CC-DET 集成显式建模复杂的、顺序依赖性。
3. **内在的鲁棒性**：每个额外树层中的极端随机化减少了过拟合和方差，而深层架构提供了捕获复杂非线性模式的能力，实现了有利的偏差-方差权衡。
4. **计算和自适应效率**：提前停止机制自动根据数据集的复杂性调整模型的深度，防止不必要的计算开销和过拟合。结合基于树的学习的效率，这使得 DET 在实际应用中非常实用。
5. **可解释性和性能协同**：DET 在通过分层堆叠提高预测性能的同时保留了树级透明度，如第 3.6 节所述。

### 3.8. DET 的概念性解释

提出的 DET 框架可以被视为一种非神经深度表示学习的形式，其中连续的集成层在逐步丰富的特征空间上操作。与神经网络不同，这个过程不依赖于基于梯度的优化，而是利用集成预测的概率反馈。这种视角将 DET 视为一个分层学习机制，其中深度来自于迭代的特征增强，而不是参数化的转换，提供了可解释性和鲁棒性。

### 4. 实验方法论

本节详细介绍了完整的实验设置和评估方法。工作流程如图 2 所示，包括六个关键阶段：实验设计、模型集成、数据集描述、评估指标、比较分析以及包括基线配置在内的实现细节。

### 4.1. 实验设计和研究问题

实验设计旨在严格评估提出的深度额外树（DET）框架及其与问题转换技术（二元相关性（BR）、分类器链（CC）和标签集合（LP）的集成——在多个基准数据集上进行。评估由以下研究问题（RQs）指导：
1. **RQ1（性能）**：DET 框架结合问题转换技术后，是否实现了比现有最佳基线更好的多标签分类性能？
2. **RQ2（鲁棒性与泛化能力）**：DET 框架在不同领域、数据特征和问题转换策略中的一致性和鲁棒性如何？
3. **RQ3（效率）**：DET 框架在训练时间、推理时间和最终性能增益方面表现出什么样的计算权衡？
4. **RQ4（消融）**：核心架构组件（例如，层深度、每层树的数量）如何影响 DET 的预测性能和计算效率？

### 4.2. 端到端工作流程和模型集成

本小节详细介绍了提出的深度额外树（DET）框架的端到端工作流程，如图 2 所示。该流程将 DET 架构与问题转换策略（BR、CC、LP）集成起来，包括数据预处理、标签转换、分层 DET 训练和预测增强、概率校准、阈值设置以及最终的推理协议。

**符号说明**：

设数据集为 D={(xi,yi)}i=1N，其中 xi∈Rd 是特征向量，yi∈{0,1}L 是其关联的标签向量。K 层 DET 模型定义为 DET(K)={F(1),…,F(K)}。第一层的输入是 Z(1)=X，对于任何后续层 k≥2，输入是一个增强后的特征矩阵：Z(k)=X,P(k?1)，P(k)=PredictProbaF(k)，Z(k)∈[0,1]N×L。

提前停止在验证改进 |score(k)?score(k?1)|<τ 时停止堆叠。与传统的堆叠方法不同，后者仅在最后的元学习阶段使用预测，所提出的公式将预测概率直接集成到每层的特征空间中。这导致了表示的渐进式转换，其中输入特征和标签预测跨层共同演化。因此，每一层不仅仅是简单地聚合之前的输出，而是积极重塑学习空间，从而实现迭代的错误校正和更深入的标签依赖性建模。

实施了三种集成方案，对应于问题转换方法：
- **br-det**：此变体为每个标签训练 l 个独立的 det 模型。每个模型使用相同的逐步增强的特征集 z(k)，但在不同的二元目标 y? 上训练。
- **cc-det**：此变体在链中训练 l 个det 模型。对于标签 ? 对应的模型，输入 z(k) 进一步增加了链中所有先前标签（标签 1 到 ??1）的预测概率。使用 r 个具有随机标签顺序的链的集成来减轻顺序敏感性，最终预测是通过平均所有链的概率获得的。
- **lp-det**：此变体通过将每个独特的标签组合（标签集）映射为单一的元类索引来转换 mlc 问题。然后为这个多类任务训练一个单独的 det 模型。
- 注意：为了避免过拟合和管理复杂性，我们修剪很少见的标签组合（即频率低于阈值的组合，通常为 0.1%）。 时停止堆叠。与传统的堆叠方法不同，后者仅在最后的元学习阶段使用预测，所提出的公式将预测概率直接集成到每层的特征空间中。这导致了表示的渐进式转换，其中输入特征和标签预测跨层共同演化。因此，每一层不仅仅是简单地聚合之前的输出，而是积极重塑学习空间，从而实现迭代的错误校正和更深入的标签依赖性建模。 实施了三种集成方案，对应于问题转换方法： - **br-det**：此变体为每个标签训练 l 个独立的 det 模型。每个模型使用相同的逐步增强的特征集 z(k)，但在不同的二元目标 y? 上训练。 - **cc-det**：此变体在链中训练 l 个det 模型。对于标签 ? 对应的模型，输入 z(k) 进一步增加了链中所有先前标签（标签 1 到 ??1）的预测概率。使用 r 个具有随机标签顺序的链的集成来减轻顺序敏感性，最终预测是通过平均所有链的概率获得的。 - **lp-det**：此变体通过将每个独特的标签组合（标签集）映射为单一的元类索引来转换 mlc 问题。然后为这个多类任务训练一个单独的 det 模型。 - 注意：为了避免过拟合和管理复杂性，我们修剪很少见的标签组合（即频率低于阈值的组合，通常为>
实施了三种集成方案，对应于问题转换方法：
- **br-det**：此变体为每个标签训练 l 个独立的 det 模型。每个模型使用相同的逐步增强的特征集 z(k)，但在不同的二元目标 y? 上训练。
- **cc-det**：此变体在链中训练 l 个det 模型。对于标签 ? 对应的模型，输入 z(k) 进一步增加了链中所有先前标签（标签 1 到 ??1）的预测概率。使用 r 个具有随机标签顺序的链的集成来减轻顺序敏感性，最终预测是通过平均所有链的概率获得的。
- **lp-det**：此变体通过将每个独特的标签组合（标签集）映射为单一的元类索引来转换 mlc 问题。然后为这个多类任务训练一个单独的 det 模型。
- 注意：为了避免过拟合和管理复杂性，我们修剪很少见的标签组合（即频率低于阈值的组合，通常为 0.1%）。>稀有标签集（频率小于ρ）会被裁剪以防止过拟合。为此多分类问题，训练了一个带有softmax输出层的单一DET模型。预测结果根据元类成员关系转换回多标签格式。(2) 分层DET模块。每个DET层F(k)是在输入Z(k)上训练的极随机树（Extremely Randomized Trees）的集成。该算法采用极端分割随机化策略，并使用整个数据集（不使用自助采样）来构建每棵树。核心的预测增强机制Z(k+1)=[X,P(k)]，将概率“证据”从一层传递到下一层，从而实现特征表示和标签语义之间的层次耦合。(3) 校准和阈值处理。原始的概率输出P(K)使用Platt缩放或等值回归在保留的验证集上进行校准：P?(K)=Calibrate(P(K))。最终二进制标签分配是通过对这些校准后的概率应用阈值来获得的。我们使用单个全局阈值θ（调整为在验证集上最大化Macro-F1分数）或针对每个标签独立选择的阈值θ?（通过线性搜索确定）：y?i,?=1P?i,?(K)≥θ?。(4) 训练算法。训练过程基于算法1，具体步骤如下：1. 将数据分为训练集和验证集（或准备交叉验证折叠）。应用必要的预处理（例如标准化、TF-IDF转换）。2. 应用选定的问题转换（BR、CC或LP）来定义相应的模型头和学习目标。3. 迭代训练DET层，k=1到Kmax：在Z(k)上训练层F(k)，生成预测P(k)，并评估验证分数。如果相对改进小于τ，则通过提前停止来终止过程。4. 使用Platt缩放或等值回归在校准后的概率P(K)上，然后应用阈值来获得最终的二进制标签分配。我们使用单个全局阈值θ（调整为在验证集上最大化Macro-F1分数）或针对每个标签独立选择的阈值θ?（通过线性搜索确定）：y?i,?=1P?i,?(K)≥θ?。(5) 推理协议。对于测试实例x，推理过程如下：1. 初始化第一层的特征向量：z(1)=x。然后，对于每层k=1到K?（在训练期间确定的最后一层），依次计算：p(k)=F(k)(z(k))，并构建下一层的输入：z(k+1)=[x,p(k)]。2. 对于CC-DET，在集成中的每个R链顺序执行推理。每个标签的最终概率是其所有R链概率的平均值。3. 将校准函数应用于最终的概率向量p?(K?)=Calibrate(p(K?))，然后应用预先选择的阈值来获得最终的二进制标签向量y?。(4.3. 基准数据集。实验是在八个广泛使用的基准数据集上进行的，这些数据集涵盖了多个领域：音乐（情感）、生物学（酵母）、图像（Scene、Corel5k、NUS-WIDE）和文本（医学、TMC2007、RCV1-v2）。这些数据集来自Mulan和LibSVM [42]、[43]、[44]、[45]等知名仓库，确保了多标签分类研究的标准化和可比性（见表1）。数据集选择理由。所选的基准数据集涵盖了多个领域，包括音乐（情感）、生物学（酵母）、图像（Scene、Corel5k、NUS-WIDE）和文本（医学、TMC2007、RCV1-v2），涵盖了不同的特征维度、标签数量和标签密度。虽然一些数据集（例如情感、Scene、Corel5k）规模相对较小或中等，但包含大规模数据集（如TMC2007、RCV1-v2和NUS-WIDE）能够评估DET框架在高维和现实世界多标签环境中的性能，展示了其可扩展性和鲁棒性。扩展的数据集选择确保了跨领域验证，解决了之前关于实证证据有限的担忧。我们认识到，更大或标签更多的数据集可以进一步增强评估；这一限制在第5.10节中讨论。表1. 用于评估的基准数据集。数据集实例特征标签领域基数密度情感593726音乐1.870.311酵母241710314生物学4.240.303场景24072946图像1.070.179医学978144945文本1.250.028TMC200728,59649,06022文本2.160.098Corel5k5000499374图像3.520.009RCV1-v2804,41447,236103文本3.20.031NUS-WIDE269,64850081图像2.40.0304.4. 评估指标。性能使用一系列全面的指标进行评估，包括基于示例的指标、基于标签的指标和基于排名的指标 [42]、[43]、[45]。这些指标的正式定义在表2中提供。4.4.1. 基于示例的指标•汉明损失（Hamming Loss，HL）量化误分类的实例-标签对的比例：(2)HL=1NL∑i=1N∑?=1L1[yi,?≠y?i,?]，其中1[?]是指示函数。较低的值表示更好的性能。•子集准确率（Subset Accuracy，SA）衡量预测标签集与真实标签集完全匹配的实例比例：(3)SA=1N∑i=1N1[yi=y?i]。•示例F1针对每个实例单独计算F1分数，并对所有示例取平均值：(4)Example-F1=1N∑i=1N2|yi∩y?i||yi|+|y?i|。4.4.2. 基于标签的指标让TP?、FP?和FN?分别表示标签?的真阳性、假阳性和假阴性计数：(5)Precision?=TP?/TP?+FP?，Recall?=TP?/TP?+FN?。•Micro-F1在计算F1分数之前汇总所有标签的计数：(6)Micro-F1=2∑?TP?/2∑?TP?+∑?(FP?+FN?)。•Macro-F1计算每个标签的F1分数并取平均值：(7)Macro-F1=1L∑?=1L2?Precision??Recall?/Precision?+Recall?。4.4.3. 基于排名的指标给定每个实例i和标签?的预测置信度分数p?i,?：•平均精度（Average Precision，AP）评估每个实例的标签排名质量：(8)AP=1N∑i=1N1|yi|∑?∈yi|{?′:p?i,?′≥p?i,?,?′∈yi}||{?′:p?i,?′≥p?i,?}|。•排名损失（Ranking Loss，RL）衡量每个实例中标签对顺序错误的平均比例：(9)RL=1N∑i=1N1|yi||y?i||{(a,b):p?i,a≤p?i,b,a∈yi,b∈y?i}|，其中y?i表示yi的补集。表2. 多标签分类评估指标。指标类别指标名称描述解释基于示例的汉明损失（Hamming Loss，HL）误分类的实例-标签对比例 [44]，[45]。较低值表示更好（↓）空白单元子集准确率（Subset Accuracy，SA）预测标签集与真实标签集完全匹配的实例比例 [46]。较高值表示更好（↑）空白单元示例F1每个实例的平均F1分数 [43]。较高值表示更好（↑）基于标签的Micro-F1强调频繁标签的全局F1分数 [42]。较高值表示更好（↑）基于排名的平均F1分数，赋予每个标签相同权重 [42]。较高值表示更好（↑）基于排名的一次错误率（One-Error，OE）具有错误最高排名的样本比例 [44]。较低值表示更好（↓）空白单元覆盖率（Coverage，Cov）覆盖所有真实标签的平均排名数量 [44]。较低值表示更好（↓）排名损失（Ranking Loss，RL）标签对顺序错误的比例 [44]。较低值表示更好（↓）4.5. 对比和统计分析提出的DET框架与三类最先进的多标签分类方法进行了比较：•传统机器学习模型：支持向量机（SVM）、k最近邻（kNN）和结合问题转换技术的决策树 [47]、[48]。•集成方法：RAKEL、集成分类器链（ECC）、MLDE和KELM-E [47]、[48]。•深度学习模型：卷积神经网络（CNN）、循环神经网络（RNN）和基于Transformer的MLC模型，以及最近的深度树集成，如DeepForest-MLC [44]、[49]。所有模型都使用相同的5折交叉验证分割进行训练和评估。超参数通过网格搜索进行优化，所有实验重复五次，并使用不同的随机种子以减轻随机效应并确保鲁棒性 [42]、[43]。结果的统计显著性使用Friedman检验进行评估，然后使用Nemenyi事后分析进行成对比较，显著性水平为α=0.05 [42]、[45]。4.6. 实现细节和基线配置所有实验都是在Python 3.10中实现的。传统方法和提出的DET框架使用scikit-learn 1.5和scikit-multilearn构建，而深度学习基线使用TensorFlow 2.14实现。DET框架扩展了scikit-learn的ExtraTreesClassifier，增加了自定义的多层堆叠以及与BR、CC和LP转换的集成。DET的超参数搜索空间包括：每层的树的数量M∈{50,100,200}，最大树深度D∈{10,15,20,25}，提前停止阈值τ∈{0.001,0.005,0.01}，以及最多K=8层。对于LP-DET，我们使用了ρ=0.1%的剪枝阈值来移除不常见的标签集。当连续两层的相对Macro-F1改进低于τ时触发提前停止。对于深度学习基线，我们搜索了学习率{10?4,10?3,10?2}和批量大小{32,64,128}。模型选择由验证集上的Macro-F1分数指导。所有方法使用相同的预处理、交叉验证折叠和随机种子以确保公平比较。实验重复五次，结果报告为平均值±标准差。硬件规格：Intel Core i9处理器，64 GB RAM，NVIDIA RTX 4090 GPU。基线方法：DET框架与以下已建立的基线方法进行了比较：•传统机器学习：BR-SVM、CC-SVM、BR-Random Forest、CC-Random Forest和ML-kNN。•基于集成的：RAKEL、集成分类器链（ECC）、MLDE和KELM-E。•深度学习：基于CNN的MLC、基于RNN/LSTM的MLC和基于Transformer的MLC模型。对于DeepForest-MLC基线，我们遵循级联风格的树集成，其中每一层将多个森林的类别概率向量聚合起来，并在传递到下一层之前与原始特征连接。超参数根据参考实现中的推荐配置设置，并基于验证Macro-F1应用提前停止。为了确保公平比较，我们强调树集成在表格和TF-IDF特征上自然表现出色，而深度模型通常在原始、非结构化输入上表现出色。因此，我们将深度学习基线视为性能和效率的参考点，而不是非结构化领域中优势的决定性指标。这个全面的基准测试旨在突出DET的混合性质，它结合了基于树的方法的鲁棒性和通过集成堆叠的层次化预测改进。5. 实验结果和讨论本节对实验结果进行了全面的评估和分析。我们首先比较了所有数据集和转换策略的整体性能（第5.1节），然后分析了计算效率和性能权衡（第5.2节）。然后我们解释了DET强大性能背后的架构优势（第5.3节），并提供了结果的严格统计验证（第5.5节）。第5.6节总结了主要发现的关键见解，而第5.7节详细讨论了分解核心架构组件影响的消融研究。最后我们在第5.10节讨论了局限性和未来的研究方向。表3. 包括深度学习基线的综合性能比较（HL：汉明损失，Prec：精度，Rec：召回率）。类型数据集方法HLPrecRecF1Macro-F1时间（秒）传统情感BR-RandomForest0.0890.770.580.660.67519.7ML-kNN0.0950.720.650.680.68212.5ECC0.0870.750.630.690.69528.6RAkEL0.0910.730.610.670.67825.3深度学习情感CNN-MLC0.0830.780.680.730.72589.4LSTM-MLC0.0850.760.700.730.728102.7BERT-MLC0.0840.770.710.750.725156.3DeepForest-MLC0.0860.770.690.730.73067.8我们的DET情感BR-DET0.0930.790.700.700.71072.1LP-DET0.0850.720.750.740.70559.4CC-DET0.0820.760.720.740.74063.9传统酵母BR-RandomForest0.2010.640.580.610.644145.3ML-kNN0.1950.620.610.620.63278.9ECC0.1980.630.600.620.638189.2RAkEL0.2030.610.590.600.625167.4深度学习酵母CNN-MLC0.1920.650.630.640.640.648312.6LSTM-MLC0.1940.640.640.640.650345.1BERT-MLC0.1890.670.650.660.662423.9我们的DET酵母BR-DET0.1960.670.600.650.664156.8LP-DET0.2050.670.620.610.650178.2CC-DET0.1880.680.660.670.668162.1传统场景BR-RandomForest0.0950.820.750.780.78888.7ML-kNN0.1020.780.770.780.78245.3ECC0.0970.800.760.780.785112.4RAkEL0.0990.790.750.770.78098.6深度学习场景CNN-MLC0.0910.840.800.820.810201.5LSTM-MLC0.0930.870.810.820.810234.8BERT-MLC0.0890.850.820.840.815298.7我们的DET场景BR-DET0.0940.860.780.820.81095.2LP-DET0.0960.810.790.800108.9CC-DET0.0880.870.830.850.825102.4传统医学BR-RandomForest0.0530.880.580.700.77097.8ML-kNN0.0680.810.650.720.74545.2ECC0.0550.850.670.750.768128.6RAkEL0.0620.830.630.720.752115.3深度学习医学CNN-MLC0.0580.860.720.780.785245.8LSTM-MLC0.0610.840.750.790.792289.这表明，在DET的分层架构中增加计算资源所带来的回报是逐渐减少的，但这些回报被预测能力的提升所充分证明是合理的。Extra-Trees架构在层数和树的数量上的线性扩展行为进一步增强了DET在中型和大型多标签任务中的实际应用能力。平均效率值应当与表3中报告的每个数据集的训练时间一起解读，因为数据集的大小和特征维度存在显著差异。表4中的综合分析清晰地展示了各个基准数据集之间的效率与性能之间的权衡。数据显示，CC-DET在Macro-F1分数上实现了显著提升，同时所需的训练时间不到传统集成方法的两倍。更引人注目的是，与深度学习基线相比，CC-DET在计算成本减半的情况下仍具有更好的预测性能，从而稳固地占据了性能-效率帕累托前沿的位置。这种引人注目的性能特点使得DET在同时需要高准确性和计算资源的场景中特别具有吸引力。

在Medical数据集上使用CC-DET框架进行的消融研究证实了我们的架构设计选择。我们将CC-DET与一个内部基线进行了比较——即同一分类器链结构中的单层DET模型（K=1）。如表5所示，K=3层、每层M=100棵树的最佳配置在Macro-F1分数上实现了4.6%的提升，同时保持了良好的计算效率。这证明了分层堆叠机制在分类器链范式中的显著优势，且性能提升在仅3层时就已经达到饱和。

5.3. DET性能优势的解释
DET的一致性优势，尤其是CC-DET变体，可以归因于几个相互关联的架构优势：
- **分层方差降低**：DET的分层架构逐步减少了相关标签之间的预测方差。虽然每个Extra-Trees层引入了随机性以提高鲁棒性，但堆叠机制允许后续层从前一层的学习中学习并纠正错误。这对于具有复杂依赖关系的标签尤其有益，正如TMC2007数据集上的性能提升所证明的那样，该数据集的标签相关性很强。
- **隐式相关性利用**：与需要预定义结构的显式相关性建模方法不同，DET的预测增强机制（Z(k)=[X,P(k?1)]）实现了标签关系的隐式学习。每一层都能接收到来自前层的联合预测上下文，使模型无需手动指定即可发现和利用相关性模式。这解释了CC-DET在Medical数据集上的出色表现，因为该数据集中的疾病代码共现遵循复杂的医学逻辑。
- **渐进式特征-标签耦合**：分层堆叠机制实现了特征表示和标签语义之间日益复杂的耦合。早期层捕获基本的特征-标签关系，而后层将这些关系与标签交互模式结合，从而在无需神经表示学习的情况下实现层次化的精炼。
- **自适应复杂性**：早期停止机制确保DET根据每个数据集的特征自动调整其复杂度。在像Scene这样简单的数据集上，性能通常在2-3层时达到饱和；而在像TMC2007这样更复杂的数据集中，则可以从额外的层次中受益。这种自动复杂性校准防止了过拟合，同时捕捉到必要的模式复杂性。

表6. 综合实验评估：DET框架与8个基准数据集的对比
| 数据集 | 方法 | Macro-F1 | Cohen’s d | 效果大小 | Friedman Rank |
|-------|------------|-----------|-----------|-----------|
| BR-DET | 0.71 | 10 | 0.82 | 大 | 3.8 |
| LP-DET | 0.70 | 5 | 0.75 | 大 | 3.2 |
| CC-DET | 0.71 | 15 | 0.88 | 大 | 2.1 |
| CNN-MLC | 0.69 | | 6.8 | |
| Yeast | 0.66 | 4 | 0.91 | 大 | 3.8 |
| LP-DET | 0.65 | 0 | 0.78 | 中等 | 3.2 |
| BR-RandomForest | 0.64 | | 6.2 | |
| Scene | 0.81 | 10 | 1.05 | 大 | 3.8 |
| LP-DET | 0.80 | 0 | 0.98 | 大 | 3.2 |
| CC-DET | 0.82 | 1.12 | 1.12 | 大 | 2.1 |
| LP-ExtraTrees | 0.79 | | 5.1 | |
| Medical | 0.78 | 1.10 | 1.02 | 大 | 3.8 |
| LP-DET | 0.77 | 1.02 | 1.02 | 大 | 3.2 |
| CC-DET | 0.80 | 1.18 | 1.18 | 大 | 2.1 |
| LP-SVM | 0.77 | | 7.3 | |
| TMC2007 | 0.82 | 1.20 | 1.20 | 大 | 3.8 |
| CC-ExtraTrees | 0.79 | | 5.1 | |
| Correl5k | 0.71 | 0.85 | 0.85 | 大 | 3.8 |
| LP-DET | 0.71 | 0.79 | 0.79 | 大 | 3.2 |
| CC-DET | 0.72 | 0.92 | 0.92 | 大 | 2.1 |
| ML-kNN | 0.29 | | 5.9 | |
| RCV1-v2 | 0.84 | 1.35 | 1.35 | 大 | 3.8 |
| BR-LinearSVM | 0.81 | | 6.4 | |
| NUS-WIDE | 0.78 | 1.15 | 1.15 | 大 | 3.2 |
| LP-DET | 0.77 | 1.05 | 1.05 | 大 | 3.2 |
| CC-DET | 0.79 | 1.22 | 1.22 | 大 | 2.1 |
| ResNet-MLC | 0.55 | | 6.1 | |

**统计群体解释**：A组：CC-DET（排名第2.1）| B组：LP-DET（排名第3.2）| C组：基线方法（排名第5.1-7.3）。Friedman检验：χ2=46.12（p<0.0001）。DET框架在特定的小型数据集和大规模基准测试中都展示了持续的、统计上显著的性能提升。

5.4. 案例研究：DET的可解释性分析
为了将可解释性潜力转化为实證，我们选取了一个具有代表性的数据集（例如Medical数据集）进行了具体研究。该研究围绕三个互补的成果进行组织：
1. **全局特征重要性**：我们报告了跨所有树和层的排名最高的特征（例如，平均Gini重要性）。这提供了驱动多标签预测的信号在数据集层面的紧凑视图。
2. **逐层重要性演变**：我们比较了各层之间的特征重要性排名，展示了概率上下文（P(k)）如何改变模型对原始特征的依赖性与基于标签的证据。
3. **单个实例的决策路径追踪**：对于选定的测试实例，我们重建了跨层的主导决策路径，并强调了中间标签概率如何影响后续的分割，提供了最终多标签预测的明确、基于规则的解释。

这些成果旨在使DET的决策过程在全局和实例层面都变得透明，并且可以直接从训练好的集成模型中生成，无需额外的后处理解释器。

5.5. 统计验证
为了严格验证第5.5.1节Friedman分析和第5.5.2节Nemenyi分析中展示的性能优势，我们按照既定的机器学习评估实践进行了全面的统计分析。

5.5.1. Friedman和Nemenyi分析
对所有八个数据集的Macro-F1分数进行的Friedman检验得出χ2=32.15（p<0.001），确认了评估方法之间的统计显著性差异。使用Nemenyi检验进行的后续分析揭示了不同的性能分组，在α=0.05时具有1.85的显著差异。

5.5.2. 效果大小量化
为了评估实际意义，我们计算了每个数据集上CC-DET与最强基线之间的Cohen’s d效应大小（表6）。结果一致显示，在所有领域中效应大小（d=0.82至1.25）都很大，表明实际改进超出了统计显著性范围。

5.5.3. 性能排序分析
Friedman排序分析显示了所有数据集中清晰的性能层次结构。CC-DET始终获得最高的排名（平均排名：2.1），其次是LP-DET（3.2）和BR-DET（3.8）。所有DET变体都显著优于传统基线方法，后者排在第4.5至7.3位。差异图直观地证实了CC-DET形成了一个统计上显著的不同性能组，与传统方法相比有显著的优势。

**最佳表现者（A组）：**CC-DET在所有数据集中始终排名最高，表明其在捕捉复杂标签依赖关系方面具有优越的能力。
**强劲表现者（A-B组）：**LP-DET在标签组合易于管理的数据集中表现出竞争性性能。
**有竞争力的方法（B组）：**BR-DET在标签相关性较弱的情况下提供了稳健的基线性能。
**传统基线（C组）：**像ML-kNN、随机森林变体和深度学习方法这样的成熟方法排名较低，突显了DET框架所提供的显著进步。
从音乐情感识别到临床文本分类等不同领域的排名一致性表明了DET方法的通用性和其对不同数据特征及标签关联结构的适应性。

5.5.4. 交叉验证稳定性
5 × 2交叉验证程序显示所有DET变体的稳定性都非常好，变异系数值低于2.5%。这表明无论数据划分方式如何，DET都能保持稳定的性能，进一步证实了我们实验发现的可靠性（见图4、图5）。

下载：下载高分辨率图片（518KB）
下载：下载全尺寸图片

图3. 分层深度对BR-DET性能和效率的影响。（左）随着层数的增加，Macro-F1分数逐渐提升，从K=1到K=3有显著收益（例如，Medical数据集的相对提升为+20%），之后性能提升趋于饱和。每增加一层都能更好地抽象特征和捕捉标签相关性，但第三次层之后收益开始减少。（右）训练时间随深度增加而增加，突显了分层堆叠的计算成本。K=3处的垂直虚线表示性能提升达到平台的最佳深度，而计算成本继续上升，验证了我们设定的早期停止标准（τ=0.005）自动识别了这一效率前沿。

下载：下载高分辨率图片（526KB）
下载：下载全尺寸图片

图4. 分层深度对LP-DET性能和效率的影响。（左）随着层数的增加，Macro-F1分数逐渐提升，从K=1到K=3有显著收益（例如，Medical数据集的相对提升为+14%），之后性能提升趋于饱和。在Label Powerset配置下，每增加一层都能更好地学习复杂的标签组合模式和层次化特征表示。（右）训练时间随深度增加，由于多类转换的开销，LP-DET在不同数据集上的基线成本有所不同。K=3处的垂直虚线表示标签组合学习达到成熟的最佳深度，而计算成本继续上升，验证了我们为LP-DET变体设定的早期停止标准（τ=0.005）。

下载：下载高分辨率图片（529KB）
下载：下载全尺寸图片

图5. 分层深度对CC-DET性能和效率的影响。（左）随着层数的增加，Macro-F1分数显著提升，从K=1到K=3的相对提升尤其显著（例如，Medical数据集的相对提升为+17%），之后性能提升趋于饱和。在分类器链配置下，每增加一层都能更 sophisticated 地学习序列标签依赖关系和通过链结构进行错误校正。CC-DET在所有DET变体中实现了最高的整体性能，证明了显式标签依赖关系建模与分层堆叠的有效结合。（右）训练时间随深度增加，CC-DET在不同数据集上的计算成本有所不同。K=3处的垂直虚线表示标签组合学习达到成熟的最佳深度，而计算成本保持可控，验证了我们为最佳性能的CC-DET变体设定的早期停止标准（τ=0.005）。

5.5.5. 统计功效分析
通过八个数据集、多种评估指标和八次实验重复，我们的实验设计在α=0.05的情况下能够检测到中等效应大小（d>0.5），统计功效超过0.95。这确保了对报告的性能差异有高度信心，并最小化了II型错误的风险。

这些全面的统计分析共同证实了DET框架的性能优势在统计上显著且在实践中具有重要意义。

5.6. 关键见解
实验分析揭示了所提出的DET框架的行为和优势的几个总体见解：
- **通过分层方差降低实现渐进式精炼**：通过允许后续层从前一层的学习中学习，多层Extra-Trees的堆叠逐步增强了特征抽象。这种分层方差降低对于相关标签特别有效，解释了为什么性能通常在三层之后达到饱和——集成在相关性利用方面收益递减。
- **转换协同性与数据特征匹配**：性能模式显示了方法与数据的明确匹配：CC-DET在标签依赖性强（如Medical、TMC2007）的数据集上表现出色，因为它能够显式地建模序列相关性；而BR-DET在高维度数据（如Yeast）上仍具有竞争力，这得益于其独立性假设；LP-DET在标签组合易于管理的中间标签领域（如Scene）找到了自己的位置。
- **有利的效率-性能权衡**：尽管DET变体的训练时间平均增加了1.8倍，但它们在Macro-F1上的性能提升达到了2.4倍。这一有利比率源于DET能够在逐层精炼预测的同时重用特征计算，而不是在每个阶段从头开始重新计算表示。
- **保持可解释性的同时保持鲁棒性**：DET框架通过其分层架构中的多种互补机制保持了模型的可解释性。与不透明的模型相比，DET在增加层次化预测精炼的同时保持了树级别的可解释性。具体来说：
- **特征重要性传播**：每个Extra-Trees层计算Gini重要性分数，这些分数可以跨层聚合以识别全局有影响力的特征。
- **决策路径追踪**：对于任何预测，都可以重建从根到叶的所有层中分裂规则的序列，提供明确的推理链。
- **逐层贡献分析**：通过比较中间输出，可以量化每一层对最终预测的影响，揭示了渐进的精炼过程。
- **标签依赖性可视化**：在CC-DET中，分类器链结构允许追踪早期标签的预测如何影响后续的标签决策，使相关性模式变得明确。

5.7. 对架构组件的消融研究
为了分解每个架构组件的贡献，我们进行了全面的消融研究，重点关注（i）层深度（K）和（ii）每层的树数量（M）。在Medical和TMC2007数据集上的实验揭示了几个重要的设计原则：
- **层深度分析**：如图3所示，两个数据集的性能都在K=3层时达到饱和。这验证了我们的早期停止阈值，并确认了浅层堆叠的集成提供了最佳平衡——足够的深度以实现层次化精炼，而不会增加不必要的复杂性。饱和点与我们的观察一致，即大多数标签相关性可以在2-3层抽象内捕捉到。
- **树数量影响**：增加M可以提高预测稳定性，但超过M=100后收益开始减少。训练时间的线性增长（表5）表明，计算瓶颈主要是树数量而非层深度。这一见解提示实际部署用户可以根据性能关键性优先考虑树数量，并在效率敏感的场景中减少树数量。
- **早期停止验证**：三层之后性能的一致性平台证明了我们设定的早期停止标准τ=0.005的合理性。这种自动复杂性控制防止了过拟合，同时确保DET能够适应每个数据集的固有难度。

5.8. 参数敏感性和计算权衡
我们分析了控制准确性、鲁棒性和运行时间的DET关键超参数的敏感性：链的数量R（CC-DET）。增加R可以通过平均更多随机链来减少标签顺序的敏感性，但会线性增加训练成本。我们选择R来平衡稳定性和效率，并在敏感性分析中报告了其对性能和运行时间的影响。修剪阈值ρ（LP-DET）：修剪阈值决定了稀有标签集的包含情况。较小的ρ保留了更多的稀有组合（提高了少数标签集的召回率），但增加了类别的基数和运行时间；较大的ρ提高了效率，但可能会丢弃少数模式。因此，我们通过验证来选择ρ以平衡这些影响。提前停止阈值τ：我们使用基于连续层之间验证的Macro-F1的相对改进标准。当连续两层的改进幅度低于τ时，堆叠过程将终止，以限制过拟合和不必要的深度。报告对τ的敏感性是为了证明所选值的稳定性。树的数量M和深度D：如消融实验所示，较大的M可以提高稳定性，但收益递减，而D则在偏差和方差之间进行权衡。我们使用受限的网格搜索来保持计算的可行性。5.9 可扩展性讨论：BR-DET和CC-DET的可扩展性与标签数量成线性关系，而LP-DET则存在标签集爆炸的问题。对于中等标签基数（L≤50），CC-DET提供了强相关性建模且成本可控，而LP-DET仅在观察到的标签集数量有限时适用。对于极端标签设置，可以通过（i）减少链数R，（ii）在CC-DET之前应用标签分区或聚类，以及（iii）使用分布式训练来处理并行链来提高可扩展性。这些考虑明确了DET最实用的计算范围。5.10 局限性和未来研究方向：尽管DET框架在多种多标签任务中表现出色，但仍存在一些局限性，这为方法论的进步提供了机会：可扩展性限制：当前实现在进行极端多标签设置（L>1000）时面临计算挑战，特别是对于由于其顺序性质而导致的CC-DET。与深度学习方法相比，这种基于标签数量的线性扩展虽然有利，但可能限制了在具有数千个标签的领域中的应用。架构配置：手动指定层深度（Kmax）和提前停止阈值（τ）需要领域专业知识以及交叉验证。该框架将从能够适应数据集特性的自动化配置机制中受益。特征表示兼容性：尽管DET在传统特征空间中表现出色，但其与原始神经嵌入的性能尚未得到探索。该框架与现代表示学习方法的交互值得研究。理论基础：虽然实证结果令人信服，但迭代预测增强过程和深度树集的泛化界限的理论保证仍需进一步发展。这些局限性自然引出了结论中概述的研究方向，重点在于提高可扩展性、自动化架构学习、混合表示以及理论基础。6. 结论与未来工作：本研究引入了Deep Extra-Trees（DET）框架，证明了分层细化可以与基于树的集合的计算效率有效结合。通过堆叠多个Extra-Trees层并加入预测增强机制，DET实现了逐步的特征和标签细化，同时保持了良好的可扩展性。我们的工作确立了三个主要贡献：首先，我们开发了一种新的分层集成架构，通过迭代细化捕获了复杂的标签依赖关系，这一点从CC-DET变体在相关性丰富的数据集上的优异性能中得到了证明。其次，该框架与基本问题转换方法的无缝集成提供了一个适用于多种多标签场景的统一解决方案。第三，跨八个基准领域的全面评估证实，DET在所需的计算资源远少于几种神经基线的情况下仍具有竞争力的性能。实证结果展示了显著的优势：DET变体始终优于传统集成方法，其中CC-DET方法的Macro-F1得分平均提高了8.7%。值得注意的是，这种性能伴随着极高的计算效率，因为DET以不到一半的训练时间提供了优于基于Transformer的模型的准确性。通过Friedman和Nemenyi测试进行的统计验证确认了这些改进的显著性和实质性。展望未来，这项工作为几个有前景的研究方向提供了可能性：将DET扩展到极端多标签设置是一项紧迫的挑战，这需要分布式计算解决方案。开发自动化配置机制可以进一步提高可访问性，而分层树集的理论分析仍是一个有待正式描述的开放领域。此外，将DET的高效相关性建模与学习到的语义表示相结合的混合方法为下一代机器学习系统提供了有希望的可能性。总之，DET框架代表了多标签分类方法的一项有意义的进步。通过将集成方法与分层学习原理相结合，它在保持实际计算要求的同时，在各种领域中提供了稳健的性能。我们相信这种方法将对实际应用具有价值，并期待研究社区在这个基础上进行进一步发展。CRediT作者贡献声明：Abdelkader Berrouachedi：撰写——原始草稿、可视化、监督、软件、资源、方法论、调查、资金获取、形式分析、数据 curation、概念化。Rakia Jaziri：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、资金获取、形式分析、数据 curation、概念化。Gilles Bernard：撰写——审阅与编辑、撰写——原始草稿、验证、监督、方法论、调查。可重复性和代码可用性：为了确保完全的可重复性并促进进一步的研究，我们提供以下资源：• 完整的源代码：BR-DET、CC-DET和LP-DET变体的完整实现• 预处理流程：所有八个基准数据集的数据标准化、特征工程和标签转换脚本• 实验配置：所有实验的超参数设置、随机种子和交叉验证分割• 评估脚本：全面的指标计算和统计测试实现• 可视化工具：生成所有图表和性能分析图表的代码所有资源均可在以下链接公开获取：https://github.com/AbdelkaderBerrouachedi/MLC 该仓库包括详细的文档、安装说明以及从数据加载到最终模型评估的完整工作流程示例笔记本。所有实验都可以使用提供的配置文件和与第4节描述的实验协议一致的随机种子进行复制。伦理批准：不适用。AI辅助写作声明：作者仅使用AI辅助工具进行语法纠正、清晰度和语言改进。所有科学内容、方法论和结论均为作者的原创工作。资金来源：本研究未获得任何外部资助。