增强与重用：一种双机制方法，用于提升深度森林在标签分发学习中的性能

《Pattern Recognition》：Enhance and reuse: A dual-mechanism approach to boost deep forest for label distribution learning

　　贾乐徐|沈桓柳|余年王|宁晨|齐浩泉|唐斌|叶宝柳
中国水利部水大数据技术重点实验室，河海大学，南京，211100

摘要
标签分布学习（LDL）要求学习者预测每个样本与每个标签之间的相关性程度。为了实现这一目标，学习过程中的一个关键任务是利用标签之间的相关性。深度森林（DF）是一个基于树集成的深度学习框架，其训练阶段不依赖于反向传播。DF通过每一层的预测进行模型内特征转换，并在许多任务上表现出了竞争力。然而，它在LDL领域的探索仍处于起步阶段。目前应用于LDL领域的少数方法并没有有效的方式利用标签之间的相关性。因此，我们提出了一种名为增强和重用特征深度森林（ERDF）的方法。该方法主要包括两种机制：利用标签相关的特征增强和基于度量的特征重用。第一种机制是利用标签之间的相关性来增强原始特征，使样本能够为LDL任务获得更全面的信息；第二种机制是对在验证集上表现较差的样本的特征进行重用，以确保训练过程的稳定性。这种增强-重用模式不仅能够丰富样本的特征，还能验证新特征的有效性，并通过重用过程防止噪声进一步扩散。实验表明，我们的方法在六个指标上的表现优于其他比较算法。

引言
在多标签学习（MLL）[1]中，一个实例对应的标签是多个标签的子集，而不是传统单标签学习（SLL）中的单个标签。例如，在电影分类中，一部电影可以被标记为“喜剧”、“动作”和“浪漫”；在新闻文本注释中，一篇文章可能同时涉及“技术”和“金融”主题。MLL显著提高了模型描述复杂对象的能力，并已广泛应用于文本分类[2]、[3]、多媒体分析[4]、[5]和图像内容标注[6]、[7]、[8]等领域。尽管MLL相比SLL在表达能力上有了显著提升，但它仍然基于相同的假设：标签以二元方式描述实例，即标签对于实例要么相关要么无关。这种二元假设忽略了一个关键事实，即不同标签在描述同一实例时的贡献或重要性可能各不相同。例如，一部电影主要可能是动作片，但也包含一些喜剧元素。传统的学习范式无法捕捉这种语义上的模糊性和不确定性。为了更精确地量化不同标签的相对重要性，提出了标签分布学习（LDL）[9]作为一种更通用的学习范式。LDL的核心思想是将标签分布与实例关联起来。这种分布是一个实值向量，其中每个元素代表该实例对应标签的描述程度，所有维度的总和为1。通过这种方式，LDL将标签描述的定性“是或否”判断扩展为定量的“程度”测量，从而实现更精确和全面的对象语义信息捕捉。由于其能够处理更一般的标签模糊情况，LDL已在面部表情识别[10]、[11]、[12]、对象检测[13]、医疗护理[14] [15]等众多相关领域得到广泛应用。一些最新文章创新地使用标签分布来辅助多标签学习过程[16]。无论是MLL还是LDL范式，标签之间都不是独立的。因此，在学习过程中利用标签之间的相关性是一项重要任务。在LDL中，相关性较大的标签倾向于同时被赋予较大的值。例如，在图像分类任务中，“海水”和“海滩”这对标签与图像的高度相关性较大。而在相关性较小的标签之间这种情况较少发生。例如，在电影分类任务中，“爱情”和“恐怖”、“技术”这样的标签基本上不太可能同时被赋予较大的值。图1提供了一个更具体的例子。充分利用标签之间的相关性可以提高算法的有效性和性能。目前的工作主要通过两种方法来利用标签的相关性。一种方法是通过外部正则化，如统计信息[17]、[18]、图方法[19]、[20] [21]或其他特殊正则化项[22]、[23] [24]；这是最常用的方法。另一种方法是潜在空间学习，如低秩方法[25]、[26]。前者在损失函数中加入基于标签相关性的正则化项来约束模型训练；后者直接改变标签空间，并学习从输入空间到新标签空间的映射，然后将预测结果投影回原始标签空间。这些方法主要关注输出标签空间内的相关性建模，而很少有工作专注于利用标签相关性来丰富输入特征空间。
深度森林[27]是一个不依赖于反向传播的深度学习框架。其实现借鉴了深度神经网络的关键成功因素：逐层处理、模型内特征转换和足够的模型复杂性。其级联结构的每一层都是多个森林的集成。通过这种结构，每一层提取特征并传递到下一层进行处理。由于DF具有强大的特征表示能力和较少的超参数，它在图像分类[28]、[29]等许多任务上取得了成功。它还发展出了许多不同的变体。陈等人[30]利用高维特征交互作为内部表示特征，进一步增强了其表示能力；Utkin[31]通过引入不精确的概率来处理类别预测的不确定性，从而提高其在小数据集上的鲁棒性。此外，为森林中的树分配不同的权重[32]也被用来适应度量学习。一些研究还提供了其性能的理论证明，例如[33]、[34]。然而，它在非单标签学习任务（如MLL、LDL）中的探索仍处于早期阶段。主要原因在于它缺乏损失函数，无法有效利用传统方法来利用标签之间的相关性。杨等人[35]将DF应用于MLL任务，使用特征重用机制来确保训练的稳定性。Ilidio等人[36]在弱标签学习任务中进行了探索。尽管这两种方法都在一定程度上利用了标签之间的相关性，但这种过程是隐式的而非显式的。

本文提出了ERDF方法，该方法通过特征增强机制明确利用了标签之间的内在相关性。这种机制与DF的级联结构无缝集成，充分利用了其逐层模型内特征提取和转换的能力。同时，为了保证新生成特征的质量并保持训练阶段的整体稳定性，ERDF使用特征重用机制来识别不良特征并用更好的特征替换它们。本文的主要贡献可以总结如下：
- 我们提出了一种新的简单方法，用于在学习过程中探索标签之间的相关性。与大多数现有方法不同，它关注输入特征空间。
- 我们将这种新机制应用于DF，并通过特征重用机制对其进行补充，在LDL领域成功地进行了探索。
- 在多个公共数据集上的实验验证了我们算法的优越性。消融实验也证明了我们机制的有效性。

本文的其余部分组织如下：第2节介绍了一些关于LDL的初步知识。第3节详细介绍了我们的ERDF方法，包括两种设计的机制。第4节报告了实验结果，第5节对本文进行了总结。

初步知识
在LDL中，X?Rd是一个d维特征空间，Y={y1,y2,…,yc}是c个可能的标签集合。对于第i个实例xi ∈ X，其对应的标签是一个标签分布，表示为di={di1,di2,…,dic}。这里dij表示xi和yj之间的相关性程度。需要注意的是，di必须满足两个约束：
- 非负性：dij≥0，?j∈{1,…,c}。
- 规范化：∑j=1 cdij=1。
图1是一个示例样本。学习任务是学习一个映射函数f:X→D，该函数优化了...

利用标签相关的特征增强
这种机制专门设计用于使DF能够利用标签之间的内在相关性，从而在标签分布学习中取得更好的性能。鉴于DF强大的逐层提取和利用新特征的能力，我们利用标签之间的相关性来增强每一层的特征。该机制可以分为两个阶段：学习阶段和增强阶段。特征增强的详细伪代码...

实验
在本节中，我们在多个公共LDL数据集上对ERDF算法进行了实验以验证其性能。我们将其与几种常用的LDL算法进行比较，并展示了ERDF的优越性。我们还对ERDF的两个机制进行了消融实验，以证明它们的必要性。

结论
在本文中，我们研究了标签分布学习问题，并提出了ERDF，这是一种结合了特征增强和基于度量的特征重用的DF双机制扩展。所提出的框架通过自适应特征重用同时利用标签相关性来丰富表示，并保持训练稳定性。在多个基准数据集上的广泛实验表明，ERDF比现有方法取得了显著改进。

作者贡献声明
贾乐徐：撰写——初稿、方法论、形式分析、概念化。
沈桓柳：撰写——审阅与编辑、监督、项目管理、资金获取。
余年王：撰写——审阅与编辑、调查。
宁晨：撰写——审阅与编辑、验证。
齐浩泉：撰写——审阅与编辑、验证。
唐斌：撰写——审阅与编辑、验证。
叶宝柳：撰写——审阅与编辑、验证。

利益冲突声明
作者声明没有已知的竞争财务利益或个人关系可能会影响本文所报告的工作。

致谢
本工作得到了国家自然科学基金（编号62306104、62441225和62572171）、江苏省基础研究计划（编号BK20253011）、香港学者计划（编号XJ2024010）、中国香港特别行政区研究资助委员会（GRF项目编号CityU11212524）、江苏省自然科学基金（编号BK20230949）、江苏省科学技术协会（编号JSTJ2024285）和中国博士后科学基金（编号...）的支持。