TransNet：一种基于迁移增强的领域适应模型，用于数据稀缺场景下的跨领域水质指数预测

《Knowledge-Based Systems》：TransNet: A Transfer-Augmented Domain Adaptation Model for Cross-Domain Water Quality Index Prediction in Data-Scarce Scenarios

层次化文本分类通过对比学习框架提升细粒度标签区分，动态生成高质量负样本组合。方法从序列和节点视角出发，结合深度优先搜索和Top-k概率选择策略，优化负样本质量。实验在三个数据集上验证有效性，尤其在两个数据集达到最优性能。

　　近年来，随着自然语言处理（NLP）技术的不断发展，文本分类任务逐渐从传统的扁平分类模型转向更复杂的层级分类结构。层级文本分类（Hierarchical Text Classification, HTC）作为一种重要的文本处理方法，其核心目标是根据预定义的层级结构对文本进行多级分类。这种分类方式在处理具有丰富语义层次的文本数据时表现出显著优势，例如在学术文献、新闻报道、社交媒体内容等领域中，文本往往涉及多个层级的类别信息，如主题、子主题、具体领域等。然而，随着分类层级的加深，细粒度标签之间的区分度问题逐渐显现，成为限制HTC模型性能的关键挑战。

在现有的HTC研究中，大多数方法倾向于将文本特征与标签层级结构相结合，以提高分类的准确性。然而，这种方法往往无法有效地区分细粒度标签，特别是在数据分布不均和层级之间存在复杂依赖关系的情况下。细粒度标签通常位于分类结构的较深层次，它们所描述的概念更加具体，但同时也更容易出现混淆。例如，在新闻分类中，“财经”与“销售”这两个细粒度标签可能在某些文本中表现出相似的语义特征，导致模型难以准确区分。相比之下，粗粒度标签如“新闻”、“特征”、“广告”等则描述更为宽泛的概念，其间的差异更为明显。

为了解决这一问题，研究人员开始探索对比学习（Contrastive Learning）在HTC中的应用。对比学习是一种通过最大化正样本之间的相似性、最小化负样本之间的相似性来增强模型表征能力的方法。它在图像识别、语音处理等领域已经取得了显著成效，但在文本分类任务中，尤其是HTC中，仍然面临诸多挑战。主要问题在于，当前的对比学习方法在生成负样本时，往往依赖于随机采样或基于语义嵌入相似性的策略，而这些策略在处理复杂的层级结构时，难以有效捕捉细粒度标签之间的细微差异。此外，由于HTC的层级结构通常以树或有向无环图（DAG）形式存在，同一文本可能对应多个合理的标签路径，这种结构复杂性进一步加剧了负样本选择的难度。

基于上述问题，本文提出了一种基于概率引导的对比学习框架（Probability-Guided Contrastive Learning, PGCL），旨在通过从序列和节点两个视角构建高质量的负样本，从而提升HTC模型对细粒度标签的区分能力。PGCL框架的核心思想是，利用标签层级结构和深度优先搜索（DFS）算法生成多样化的负样本，并结合预测概率动态选择最具挑战性的负样本组合。这种方法不仅能够确保负样本的质量，还能增强模型对细粒度标签的判别能力。

在具体实现中，PGCL框架包含两个关键方法：序列视角下的对比学习方法和节点视角下的对比学习方法。序列视角方法通过探索标签路径序列的变化，生成多个负样本。这些负样本在整体结构上保持一致，但通过不同的路径组合，能够有效区分不同层级的标签。在模型训练过程中，该方法动态选择预测概率最高的负样本组合，以确保训练的有效性和多样性。节点视角方法则基于预测概率，从非真实标签节点中选择前k个预测概率较高的节点作为负样本。这些节点在特征空间中与正样本具有较高的相似性，因此能够更好地模拟真实场景中的混淆情况，从而提升模型的泛化能力。

PGCL框架的优势在于，它能够从两个不同的角度构建高质量的负样本，从而更全面地反映标签之间的关系。首先，序列视角方法通过深度优先搜索算法，生成多样化的负样本，确保模型在不同路径下都能获得足够的训练信息。其次，节点视角方法通过动态选择具有高预测概率的非真实标签节点，增强了负样本与正样本之间的对比度，使模型在训练过程中更专注于区分细粒度标签。这两种方法的结合，使得PGCL能够在不同训练阶段中，根据模型的学习进度，灵活调整负样本的生成策略，从而最大化对比学习的效果。

在实验部分，本文在三个广泛使用的公开数据集上进行了全面的验证。实验结果表明，PGCL框架在两个数据集上均取得了当前最先进的（State-of-the-Art, SOTA）性能。这表明，PGCL在提升细粒度标签区分能力方面具有显著优势。此外，实验还分析了不同负样本生成策略对模型性能的影响，进一步验证了PGCL框架的有效性。

从理论角度来看，PGCL框架的提出为HTC任务提供了一种新的思路。传统的对比学习方法往往忽略了标签层级结构对负样本生成的影响，而PGCL则通过引入概率引导机制，使得负样本的选择更加符合实际的分类需求。这种方法不仅能够提高模型对细粒度标签的识别能力，还能增强模型对复杂层级结构的适应性，使其在处理多级分类任务时更加高效和准确。

从应用角度来看，PGCL框架的提出具有重要的现实意义。在实际场景中，许多文本分类任务都需要考虑标签之间的层级关系，例如电子商务商品分类、新闻事件分类、医学文献分类等。这些任务中的细粒度标签往往具有高度相似性，导致模型在分类时出现混淆。通过PGCL框架，可以更有效地解决这一问题，提高分类的准确性和可靠性。此外，PGCL框架的灵活性和可扩展性，使其能够适应不同类型的层级结构，从而在更广泛的应用场景中发挥作用。

在技术实现上，PGCL框架的构建依赖于对标签层级结构的深入理解和对文本特征的精确捕捉。首先，需要对文本进行编码，提取其语义特征，以便后续的对比学习能够基于这些特征进行操作。其次，需要对标签层级结构进行建模，以便能够生成符合实际分类需求的负样本。在实际应用中，这些步骤可以通过预训练的语言模型和自定义的结构编码器来实现，从而确保模型能够充分利用标签层级信息。

此外，PGCL框架还引入了动态选择策略，以确保负样本的质量和多样性。在训练过程中，模型会根据当前的学习状态，动态调整负样本的生成方式，从而更有效地优化模型的参数。这种动态调整机制使得PGCL能够在不同阶段针对不同的分类需求，生成最合适的负样本，从而提升模型的整体性能。

在对比学习的过程中，负样本的质量直接影响到模型的训练效果。高质量的负样本能够帮助模型更准确地学习到细粒度标签之间的差异，从而提高分类的准确性。PGCL框架通过从序列和节点两个视角生成负样本，确保了负样本的多样性和相关性，从而在训练过程中为模型提供了更多的对比信息。

总的来说，PGCL框架的提出为HTC任务提供了一种新的解决方案，通过概率引导机制，使得负样本的选择更加符合实际分类需求。这种方法不仅能够提高模型对细粒度标签的识别能力，还能增强模型对复杂层级结构的适应性，使其在处理多级分类任务时更加高效和准确。实验结果表明，PGCL框架在多个数据集上均取得了优异的性能，验证了其在实际应用中的有效性。未来，随着NLP技术的进一步发展，PGCL框架有望在更多复杂文本分类任务中发挥重要作用，为相关领域的研究和应用提供新的思路和方法。