一种基于化学原理的多语言自然语言处理中的跨语言迁移方法：通过图结构优化实现 作者：Befekadu Bekuretsion、Wolfgang Menzel 和 Solomon Teferra

《AI》：A Chemistry-Inspired Cross-Lingual Transfer in Multi-Lingual NLP via Graph Structural Optimization Befekadu Bekuretsion, Wolfgang Menzel and Solomon Teferra

　　摘要 多语言学习在自然语言处理中至关重要，但面临着迁移-干扰权衡的问题：积极的迁移会对某些语言有益，而消极的干扰则会影响其他语言。以往的方法，包括基于语言学和基于嵌入的语言聚类，试图解决这一问题；然而，它们受到静态设计的限制，并且缺乏针对任务的反馈。在这项研究中，我们提出了一种受分子设计启发的新计算策略，该策略构建具有靶向属性的“语言分子”。语言被建模为无向图中的节点，边表示迁移强度。通过强化学习优化这种“语言分子”，以调整边连接和权重，从而增强积极迁移并最小化干扰。然后使用WikiANN数据集中的25种语言和UDPOS数据集中的12种类型多样化的语言，在命名实体识别（NER）和词性标注（POS）任务上评估这些聚类。与基于语言学和基于嵌入的语言聚类基线相比，我们的方法取得了显著改进，特别是对于资源匮乏的语言，有些语言的F1分数提高了35%以上，而资源丰富的语言也获得了适度提升，这证实了迁移-干扰权衡的减少。我们的“原子-语言模型”为多语言学习提供了一条新的路径，这一路径受到了物理科学中分子原理的启发。

1. 引言
在多种语言并存的环境中，多语言学习已成为自然语言处理的核心方法，尤其是对于那些在数据中已经严重缺失的语言。现代方法利用不同语言之间的联合训练，以实现参与语言数据集之间的跨语言迁移。然而，这种方法存在迁移-干扰权衡的问题，即尽管某些语言从迁移中受益，但由于数据可用性不平衡或语言差异性，其他语言可能不会获得同样的提升。
已经有多种尝试来解决迁移-干扰权衡问题：多语言预训练（如Multilingual Bidirectional Encoder Representations from Transformers (mBERT)、Cross-lingual Language Model RoBERTa (XLM-R) 和处理数据不平衡 [1,2,3]；跨语言迁移和字节对编码（BPE）、人工语言、适配器和对齐 [4,5,6,7,8,9]；以及其他研究使用世界语言结构图谱（WALS）中的语言特征和类型学、词序和形态学 [10,11,12,13,14,15,16,17]；基于语言线索或嵌入的聚类策略 [18,19,20]；以及将类型学信息与嵌入结合的混合模型 [21,22]。
跨语言迁移在资源匮乏的环境中取得了最新进展，例如使用基于去噪的多源迁移 [23]、利用多级语义对齐 [24]、使用语言适配器 [25] 或使用检索和上下文感知学习 [26]。
我们的研究专注于语言聚类方法，该方法涵盖了基于语言学信息和基于嵌入的方法。基于语言学的聚类（为简化起见，简称为语言聚类）利用谱系或类型学相似性将语言分组到不同的簇中。这种方法假设谱系接近性意味着可迁移性，但这并不总是成立，并且未能捕捉到跨语言迁移过程中的任务特定兼容性。其静态本质以及无法适应不同任务或数据的特点导致语言分组不理想，从而影响了迁移学习的效果。
基于嵌入的方法基于语言模型中使用的抽象数值表示的相似性。它假设在嵌入空间中相似的语言在同一个簇中进行联合训练时能够更好地传递知识（或获得更多收益）。与语言聚类方法一样，基于嵌入的方法也忽略了任务特定信息。此外，它受到预训练数据特征（例如，词元频率、共享领域、书写系统）的影响，这些特征可能并不直接与所考虑的任务相关。对于这两种方法来说，都不存在直接评估语言簇的迁移或干扰情况并进行必要修正的机制，也就是说，如果两种语言具有相似的嵌入或语言特征但会产生干扰，训练过程中也没有性能反馈或修正机制。基于嵌入的聚类从一个扁平结构中学习，无法学习复杂的迁移-干扰模式。语言聚类的效果很大程度上受到簇质量的影响；也就是说，由于簇质量差或噪声大，可能会导致整体性能下降。
为了解决上述问题，我们将静态方法（用于基于语言学或表示层的嵌入方法）转变为一种动态的、任务感知的、适应性强的聚类学习方法，该方法能够感知数据并具有性能驱动的反馈机制。它还包含一个直接控制迁移和干扰模式的机制。
受计算化学中分子发现的启发，我们提出了一种新的方法，使用基于图的语言聚类方法来解决多语言训练中的迁移-干扰权衡问题。在我们的“原子-语言模型”中，每种语言被表示为一个原子，语言之间的迁移强度由连接它们的化学键表示。所得到的图被称为“语言分子”，在后续章节中可以与语言图互换使用。在计算化学中，原子及其化学键被操纵以形成具有所需化学和物理特性的分子。我们的方法操纵语言分子中的连接，以获得具有理想特性的优化图，例如在下游任务（如命名实体识别（NER）或词性标注（POS）任务中的最佳性能。这种结构优化是通过强化学习（RL）代理来实现的，该代理优化了一个非扁平的网络结构。
更具体地说，我们将语言建模为图中的节点，边根据它们之间的类型学相似性进行初始化。RL代理通过添加、删除或修改边（代表迁移强度）来迭代更新这个图，以最大化所有语言的下游任务（用于模拟目标分子特征的NER或POS标注任务的F1分数）的性能，并保持其他理想的图结构（例如，聚类系数、光谱间隙）。完成训练后，对最优的语言分子应用光谱聚类，以获得优化的语言簇，然后使用这些簇来训练多语言NER或POS标注模型，从而减少迁移-干扰的影响。
在分别使用WikiANN数据集中的25种语言和UDPOS（Universal Dependencies Part-Of-Speech）数据集中的12种类型多样化语言进行NER和POS标注任务的实验验证后，我们的结果显示出比基于语言学和基于嵌入的基线方法有显著且一致的改进。更重要的是，与这些基线相比，资源匮乏的语言从我们的图方法中获得了显著提升，有些语言的F1分数提高了35%以上，表明迁移得到了有效促进。即使是资源丰富的语言也显示出适度的改进，优于这两个基线，表明我们的方法有效减轻了干扰。
为了使我们的方法更加清晰，我们使用WikiANN数据集中选取的六种语言（英语、德语、西班牙语、法语、印地语和普什图语）来描述一个非常直观和简化的例子。这些语言的选择是有系统的；例如，西班牙语和法语密切相关，而英语和印地语则相距较远。当这些语言在多语言学习中进行训练时，相似语言之间会发生积极迁移，从而提高性能，而不相似的语言则可能引入干扰。
为了缓解这个问题，我们的方法将语言建模为语言图中的节点，连接这些语言的边表示迁移的程度，即使用合并后的数据集进行训练的有益程度。在用语言相似性值初始化边之后，RL代理迭代地操纵图，以加强促进性能的连接（迁移），同时减弱或移除降低性能的干扰连接。
为了使演示更加具体，如果西班牙语和法语一起训练可以提高性能，RL代理会加强它们的连接。另一方面，如果它们的联合训练导致性能下降，则会减弱或移除西班牙语和法语之间的连接。当这种操作重复进行多次时，图中连接紧密的语言会自然形成组。
当对优化后的图应用聚类算法时，会形成语言组。这些簇被用来分别训练多语言任务，即同一簇中的语言一起训练，从而促进迁移并减少干扰。该方法可以根据下游任务的反馈机制动态发现任务特定的簇，而不是依赖于之前的静态聚类方法（如基于语言学或嵌入的方法）。

2. 相关工作
在多元语言环境中，多语言模型的重要性日益增加。然而，用于生成这些模型的数据在这些语言之间的丰富程度并不相同。因此，资源匮乏的语言需要从资源丰富的语言中学习，但资源丰富语言的性能可能会因资源匮乏数据的消极迁移而下降。已经有许多尝试来解决这种迁移-干扰权衡问题：多语言预训练（mBERT、XLM-R、数据不平衡）、跨语言迁移（BPE、人工语言、适配器和对齐）；语言特征和类型学（WALS、词序、形态学）；聚类策略（基于语言学的或基于嵌入的方法）；以及混合模型（将类型学信息与嵌入结合）。
过去已经开发了大型预训练语言模型，如Multilingual BERT (mBERT) [1] 和 XLM-RoBERTa [2]，以适应大量资源匮乏的语言和资源丰富的语言。这些模型在原本不是为它们设计的任务中表现良好。然而，由于模型的质量依赖于足够数量和质量的特定语言数据，只有少数资源丰富的语言受益，而许多资源匮乏的语言仍然代表性不足 [3]。
语言多样化也通过跨语言迁移得到解决，它允许将资源丰富语言中的知识迁移到资源匮乏的语言中。在这方面，使用了多语言句子嵌入 [4]，同时应用字节对编码（BPE）进行子词建模以促进迁移 [6]。此外，还使用人工语言来分析跨语言迁移成功的原因 [7]。其他研究利用增强模型的泛化能力来处理未见语言，通过采用基于对齐的方法，如少样本和零样本方法，使用并行数据 [8]，或基于适配器的迁移 [9]。
除了直接迁移之外，对于类型学不同的语言，还使用了显式的语言特征（如类型学或系统发育数据）来增强模型的泛化能力。例如，使用形态学和词序改进了多语言微调 [10,11]，而通过结构类型学的指导增强了跨语言迁移模型 [12,13]。此外，还研究了类型学先验对不同任务（如机器翻译 [14,15]、依存关系解析 [16] 和预训练目标 [17]）的影响。
最近，跨语言迁移在资源匮乏的环境中取得了进展，例如使用基于去噪的多源迁移 [23]、利用多级语义对齐 [24]、使用语言适配器 [25] 或使用检索和上下文感知学习 [26]。

3. 结论
我们的研究提出了一个动态的、任务感知的、适应性强的聚类学习方法，该方法能够感知数据并具有性能驱动的反馈机制，以解决多语言训练中的迁移-干扰问题。该方法受到计算化学中分子发现的启发，使用基于图的语言聚类方法来解决迁移-干扰权衡问题。在我们的“原子-语言模型”中，每种语言被表示为一个原子，语言之间的迁移强度由连接它们的化学键表示。所得到的图被称为“语言分子”，在后续章节中可以与语言图互换使用。在计算化学中，原子及其化学键被操纵以形成具有所需化学和物理特性的分子。我们的方法操纵语言分子中的连接，以获得具有理想特性的优化图，例如在下游任务（如NER或POS标注任务）中的最佳性能。这种结构优化是通过强化学习（RL）代理实现的，该代理优化了一个非扁平的网络结构。
具体来说，我们将语言建模为图中的节点，边根据它们之间的类型学相似性进行初始化。RL代理通过添加、删除或修改边（代表迁移强度）来迭代更新这个图，以最大化所有语言的下游任务（用于模拟目标分子特性的NER或POS标注任务的F1分数）的性能，并保持其他理想的图结构（例如，聚类系数、光谱间隙）。一旦训练完成，就会对最优的语言分子应用光谱聚类，以获得优化的语言簇，然后使用这些簇来训练多语言NER或POS标注模型，从而减少迁移-干扰的影响。
在WikiANN数据集中的25种语言和UDPOS数据集中的12种类型多样化语言上进行实验验证后，我们的结果证明与基于语言学和基于嵌入的基线方法相比有显著且一致的改进。更重要的是，与这些基线相比，资源匮乏的语言从我们的图方法中获得了显著提升，某些语言的F1分数提高了35%以上，表明迁移得到了成功促进。即使是资源丰富的语言也显示出适度改进，优于这两个基线，表明我们的方法有效地缓解了干扰。
为了使我们的方法更加清晰，我们使用WikiANN数据集中选取的六种语言（英语、德语、西班牙语、法语、印地语和普什图语）描述了一个非常直观和简化的例子。这些语言的选择是有系统的；例如，西班牙语和法语关系密切，而英语和印地语则相距较远。当这些语言在多语言学习中进行训练时，相似语言之间会发生积极迁移，从而提高性能，而不相似的语言则可能引入干扰。
为了缓解这个问题，我们的方法将语言建模为语言图中的节点，连接这些语言的边表示迁移的程度，即使用连接语言的合并数据集进行训练的有益程度。在用语言相似性值初始化边之后，RL代理迭代地操纵图，以加强促进性能的连接（迁移），同时减弱或移除降低性能的干扰连接。
为了使演示更加具体，如果西班牙语和法语一起训练可以提高性能，RL代理会加强它们的连接。另一方面，如果它们的联合训练导致性能下降，则会减弱或移除西班牙语和法语之间的连接。当这种操作重复进行多次时，图中连接紧密的语言会自然形成组。
当对优化后的图应用聚类算法时，会形成语言组。这些簇被用来分别训练多语言任务，即同一簇中的语言一起训练，从而促进迁移并减少干扰。该方法可以根据下游任务的反馈机制动态发现任务特定的簇，而不是依赖于之前的静态聚类方法（如基于语言学或嵌入的方法）。
这项研究提出了以下主要研究问题：（1）我们能否以任务特定的方式动态学习语言簇，而不是依赖于静态的类型学或嵌入方法？（2）将迁移干扰建模为图的结构性优化是否有助于更好地跨语言知识迁移，特别是对于资源匮乏的语言？
这项工作在多语言NLP领域既有理论贡献也有实践贡献，特别是在解决迁移-干扰权衡问题方面。理论贡献包括提出了一种新型的、任务感知的语言聚类框架，该框架具有反馈机制和基于图的跨语言迁移表述。我们的“原子-语言模型”使用原子和化学键来表示语言及其关系（或迁移/干扰强度），为将物理学（如化学和物理）的见解应用到计算语言学中开辟了一条新的途径。实践贡献包括在WikiANN数据集中的25种语言和UDPOS数据集中的12种类型多样化语言的NER和POS标注任务中对所提出框架进行了广泛的实验验证。我们的方法为资源匮乏的语言提供了强有力的支持，即使是在包含多种语言的多语言系统中也不会降低资源丰富语言的性能。我们展示了可以通过图形表示揭示语言的隐藏迁移-干扰特征。尽管取得了这些进展，大多数现有方法仍然依赖于静态或隐式学习的语言间的跨语言关系。语言聚类根据相似性将语言分组，每个组分别用于训练多语言模型，从而实现有效且高效的知识转移。基于嵌入的聚类方法在机器翻译任务中的表现优于基于语言的方法[18]。在另一项研究中，发现基于嵌入的聚类在命名实体识别（NER）任务中的表现优于基于类型学的聚类[19]。然而，最近的一种基于语言的聚类方法[20]的性能又超过了基于嵌入的方法。因此，我们在相同的实验设置中使用了这两种方法作为基线。总体而言，语言聚类作为一种有前景的技术，有助于减轻迁移-干扰之间的权衡，并提高多语言模型在不同语言间的泛化能力。语言聚类允许在簇内进行高效的知识转移，同时阻止来自其他簇的负面迁移，这对于数据匮乏的低资源语言尤为重要。不过，语言聚类的主要局限性在于它受到所选簇质量的影响很大，即由于簇的质量较差或存在噪声，可能会降低整体性能。此外，在聚类开始之前确定的相似性度量和分组方法可能不适用于所有任务和领域。尽管存在这些挑战，语言聚类仍然非常吸引人，因为它提供了直接检查和解释模型细节的机会，从而将这些见解反馈到进一步的改进中。

虽然基于语言特征的分类是可解释的，并且能够捕捉到词源学上的洞察，但有时它们的性能会被嵌入方法超越，后者具有捕捉语言分类中找不到的细微数据驱动特征的能力。另一种方法是推荐使用混合方法[27]。研究了将上下文嵌入与WALS的句法特征结合[21]，以及将类型学嵌入与预训练的多语言模型结合[22]。这表明，语言学见解对于增强现代机器学习和深度学习模型仍然具有潜力。

现有的语言聚类方法采用嵌入（数据驱动）、基于语言或混合的方法。受计算化学（特别是分子发现）的启发，后者能够生成具有目标属性的分子，我们的设计如图1所示，将参与的语言视为节点，这些节点表示为“语言分子”，其边根据语言相似性进行实例化，并可以使用强化学习（RL）优化来调整到特定的NLP任务（化学属性）指标。语言分子中语言之间的边权重值越高，表示迁移效果越好，反之亦然。然后分解最终的语言分子以找到具有高迁移效果和低干扰的簇。主要动机是，通过利用连接的语言图，可以更好地解决迁移-干扰之间的权衡，比之前依赖嵌入或语言类型的做法更能直接操纵其边，以实现更高的迁移效果或更低的干扰。图1：受计算化学，特别是分子发现的启发，我们引入了第一种基于生成、任务驱动和图的结构化方法，通过RL-based的结构优化来揭示隐藏的关系，随后进行图聚类。首先，将语言分子实例化为一个完全连接的图，其边值用连接语言之间的语言距离计算出的语言相似性值进行初始化。然后，通过将其纳入RL过程（即，将语言分子视为代理在其中采取行动的环境，如添加和删除边以及修改边值），对语言分子进行处理。我们将行动限制在边上，而不是语言本身，以便最终的语言分子包含所有参与的语言。这些行动使语言分子趋向于最优值，即高迁移效果但低干扰，使用从分子本身计算出的奖励值来指导RL。奖励函数涉及根据特定NLP任务（如NER或POS标记F1分数）计算出的值，在使用少量多语言数据集进行训练和验证后得到。虽然所有参与的语言都被包括在内，但由于这一步只是初步的，只用于找到后续将使用完整数据集进行训练和测试的最佳簇，因此每种语言只使用了少量数据。此外，可以从图结构中计算出编码语言分子目标属性的度量，并将其组合起来表示语言分子的目标属性。上述RL算法中的奖励值是从三个标准化值的总和计算得出的。第一个值是关于图的实证特征。因此，语言分子中两种语言之间的边值，代表在合并的语言数据集上训练和评估后考虑的NLP任务的性能奖励。图上边的平均性能分数是在验证数据集的一部分上计算的，权重基于当前语言分子中存在该边的所有语言对的语言距离基于语言的相似性值。每个这样的分数值都被存储并在相同的边值计算再次出现时重用，显著降低了计算开销。这种奖励使得RL算法能够生成一个图，在这个图中，迁移效果好的语言有高价值的连接，而干扰大的语言则导致较小的边值或断开的节点。因此，相似语言之间的迁移得到促进，而不兼容语言之间的干扰则受到惩罚。

第二个（图的谱迁移）和第三个（平均聚类系数）值与图的结构特征相关。更高的谱迁移（拉普拉斯矩阵的最大特征值和次大特征值之间的差异）衡量了信息传播的全球便利性。较高的值促进信息流动，迁移得到奖励，而不均匀的连接或干扰点受到惩罚。第三个值，平均聚类系数（单个节点的实际邻居边数与所有节点中的最大邻居边数之比）衡量了在语言分子中形成局部群体的潜力。高局部聚类促进了类型学上相似的语言（或局部语言社区）在兼容语言（高迁移）中的分组，同时排斥不相似的语言（高干扰）。一般来说，奖励值平衡了实证价值（例如NER或POS标记任务的F1分数）与全局和局部结构奖励（谱迁移和聚类系数）。使用这些奖励值，RL代理将能够学习哪些图结合了高迁移量和低干扰度。除了奖励之外，代理还需要当前环境的状态来决定下一步行动。语言分子的度（连接到每个节点的边总数）就是这样一个参数。语言分子中每个连接语言的平均性能分数也具有相同的目的。其他状态属性也被用来衡量语言的邻居之间的连接紧密程度（每种语言的聚类系数）以及图的连接强度，包括少量弱连接或断开点（代数连通性）。所有语言的这些值被连接成一个单一向量，以表示图的状态。RL代理观察当前状态并迭代采取行动，直到达到预设的最大步数，最终得到一个具有高迁移效果和低干扰的最优语言图。我们的目标是生成更好的簇，如果分别训练，这些簇将提供比之前基线方法更好的结果。因此，我们需要选择一种基于语言分子的边值及其全局连通性的聚类方法。谱聚类是一种合适的方法，因为它满足了这一要求，即生成的语言簇促进了高迁移量与低干扰度之间的结合。

通常，在使用语言先验来实例化表示为无向图的语言分子的边值之后，我们利用由RL驱动的生成式AI来创建一个在结构上优化的、语言分子——通过添加和删除其边——并在参数上优化（通过修改相应的边值）以实现高迁移和低干扰。然后进行图聚类，以找到最佳的 language clusters，以便在下游任务中分别进行训练和使用。选择无向图是因为语言之间的关系是相关性的，而不是因果关系的。奖励函数结合了实证任务性能和图的结构属性，需要一个数学公式来进行精确解释，具体如下。用 表示语言分子（或图），其中V是语言集合，E是边集合， 表示表示语言i和j之间迁移强度的边权重，并用i和j之间的语言相似性进行实例化。步骤t的奖励函数定义为三个标准化组分的加权组合：

1. 实证性能奖励：实证奖励衡量跨边的平均任务性能。
2. 谱迁移奖励：谱奖励使用图的拉普拉斯矩阵L定义：
3. 聚类奖励：聚类奖励定义为平均聚类系数：

每个奖励组分都使用最小-最大标准化进行归一化：

在我们的实验中，我们对实证任务性能和图属性（全局和局部结构属性）赋予了同等的 importance。未来的研究可以探讨不同设置的效果。为了提高我们的方法的可重复性和清晰度，除了奖励函数之外，RL代理观察到的状态向量也需要一个数学公式。在每一步，RL代理观察状态向量的当前值并相应地采取行动。对于每种语言（节点），计算以下特征：(1) 节点度（连接的边数），(2) 与其邻居的平均实证迁移性能，(3) 当前边权重。状态向量是从节点级和图级属性构建的，这些属性同时捕捉了局部和全局结构属性。这些特征为所有节点计算并连接成一个单一向量：

奖励值平衡了实证价值（例如NER或POS标记任务的F1分数）与全局和局部结构奖励（谱迁移和聚类系数）。使用这些奖励值，RL代理将能够学习哪些图结合了高迁移量和低干扰度。除了奖励之外，代理还需要当前环境的状态来决定下一步行动。语言分子的度（连接到每个节点的边的总数）就是这样的一个参数。语言分子中每个连接语言的平均性能分数也有相同的作用。其他状态属性也被用来衡量语言的邻居之间的连接紧密程度（每种语言的聚类系数）以及图的连接强度，包括少量弱连接或断开的点（代数连通性）。所有语言的这些值被连接成一个单一向量，以表示图的状态。RL代理观察当前状态并迭代采取行动，直到达到预设的最大步数，最终得到一个具有高迁移效果和低干扰的最优语言图。

我们的目标是生成更好的簇，如果分别训练，这些簇将提供比之前的基线方法更好的结果。因此，我们需要选择一种基于语言分子的边值及其全局连通性的聚类方法。谱聚类是一种适合的方法，因为它满足了这一要求，即生成的语言簇促进了高迁移量与低干扰度之间的结合。通常，在使用语言先验来实例化表示为无向图的语言分子的边值之后，我们利用RL驱动的生成式AI来创建一个在结构上优化的语言分子——通过添加和移除其边——并在参数上优化——通过修改相应的边值——以实现高迁移和低干扰。然后进行图聚类，以找到最佳的 language clusters，以便在下游任务中分别进行训练和使用。选择无向图是因为语言之间的关系是相关性的，而不是因果关系的。奖励函数结合了实证任务性能和图的结构属性，需要一个数学公式来进行精确解释。如果N是语言的数量，边数会随之增加。然而，在实践中，优化过程中的边移除和对预先计算出的边值的缓存显著减少了有效的搜索空间，因为强化学习（RL）策略关注的是具有高传递强度的连接。总体复杂度可以近似表示为，其中T是RL步骤的数量，是有效探索的边数，是模型评估的成本。在大型（或非常大型）的多语言环境中，语言的数量可能有数百种。在这种情况下，由于图中的边是根据语言相似性初始化的，我们可以通过在主要优化开始之前过滤掉价值较低的边来进一步增强我们的方法。此外，每个边的评估过程本质上是独立的，允许在现代的多GPU环境中进行并行执行。这使得我们的方法即使在可能的连接数量呈二次增长的情况下仍然具有可扩展性。与大多数关于语言聚类的现有研究一样，我们在NER任务上测试了我们方法的有效性。我们还使用更多样化的语言集合与POS标注任务进行了比较。此外，我们的方法还与最近的基线方法进行了比较，即基于语言的方法[20]、基于嵌入的方法[19]（已经被基于语言的方法超越）以及在相同实验设置中评估我们方法有效性的语言聚类方法[19]。为了用语言先验实例化语言分子，使用来自URIEL类型学数据库[28]的五个特征向量和一个学习得到的数据驱动的语言向量[29]来计算任何两个连接语言之间的距离。这些向量的值被查询，然后使用Lang2vec（https://github.com/antonisa/lang2vec，访问日期为2026年2月7日）库中的余弦相似性来计算相应的语言距离。使用了五个类型学特征（“遗传”、“地理”、“句法”、“库存”、“音系”）和一个学习得到的向量（“特征”）。这些特征的语言距离的平均补值用于测量初始语言分子中每对语言的语言相似性（或初始边值）。之所以取距离的补值，是因为直接从这个库计算出的小距离应该意味着高奖励，这与RL最大化直接兼容。与在NER中实现基于语言和基于嵌入的方法的基线论文相同，我们使用相同的设置来实现我们的方法以便进行公平比较。NER数据集被分为三个命名实体：LOC（地点）、PER（人物）和ORG（组织），这些实体来自WikiAnn多语言数据集[https://huggingface.co/datasets/unimelb-nlp/wikiann，访问日期为2026年1月20日][30]。使用预训练的XLM-RoBERTa-base模型[https://huggingface.co/xlm-roberta-base，访问日期为2026年2月2日][2]来计算三个命名实体的平均F1分数。使用Seqeval框架[31]计算平均F1分数，并将其作为评估NER任务性能的指标，无论是在聚类步骤还是评估步骤中，都使用随机种子集42。为了确保公平比较，我们使用了与基线研究相同的语言集合和实验设置来测试我们的方法。更具体地说，选择了25种来自6个印欧语系的语言：罗曼语系（ro, fr, es, pt, it, scn）、日耳曼语系（af, nl, de, is, en, da, no, fo）、希腊语系（el）、斯拉夫语系（bg, pl, ru, sl, hr）、印伊语系（ps, mr, hi）和凯尔特语系（cy, ga）。语言代码及其对应的名称可以在ISO 639-1标准中找到[https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes，访问日期为2026年3月2日]。在数据驱动的语言聚类方法中，特别是基于嵌入的方法中，通常使用一部分训练和验证数据来进行语言聚类，然后使用整个数据集来训练和评估生成的簇。遵循这一常见做法，我们使用了每种语言的1000个和10,000个样本来训练我们的语言聚类方法。如果某种语言的可用数据量小于限制（1000个或10,000个样本），则使用全部数据。与基线研究一样，实验进行了三次，平均F1分数用于消除任何随机性。F1分数是衡量NER任务性能的标准和常用指标。此外，F1分数能够平衡精确度和召回率。当存在误报和漏报时，F1分数提供了精确度和召回率的平衡评估，这在我们这样的序列模型中是必需的。因此，F1分数单独提供了足够的衡量标准，用于评估跨不同数量簇的跨语言迁移。虽然可以分别报告精确度和召回率等额外指标，但它们直接反映在F1分数中，并且通常遵循相同的趋势。由于我们的主要关注点是比较不同聚类策略之间的跨语言迁移效果，F1分数单独提供了足够且一致的评估基础，这也被之前的多语言NER研究所采用。此外，批量大小、最大输入序列长度、学习率和周期数分别设置为32、512和3。通过改变簇的数量（即2、3、4和5）进行了不同的实验。实验在NVIDIA GPU上进行，RL优化大约需要1.5天时间。使用Python 3.12的Networkx库[32]来实现语言分子作为图。它还用于计算奖励和语言分子的结构特征。使用来自stable-baseline包[33]的最先进的RL算法Proximal Policy Optimization（PPO）。优化总共进行了20,000步，每512步更新一次策略。在手稿被接受后，实现代码将公开，以确保完全的可复现性。对于大多数超参数，我们使用了Stable-Baselines[33]提供的默认PPO配置，因为它在不同的任务和配置中都表现稳健。我们实验中使用的主要超参数总结如下：学习率：；折扣因子（）：0.99；剪辑参数（）：0.2；每次更新的步数：20,000；每次更新的步数：512；批量大小：32；周期数：3。与之前使用聚类算法的研究不同，本研究采用了谱聚类，因为它在聚类图方面具有优势。聚类算法依赖于局部节点或语言之间的成对距离，并假设图形状是球形或紧凑的。相比之下，谱聚类与图划分理论一致，不假设图的任何形状。即使图是嘈杂或稀疏的，它也能很好地工作。此外，它考虑了图的全局连通性，使得即使语言社区在图中相距较远也能被发现。同样，使用Networkx包来聚类最优的语言分子。关于数据集如何在提出的方法的不同阶段（即图优化、验证和最终测试）之间分配的澄清很重要。首先，使用一部分训练数据（例如1000个或10,000个样本）通过基于RL的优化来构建语言图。然后，在对语言图应用谱聚类之后，通过训练一个模型来评估结果簇，该模型将每个簇中的语言数据从保留的验证集中合并起来以评估迁移效果。最后，使用完整的测试集来单独评估模型和计算任务性能。通常，实验在六种情况下进行：（1）使用完整数据集（或所有样本）来评估使用10,000个样本形成的簇（‘full;cls-10,000’）；（2）使用完整数据集来评估使用1000个样本形成的簇（‘full;cls-1000’）；（3）使用10,000个样本来评估使用10,000个独立采样的样本形成的簇（‘10,000;cls-10,000’）；（4）使用1000个样本来评估使用1000个独立采样的样本形成的簇（‘1000;cls-1000’）；（5）基线研究——涉及两种情况[20]——使用完整数据集来评估基于形态-句法特征（baseline_noun’）和头部方向性特征（baseline_head）在语言学上形成的簇。‘10,000;cls-10,000’和‘1000;cls-1000’情况分别用于比较低资源和相对高资源条件下的方法，并与数据驱动的嵌入聚类方法[19]的评估设置保持一致。‘cls’代表上述缩写情况中的聚类。除了基于语言的基线方法外，上述实验的结果还与基于嵌入的语言聚类方法进行了比较，这些方法分别使用了emb_1000（使用1000个样本）和emb_10,000（使用10,000个样本）设置。所提出的方法还在POS标注任务上进行了验证，使用UDPOS数据集来测试其在其他任务和类型学多样性语言上的有效性。4. 结果与讨论我们的提出的基于RL的、基于图的聚类方法与使用WikiANN数据集的基线方法进行了比较，即语言聚类[20]和基于嵌入的方法[19]。从跨语言迁移质量的视角评估了这两种方法，通过它们在不同多语言设置下改进迁移和减少干扰的能力。尽管在大多数语言中基于语言的方法[20]的表现优于基于嵌入的方法，我们还是在相同的设置下将我们的方法与这两种方法进行了比较。完整的评估结果列表显示在附录A（针对基于语言的基线）和附录B（针对基于嵌入的基线）中。与POS标注任务的比较结果也在最后呈现。4.1. 语言分子的图形分析如上所述，将语言视为原子，将化学键视为关系的强度，提出的方法尝试使用RL获得具有所需特征的语言分子。更具体地说，使用1000个样本（图2）和10,000个样本（图3）构建了两种语言分子。10,000个样本的语言分子比由1000个样本构建的分子具有更多的连接。除了视觉信息外，这还通过图度量得到了证实，例如总边数（1000个样本的图为233个边，10,000个样本的图为292个边）、边占总边数的比例（分别为0.78和0.97）以及每种语言（或节点）的平均边数（即分子的平均度数，分别为18.64和23.36）。详见表1。图2. 使用我们的方法（使用1000个样本）构建的语言分子，由25种语言组成，类似于大型或复杂的化学化合物，如聚合物。图3. 与图2相同的语言分子，但使用10,000个样本构建。表1. 语言分子的图形分析概述。在我们的方法中，边权重是基于连接的语言对的联合数据集的性能来形成的。由于更多的样本可以改善性能，从而获得更高的边权重，这鼓励保留或添加更多的边。此外，随着使用的数据量增加，嘈杂或随机连接将得到规范化或规则化，从而得到更准确的表示。此外，更多的数据允许从邻居那里获得更多的知识转移，从而产生更可靠和可行的连接。在本节中，从迁移和干扰的角度对语言分子进行了图形分析。所有指标都是以边加权的形式计算的，以纳入边（我们的主要图属性）对分析输出的影响。平均边值或权重值表示语言之间的平均迁移质量。较大的值表示较高的迁移强度（因为RL算法在优化过程中奖励较高的值）。我们的方法显示出显著的迁移支持，10,000个样本略微提高了迁移质量。除了平均边权重外，平均标准差表明语言之间的一致性模式（显示所有语言之间的一致迁移）。这在10,000个样本的图中更为明显。熵计算图中边权重的变异性（或多样性），即语言对之间迁移关系的强度变化程度。更高的熵值表示边缘权重的分布更加均匀，或者知识转移过程中没有明显的主导因素；而较低的熵值则表明少数边缘主导了知识转移，其余边缘要么较弱，要么没有积极参与。两个图的熵值都处于中等水平，表明覆盖面较好，这对于资源匮乏的语言尤为重要，在10,000个样本的图中这一特点更为明显。聚类系数衡量的是语言邻域内形成局部三角关系的倾向。值为0表示树状结构且没有三角关系形成（图表过于稀疏；资源匮乏的语言可能会孤立），而值为1表示完美聚类（可能存在冗余或过度专业化），即一个节点的每个邻居都相互连接。较高的聚类系数值表明存在局部知识转移社区，或者更具体地说，表明相关语言或集群之间存在显著的知识转移。我们的图中聚类系数值处于中等水平（1000个样本的图的值为0.40，10,000个样本的图值为0.56）。节点的介数衡量的是它出现在其他节点对之间路径的频率。值为0表示该语言不具有桥梁作用或处于边缘位置，因此在知识传输中的作用较小；值为1表示该语言是信息传输的中心枢纽或通道。如果移除该语言，会严重破坏图的结构。在两个图中，‘ps’都是主要的连接词（介数值为0.1304，明显高于其他词）。在实际数据测试中（第4.2节），‘ps’的表现显著优于其他词，因为它作为桥梁或枢纽，可以从多个方向接收和传输有用的信息，从而暴露在多样且丰富的环境中，避免了过拟合，并提高了下游任务的性能。这充分说明了图中心性指标可以预测数据驱动的下游任务成功率。1000个样本的图中也有一些其他具有桥梁作用的词，但介数值较低。在10,000个样本的图中，由于图的连通性较高，大多数词的介数值为0。同配性使用节点的某些属性来衡量它与其他相似节点的连接程度。语言的数据量被用作衡量其资源水平的属性。值为1表示语言与相似语言相连（高资源语言与高资源语言相连，低资源语言与低资源语言相连），值为0表示没有或随机偏好，值为-1表示语言与不同类型的语言相连（高资源语言与低资源语言相连，反之亦然）。两个图的同配性都略为负值（1000个样本的图的值为-0.057，10,000个样本的图的值为-0.037），表明高资源语言有助于低资源语言的学习，这证明了图结构可以促进知识转移。

4.2 NER任务的性能分析
4.2.1 与基于语言的聚类基线的比较
通过谱图聚类方法形成两个语言的群体，并在NER任务中评估它们的性能。我们方法和基于语言的基线的不同聚类数量下的性能分别显示在图4、图5、图6和图7中。这些图表和附录A表明，我们图形方法形成的群体在所有语言中的性能都显著优于基于语言的基线方法形成的群体，无论聚类数量如何。表现提升最明显的语言是‘ps’，这是一种仅有100个样本的极度资源匮乏的语言。在‘full;cls-1000’条件下（两个聚类），与baseline_noun模型相比，F1分数提高了35%（从53.97%提高到91.55%，提高了37.58%）。图4. 所有语言的F1分数平均值（聚类数量=2，基于语言的比较）。图5. 所有语言的F1分数平均值（聚类数量=3，基于语言的比较）。图6. 所有语言的F1分数平均值（聚类数量=4，基于语言的比较）。图7. 所有语言的F1分数平均值（聚类数量=5，基于语言的比较）。此外，我们方法的性能提升在资源匮乏的语言中更为显著。与基于语言的基线相比，资源匮乏的语言的F1分数提高了17.8%（每种语言有100个样本）；而对于资源相对丰富的语言（20,000个样本），在‘full;cls-10,000’和‘full;cls-1000’条件下，F1分数分别提高了5.6%和5.4%。这一点在图8、图9、图10和图11中得到了清晰显示。图表还显示出我们方法的性能提升与数据量之间存在负相关关系，即数据量越小，性能提升越大。即使是资源丰富的语言也从我们的方法中受益。这种关系在实验中考虑的不同聚类数量下都是一致的。图8. 根据样本大小对数据集进行分类并升序排序后，与基于语言的基线（baseline_noun）的平均F1分数差异（聚类数量=2）。图9. 根据样本大小对数据集进行分类并升序排序后，与基于语言的基线（baseline_noun）的平均F1分数差异（聚类数量=3）。图10. 根据样本大小对数据集进行分类并升序排序后，与基于语言的基线（baseline_noun）的平均F1分数差异（聚类数量=4）。图11. 根据样本大小对数据集进行分类并升序排序后，与基于语言的基线（baseline_noun）的平均F1分数差异（聚类数量=5）。我们还将四种实验设置相比，得到了相对于基线的改进情况。‘full;cls-1000’和‘full;cls-10,000’条件之间的改进差异较小，但‘full;cls-10,000’条件大多数情况下表现更好。此外，‘full;cls-10,000’条件的一致性优于‘10,000;cls-10,000’条件（除了当聚类数量为2且数据量为0.1k时）。这表明在聚类形成和下游任务过程中使用更多训练样本的重要性。随着数据量的增加（从左到右的条形图），这些改进差异变得更加明显，因为阈值（1000和10,000的限制）的影响也更加显著。

4.2.2 与基于嵌入的聚类基线的比较
之前的讨论将我们的方法与基于语言的聚类基线进行了比较。关于基于嵌入的基线，还使用了两种额外的设置（emb_1000和emb_10,000）与我们的图形方法进行比较。前者使用1000个样本形成聚类，后者使用10,000个样本。与基于语言的比较类似，我们方法的每个聚类性能也与基于嵌入的聚类基线进行了比较。结果显示，在聚类数量为2的情况下，我们的图形方法同样优于基于嵌入的聚类，特别是在‘ps’这种仅有100个样本的极度资源匮乏的语言上，改进最为显著。例如，在‘full;cls-1000’条件下，当聚类数量为2时，F1分数提高了35%以上（从55.31%提高到91.55%，对于emb_1000是36.24%，对于emb_10,000是35.63%）。图12. 所有语言的F1分数平均值（聚类数量=2，基于嵌入的比较）。同样，在基于嵌入的基线中，资源匮乏语言的性能提升也优于资源丰富的语言。例如，在‘full;cls-10,000’和‘full;cls-1000’条件下，当聚类数量为5时，资源匮乏语言的F1分数分别提高了18.8%和17.9%（对于emb_1000和emb_10,000设置）。另一方面，对于资源相对丰富的语言（20,000个样本），改进幅度较小，分别为5.8%和5.7%（对于‘full;cls-10,000’和‘full;cls-1000’条件，聚类数量为5）。这一点在图13和附录B中得到了清晰显示。图13. 根据样本大小对数据集进行分类并升序排序后，与基于嵌入的基线（emb_1000）的平均F1分数差异（聚类数量=2）。对于其他emb_10,000设置，图14和附录B也显示了同样的趋势。此外，随着数据量的减小，性能提升也增加，表明我们方法的性能提升与数据量之间存在负相关关系。与我们方法获得的改进类似，基于语言的聚类基线也在不同条件和聚类数量下一致地惠及了资源匮乏和资源丰富的语言。总体而言，我们的方法在各种条件下的改进模式与基于语言和基于嵌入的基线相似。图14. 根据样本大小对数据集进行分类并升序排序后，与基于嵌入的基线（emb_10,000）的平均F1分数差异（聚类数量=2）。总之，我们的方法在各种数据量下的改进程度都显著优于基于语言和基于嵌入的基线，尤其是对资源匮乏的语言。在资源匮乏的语言中，知识转移行为得到了增强，且没有负面影响（资源丰富的语言也有小幅但稳定的改进），表明知识转移更加清晰。此外，与基线相比，我们的方法在不同实验设置中都有显著改进，即使在不同训练数据量下也是如此。我们的图形方法是动态的，与基于嵌入的聚类方法不同，它可以通过学习特定任务的数据集来适应不同的任务。基于语言的聚类方法是静态的，无法适应不同的任务或数据，并假设可转移性是由语言亲缘关系决定的。然而，在实践中这可能并不总是成立。例如，在基于语言的基线[20]中，‘ps’和‘hi’被归为印伊语系，尽管它们在语言上有差异，如不同的文字系统和词法结构。正如表2所示，提出的图形聚类方法成功地学会了这些差异，将‘ps’与更相关的组（如‘cy’和‘ga’）归为一类，而不是与‘hi’归为一类，从而避免了文字系统相关的干扰，同时提高了性能。此外，在基于语言的方法中，一些资源匮乏的语言由于同组中存在许多资源丰富的语言而显得被边缘化，例如罗曼语系中的‘scn’。图形聚类方法系统地重新分配了这种语言到适当的组中，以提高其性能。下一节将从集群质量的角度分析所提出的图形方法。

4.2.3 结果的统计分析
图形聚类方法为一种资源匮乏的语言（特别是‘ps’语言）带来了超过35%的分数提升。这一显著提升需要统计验证来评估所提改进的稳健性。三次独立实验的平均值和标准差分别为91.55和0.66。较低的方差表明该方法具有稳健性，并在不同实验中提供了一致的结果。此外，95%置信区间为[89.92, 93.17]，仍然显著高于基线（根据不同的基线和设置，基线的范围为53到55）。双样本t检验的p值为6.15 × 10^-8（p < 0.01），表明结果在统计上是显著的且一致的，不是由随机变化引起的。其他语言也遵循了同样的趋势，这证实了所提出的方法能够提供稳定和可靠的改进。此外，我们之前已经指出图中心性（如介数）和下游性能是相关的，这突显了‘ps’的显著提升是由于其在语言分子中的高中心性值。这也需要对‘ps’和剩余语言进行更定量和统计上的验证。因此，我们计算了皮尔逊（Pearson）和斯皮尔曼（Spearman）相关性，并制作了四个簇的平均改进与相应的图介数值之间的散点图。图15显示，在基于语言的基线中，大多数实验设置的皮尔逊系数都是一致的且较高。这一点也通过散点图中用线性回归近似的趋势线得到了证实。图15显示了基于语言的基线上的F1分数改进与我们图的介数值之间的相关性。对于基于嵌入的基线的改进，图16（对于emb_1000）和图17（对于emb_10,000）也显示了与基于语言的基线改进类似的相关性行为。总体而言，正如高皮尔逊相关性和线性回归线所示，统计分析表明图中心性与下游性能之间存在强烈的正相关关系。值得注意的是，‘ps’表现出最高的介数和最大的F1分数改进，这与我们的定性观察结果一致。然而，这种强烈的线性关系并不能在所有语言中创建一个排名，因为斯皮尔曼系数较低，它衡量的是相关性的排名能力。这是因为，除了像‘ps’这样的语言之外，许多语言的介数相似，同时改进的幅度也较小。这表明只有少数语言在我们的图中充当桥梁节点，因此改进幅度小于‘ps’。

4.3. 簇质量分析
语言聚类是一种可解释的方法，它使我们能够推断（或解释）为什么某些簇集比其他簇集更适合。我们方法形成的簇以及基于语言的基线聚类形成的簇在表2中有所指示。如前所述，我们观察到语言簇在跨语言迁移方面存在一些弱点。例如，一些在书写系统或正字法上不同的语言被分配在一起（例如‘ps’与‘hi’）。此外，具有不同大写和复合规则的语言被分在同一簇中（例如日耳曼语族）。在‘full;cls-1000’的情况下，资源较少的语言的句子数量极少（‘scn’、‘ps’、‘fo’、‘ga’），但资源较多的语言不允许超过1000个样本的限制。这模拟了资源较少的情况。当簇的数量为2时，簇1包含了罗曼语族、日耳曼语族、斯拉夫语族和印伊语族的混合语言。另一方面，簇2包含了[‘ro’、‘fr’、‘es’、‘pt’、‘el’、‘sl’、‘ps’、‘cy’、‘ga’]。将这些簇与基于语言的簇进行比较时，‘scn’（100个样本）仍然与它的最近迁移伙伴在一起，但‘ps’（100个样本）被从‘hi’中分离出来，以避免由于书写系统不同而产生的负面影响。‘cy’和‘ga’从只有这两种语言的凯尔特语族中移出，并重新分配到罗曼语族中，在新组中得到了其他语言更多的支持。此外，每个簇都由资源较少和较多的语言组成，从而实现了平衡的迁移。我们的实验结果证实，‘ps’的F1分数从55.9%提高到了91.5%（+35.6%），‘scn’从76.5%提高到了86.1%（+9.6%），‘fo’从87.0%提高到了93.3%（+6.3%）。
在‘full;cls-10,000’的情况下，资源极度匮乏的语言的数据集大小没有差异，但对于资源相对较多的语言，数据集大小被扩展到了10,000个样本的限制。即便对于少于10,000个样本的情况，干扰也得到了缓解，表明资源较少的语言不会因资源较多的语言的存在而受到显著惩罚。与基于语言的簇相比，我们的方法从不将‘scn’仅与罗曼语族分组，而总是与类似日耳曼语的语言（例如‘af’和‘nl’）在同一簇中。此外，‘ga’和‘cy’从只有这两种语言的凯尔特语族中移出，重新分配到更大的组中，而‘ps’从未与‘hi’在一起。实验结果显示‘scn’的F1分数为88.5%（基线分数为76.5%），而‘ps’的分数为91.5%（基线分数为55.9%）。我们还可以观察到，在两种数据规模条件下都有一些语言对重复出现（‘it’ + ‘scn’、‘fo’ + ‘nl’、‘cy’ + ‘ga’ + ‘ps’），这表明优化是稳健的，并保持了语言关系的一致性。资源较多的语言在我们的方法下受到了适度的收益。这表明，图形的表示以及使用强化学习（RL）进行的结构优化结果产生了一个更好的模型，能够更好地模拟跨语言迁移，揭示了隐藏的关系，特别是对于资源较少的语言。我们提到，在处理迁移-干扰权衡时，语言聚类的质量受到簇质量的重大影响。我们方法的改进是由于它发现了高质量的簇，例如从类似但资源较多的语言那里获得了新的支持，或者没有被不相关但资源较多的语言所淹没（‘scn’与‘fr’以及‘ps’与‘hi’被重新分配）。
我们还测量了从所提出方法获得的结果对簇数量的敏感性。因此，分析扩展到了计算不同簇数量下所有语言的平均F1分数，如图18所示。结果显示，性能改进在不同的簇配置和实验条件下相对稳定（在‘10,000;cls-10,000’条件下变化非常小）。该方法在合理的簇数量范围内以及图的构建差异中都能保持稳健。所提出的RL边缘优化方法在各个簇之间实现了稳定的性能。图18显示了所有语言平均性能改进对簇的敏感性。

4.4. 泛化能力和消融分析
上述分析使用了WikiANN数据集来进行印欧语族的命名实体识别（NER）任务。然而，这限制了我们方法的可泛化能力，仅适用于一个语系和一个任务，这促使我们在另一个具有多种语言的任务上测试所提出的方法。因此，我们使用了UDPOS数据集（https://huggingface.co/datasets/commul/universal_dependencies，访问于2026年3月30日）中的12种语言，进行了额外的实验，该数据集涵盖了更多不同的语言家族，包括罗曼语族（‘fr’、‘es’、‘pt’、‘it’）、日耳曼语族（‘en’、‘de’、‘nl’）、斯拉夫语族（‘ru’）、闪米特语族（‘ar’）、汉藏语族（‘zh’）和日韩语族（‘ja’、‘ko’）。这些语言包括非印欧语系的语言、不同的书写系统以及形态学上丰富的语言，满足了我们的验证目标。我们保持了与NER任务（或WikiANN数据集）相似的实验设置，只是为了简化验证目的做了一些小的调整。仅采用了最简单的情况‘1000;cls-1000’，并且对于RL代理，每次更新的步骤数减少到了5000，每次更新的步数设置为128。
结果表明，所提出的方法在不同的任务中表现出了持续的趋势，特别是在NER和POS任务中（图19）。这表明所提出的语言聚类机制不是静态的，能够适应手头的任务，并且能够捕捉到可泛化的跨语言迁移模式。图19显示了不同任务（NER和POS）的性能趋势。此外，图20分析了来自不同语言家族的性能。所提出的方法非常稳健，尽管这些语言在语言上存在差异，但仍表现出了强大的性能。这证实了我们的方法具有鲁棒性，能够在不同的任务和语言之间进行泛化。图20显示了不同语言家族之间的性能趋势。我们对RL代理在优化语言图时使用的奖励函数进行了消融研究。我们考虑了三种情况来进行消融分析：（1）经验奖励，（2）基于图的奖励（谱传递奖励和聚类奖励的总和），以及（3）组合奖励。如图21所示，尽管在不同的簇设置中存在轻微的变化，所有奖励配置都实现了可比较的性能。经验奖励实现了略高的性能，这是意料之中的，因为这种奖励直接优化了任务性能。当这种奖励与基于图的奖励结合时，性能仍然非常接近，但在某些簇配置中略有下降。这是因为与经验奖励不同，整合的基于图的奖励不仅优化了任务性能，还包括优化全局和局部结构属性的奖励，这些属性间接影响了性能。图21显示了奖励函数的消融结果。基于图的奖励本身的竞争性能表明，结构行为本身可以指导迁移模式，为未来的研究提供了方向。基于图的奖励可以被视为一种正则化器，允许一个更易解释和结构良好的学习过程，而对任务性能没有显著影响。不同奖励之间的性能差距较小，表明所有奖励都能编码跨语言迁移。

5. 结论和未来工作
本研究解决了多语言学习的核心问题：增强积极的迁移，同时减少消极的干扰。文献中已经采用了不同的方法来处理这个问题。其中，语言聚类是一种有前途的方法，包括基于语言的和基于嵌入的方法。基于语言的聚类假设可迁移性是由语言的亲缘关系决定的，而基于嵌入的方法则假设在嵌入空间中相似的语言会更好地迁移知识，但这在两种情况下并不总是正确的。此外，这些方法不考虑任务的具体情况，并且由于它们的静态特性，很难根据反馈机制来适应不同的任务或进行修正，即使两种语言的嵌入相似但存在干扰。此外，这些方法从扁平的结构化知识中学习语言簇，导致分组不够理想，从而降低了性能，因为当语言聚类方法处理跨语言迁移时，其有效性受到结果簇质量的严重影响。
受到计算化学的启发，特别是分子发现，我们提出了一种新的语言聚类方法，通过将语言视为节点（或原子）和边视为化学键来表示，边的权重代表通过连接语言的联合训练实现的迁移强度。在边的权重用语言学上的相似性值初始化后，使用RL代理优化得到的图（或语言分子），该代理直接操作语言分子的边和权重，使用一个奖励函数来增加迁移并最小化干扰。然后通过图聚类方法获得最终的语言簇。这种方法具有任务意识并且是动态的，能够直接意识到干扰和迁移模式，并通过基于非扁平网络结构的性能驱动的反馈机制进行自我修正。从三个不同的角度（图形、基于性能和簇质量）使用WikiAnn数据集中的25种语言进行NER任务和UDPOS数据集中的12种类型多样的语言进行的研究一致表明，我们的方法优于基于语言的和基于嵌入的聚类基线。资源较少的语言的性能显著提高（一些语言的F1分数提高了35%以上），即使资源较多的语言也有所改进，但幅度较小。这表明我们的方法成功缓解了迁移-干扰权衡问题，通过增强积极迁移的同时减少了消极干扰。使用UDPOS数据集进行POS标记任务的实验结果显示，我们方法的改进在类型多样的语言和不同的实验设置中是一致的。未来可以使用不同的自然语言处理任务进行更多的实验，涉及大量的语言和不同大小的数据，以测试我们方法的可扩展性。我们的原子–语言模型将语言视为“原子”，将语法规则视为“化学键”，这为研究开辟了一个新的方向。这一方向有望将物理学和化学等自然科学领域中丰富的相关概念引入计算语言学研究中。