《Pattern Recognition》：Improving cross-lingual dependency parsing via LLM progressive alignment
编辑推荐：
提出渐进对齐方法解决跨语言依存句法分析中的数据偏差与对齐问题，通过两步生成对齐的多语言依存树并设计合作学习框架，显著提升低资源语言处理性能。
何江辉|刘建建|李颖|于正涛|黄旭鑫|高胜祥|毛存利
中国云南省昆明市，昆明科技大学信息工程与自动化学院，人工智能云南省重点实验室，邮编650000
摘要
大型语言模型（LLMs）由于其庞大的训练规模，在高资源语言中展示了强大的句法理解能力。然而，当直接应用于低资源语言时，它们的性能会显著下降。主要问题在于数据偏见以及源语言和目标语言之间的对齐度较弱。为了解决这些问题，我们提出了一种新颖的渐进式对齐方法用于跨语言依存关系解析。一方面，我们设计了一种两步思考技术来指导LLMs生成明确对齐的多语言依存关系树；另一方面，这些明确的树被用来协同激活传统解析器和LLMs的隐式对齐能力。在各种基准数据集上的实验表明，我们的方法一致性地优于多种强大的基线方法。详细分析进一步揭示了渐进式对齐在从高资源语言中提取可转移知识方面的有效性，从而显著提高了低资源环境下的解析性能。我们的代码将在
https://github.com/HJH132/ProAlign-Parser.git处发布。
引言
依存关系解析是自然语言处理（NLP）的一项基础任务，旨在分析输入句子的句法结构[1]。它首先识别输入句子中每个词的词头，然后根据语法规则确定词头和修饰词之间的句法关系[2]。这一过程对于各种NLP应用至关重要，例如机器翻译[3]、自动摘要[4]、情感分析[5]和信息检索[6]。
最近，高资源语言中的依存关系解析取得了显著进展。然而，由于数据差异和源语言与目标语言之间的对齐度较弱，跨语言依存关系解析仍然具有挑战性。当前的方法主要分为两大类：数据增强和特征转换。数据增强的关键思想是自动生成目标语言的依存关系树，以缓解低资源环境中的数据稀缺问题[7]、[8]、[9]。最近的研究强调了大型语言模型（LLMs）在数据增强中的巨大潜力[10]、[11]、[12]、[13]。张等人[14]使用语法信息来指导LLMs生成子树，然后将这些子树与现有的源语言子树结合，以增加训练数据的多样性。另一方面，特征转换旨在从源语言中提取可转移的表示，以便于目标语言的适应[15]、[16]。刘等人[17]设计了动态句法特征过滤和注入网络，以捕获语言不变和语言特定的特征，从而在跨语言依存关系解析中取得了出色的性能。然而，现有方法仍然难以有效对齐不同语言之间的复杂句法结构，并逐步弥合显式树生成和隐式模型激活之间的差距。
受到这些观察的启发，我们首先对源语言和目标语言之间的跨语言相关性进行了初步分析。如图1(a)所示，尽管英语短语“good essay”及其对应的越南语“?n xu?i (essay) hài lòng (good)”的词序不同，但它们仍然共享相同的依存关系标签“amod”。这表明即使表面结构不同，句法关系也可以被保留。然而，LLMs难以捕捉到这种一致性。如图1(b)所示，当提示LLMs直接为高资源的英语和低资源的越南语生成依存关系树时，后者出现了许多错误的关系标签和根节点分配。这种性能下降表明，LLMs在英语中的强大句法理解能力并不能自然地转移到低资源语言中。此外，图2中的依存关系标签分布显示了语言之间的显著结构差异。例如，“nmod”关系在中文中的出现频率远高于英语和越南语。相反，英语和越南语在“dvmod”和“conj”关系上表现出相似的趋势，而中文的比例较低。此外，越南语中“xcomp”关系的出现更为明显。这些发现强调了从高资源向低资源转移的必要性，以便捕捉普遍的句法共性，同时通过精细的跨语言对齐区分语言特定的差异[18]。
为了解决这些问题，我们提出了一种新颖的渐进式对齐方法用于跨语言依存关系解析，该方法通过显式数据构建和隐式模型激活来弥合高资源语言和低资源语言之间的差距。具体来说，我们首先利用LLMs和传统解析器生成对齐的多语言依存关系树。然后，我们设计了一种重新思考机制来指导LLMs生成高质量、明确的多语言依存关系树，作为跨语言迁移的结构化锚点。最后，这些显式的句法结构被用来在统一的合作学习框架内协同激活传统解析器和LLMs的隐式对齐能力。在基准数据集上的实验表明，我们提出的模型通过从显式结构指导过渡到隐式能力细化，显著提高了跨语言依存关系解析的性能，在所有评估的低资源语言中都取得了有竞争力的结果。详细分析进一步证实，这种渐进策略在缓解数据差异和显著增强跨语言句法迁移的鲁棒性方面非常有效。我们工作的主要贡献总结如下：
- 我们提出了一种两步思考方法用于生成多语言对齐的依存关系树。在第一阶段，我们设计了一个细粒度的思维链提示，以明确地将复杂句子分解为短语和从句边界，从而有效缓解句法结构的幻觉，并生成初始的基于LLM的对齐树。同时，我们使用特定于语言的增强解析器生成具有清晰依存关系分数的传统解析器基础对齐树。在第二阶段，我们引入了一种重新思考机制，利用LLM的推理来最终确定所有对齐树，以保持高置信度的弧并优化低置信度的弧。
- 我们提出了一种多语言合作学习算法，该算法隐式地对齐表示空间，使模型能够有效地从高资源语言转移句法知识，从而提高低资源语言的解析性能。
- 我们为两种高资源语言和四种低资源语言构建了2000个多语言对齐的依存关系树，并在多个模型中进行了严格评估，以确保数据质量，这些数据将公开提供以支持低资源语言的解析任务。
本文的其余部分组织如下。第2节回顾了跨语言依存关系解析的相关工作。第3节详细介绍了我们的方法。第4节讨论了实验设置和结果、错误分析以及案例研究，第5节总结了本文并提出了未来的研究方向。
数据增强
数据增强旨在通过自动生成近似真实数据分布的伪语料库来缓解低资源语言中的数据稀缺问题。传统方法包括分层增强、回译和释义[19]、[20]、[21]。例如，Sennrich等人[22]通过回译生成合成数据。Meng等人[23]利用单向预训练的语言模型生成条件化的文本，这些文本随后被用于...
方法
尽管LLMs在高资源语言中具有强大的句法理解能力，但由于数据偏见和对齐度较弱，其在低资源语言中的性能会下降。为了解决这些问题，我们提出了一种新颖的渐进式对齐方法。具体来说，我们首先利用传统解析器和LLMs生成准确且对齐的多语言依存关系树。然后，我们利用这些合成的依存关系树和现有的多语言依存关系...
实验设置
在本节中，我们介绍了用于进行和评估我们方法的数据集、评估指标以及详细的超参数选择。
结论与未来工作
我们提出了一种新颖的渐进式对齐增强跨语言依存关系解析方法，以缓解数据偏差和对齐度较弱的问题。首先，我们利用传统解析器和LLMs生成对齐的依存关系树。随后，我们引入了一种协作训练策略，利用我们对齐的依存关系树和现有的多语言树库来微调传统解析器和LLMs，从而隐式激活它们的对齐能力...
CRediT作者贡献声明
何江辉：撰写——原始草稿、可视化、方法论、形式分析、数据整理、概念化。刘建建：撰写——审阅与编辑、概念化。李颖：撰写——审阅与编辑、概念化。于正涛：资源、概念化。黄旭鑫：概念化。高胜祥：概念化。毛存利：概念化。
伦理批准和参与同意
本文不包含任何作者进行的涉及人类参与者的研究。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：李颖报告称获得了昆明科技大学的财务支持。何江辉报告与昆明科技大学存在关系，包括就业关系。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能...
致谢
我们感谢所有审稿人的宝贵意见。本工作得到了国家自然科学基金（62306129, U21B2027, 62366027, 62266028）、云南省基础研究项目（202401CF070121, 202401BC070021, 202301AS070047）、云南省重大科学技术专项计划项目（202502AD080016, 202402AG050007, 202103AA080015, 202202AD080003, 202203AA080004）以及昆明科技大学“双一流”建设的财政支持。
