《Machine Learning and Knowledge Extraction》：Artificial Intelligence for Natural Language Processing of Low-Resource Indigenous Languages in the Americas: A Systematic Review of Methods, Applications, and Effectiveness
编辑推荐：
摘要专业翻译
尽管多语言人工智能（Artificial Intelligence, AI）近期取得了进展，但由于语料库、标注、基准测试（benchmark）及可复用资源的匮乏，美洲原住民语言在自然语言处理（Natural Language Processing
摘要专业翻译
尽管多语言人工智能（Artificial Intelligence, AI）近期取得了进展，但由于语料库、标注、基准测试（benchmark）及可复用资源的匮乏，美洲原住民语言在自然语言处理（Natural Language Processing, NLP）中仍代表性不足。本系统综述（systematic review）考察了2022–2026年评审窗口内发表的、针对低资源原住民语言的、基于人工智能的NLP研究。遵循PRISMA 2020指南，并辅以扩展的来源验证与补充检索流程，最终分析语料库包含283条唯一记录。机器翻译（Machine Translation, MT）是占比最高的应用领域（58.3%），其次是语言记录（language documentation，51.2%）、原住民语言教育（30.4%）和语音技术（speech technologies，28.6%）。Transformer相关架构（54.1%）和基于BERT的模型（34.6%）在文献中具有最高的可见度，尽管经核实的实施/评估证据显著低于术语层面的出现频率。克丘亚语（Quechua，39.2%）和瓜拉尼语（Guarani，33.6%）是代表性最强的语言。多语言训练与微调（fine-tuning）是最常被识别的适配策略，而准确率（Accuracy）、BLEU和chrF在评估指标中占主导地位。总体而言，证据显示该领域正在发展，但结构上不均衡且方法论上具有异质性。持续存在的挑战包括数据稀缺、语言复杂性、正字法与方言变异、基准可用性有限、社区参与不均衡，以及原住民数据治理实践的报告不足。
论文主体内容总结
1. 引言
1.1. 美洲原住民语言
美洲是世界上语言多样性最丰富的地区之一，拥有数百种原住民语言，承载着独特的认知体系、世界观、生态知识与文化认同。然而，由于殖民化、强制同化政策、城市化、移民、全球化以及英语、西班牙语、葡萄牙语和法语等国家语言的主导，许多语言面临濒危。语言的消失不仅意味着交流系统的丧失，还意味着祖先知识、口述传统、生态实践和文化记忆的侵蚀。从计算机科学角度看，这些语言通常被视为资源稀缺语言，缺乏大规模标注语料库、标准化正字法、词汇数据库、词典、语音录音和参考数据集，严重制约了先进人工智能框架的部署。此外，原住民语言在当代数字生态系统中代表性严重不足，导致原住民社区面临显著的数字排斥。
1.2. 低资源语言的人工智能与自然语言处理
人工智能通过多语言表示学习、Transformer架构和基础模型大幅扩展了NLP的能力。这些进展使得跨语言迁移和适配策略能够支持机器翻译、语音处理、分类等NLP任务。然而，由于语言覆盖不均衡、训练数据受限和评估实践异质，这些方法对美洲原住民语言的有效性仍不确定。
1.3. 原住民语言面临的挑战
技术层面，数据稀缺是最显著的障碍，多数原住民语言的数字资源极为有限，语料库通常规模小、碎片化且分布分散，缺乏标准化参考数据集导致可复现性困难。语言层面，许多原住民语言具有形态丰富、多式综合、黏着或高度屈折等特性，对常规NLP架构构成挑战；正字法变异和方言多样性也增加了处理难度。社会文化层面，与原住民社区的研究常存在数据采集的剥削性实践，数据主权和社区参与成为伦理开发的基本要求。
1.4. 研究空白、目标与贡献
现有研究在语言社区、NLP任务、模型架构和评估协议之间呈碎片化状态，且未一致区分已实证实施评估的方法与仅作为基线、背景引用或未来方向提及的方法。本综述旨在系统评估方法成熟度与有效性，主要贡献包括：整合了283条经来源验证的记录；应用证据角色分类以区分已核实实施/评估与术语层面出现；综合计算、语言与社会文化证据。
2. 概念背景
2.1. 低资源原住民语言
低资源语言指训练、评估和部署稳健NLP系统所需的数字、计算和语言资源有限、碎片化或不存在的语言。资源稀缺同时具有技术性、语言性、制度性和伦理性。美洲原住民语言的多式综合、黏着等特性导致词形复杂，对分词、子词分割、词汇构建、对齐、语言建模和评估构成挑战。方言与正字法变异进一步影响语料库规范化、词汇覆盖、拼写检查、语音识别和机器翻译。因此，核心挑战不仅是减少数据稀缺，而是设计对稀缺数据稳健、在小型异质语料库中可复现、对形态与方言多样性敏感且与社区优先事项一致的计算方法。
2.2. AI用于NLP的演进
AI用于NLP的方法论演进可理解为从显式语言规则到基于数据的统计建模、机器学习、深度学习、Transformer架构、基础模型和大型语言模型（Large Language Models, LLMs）的转变。基于规则的NLP系统不依赖大规模语料库，但构建成本高、难以跨语言扩展。统计NLP引入概率建模，但其有效性依赖足够大且具代表性的数据集。深度学习转向表示学习，但加剧了对大数据和计算资源的依赖。Transformer架构通过自注意力机制和并行化解决了循环模型的部分局限，成为现代NLP的基础。基础模型和LLMs通过大规模多语言或多模态预训练及微调、提示、指令调优、适配器或参数高效方法适配多任务，但也引发透明度、偏见、数据污染、可复现性和计算成本等担忧。
2.3. 基于Transformer的多语言模型
基于Transformer的多语言模型是当前低资源语言NLP的基础。BERT通过掩码语言建模和下一句预测训练双向Transformer编码器，可针对小型任务特定数据集进行微调。多语言BERT（mBERT）通过共享多语言语料库训练，使语言间可共享子词词汇和上下文空间，但预训练数据少的语言可能获得较弱表示。XLM-R通过更大语料库和稳健预训练策略推进多语言表示学习，是跨语言迁移和低资源适配的稳健基线。mT5将文本到文本框架扩展到多语言场景，适用于翻译、摘要、问题生成等任务。NLLB专为大规模多语言机器翻译开发，支持众多语言对，但对原住民语言的有效性取决于语言覆盖、领域匹配和脚本兼容性。GPT类模型及LLMs具备生成能力，可用于翻译、解释、对话和教育材料生成，但存在幻觉、文化不准确和偏见放大等风险。
2.4. 已报告的适配策略
迁移学习是最广泛使用的策略之一，其有效性取决于语言相似性、领域相似性、模型架构、分词和目标语言数据量。跨语言迁移侧重于语言间知识转移，但在源语言类型学距离较远时可能引入偏见。多语言训练通过跨语言共享参数提升泛化能力，但需平衡语言采样和负迁移分析。零样本学习在无任务特定标注示例时应用模型，少样本学习使用少量示例引导适配，但结果需谨慎解释。数据增强通过变换、释义、噪声注入等方式扩展训练数据，合成数据生成可补充稀缺资源，但可能传播错误或产生不自然语言模式。反向翻译通过将目标语言单语数据回译生成合成平行数据，但可能放大弱系统产生的错误。
2.5. 评估指标
BLEU是基于n-gram重叠的机器翻译指标，简单且便于比较，但在测试集小或多方言变体可接受时可能不稳定。chrF评估字符n-gram重叠，对形态丰富语言更有用，但仅衡量表面相似性。COMET利用神经表示估计翻译质量，可能与传统指标相比与人工判断相关性更高，但其可靠性取决于目标语言在训练数据中的代表性。BERTScore通过比较上下文嵌入捕捉语义相似性。准确率、精确率、召回率和F1分数适用于分类、语言识别和结构化预测任务。人工评估和社区评估尤为重要，因为自动指标可能无法捕捉方言可接受性、文化相关性和潜在危害。
2.6. 伦理AI与原住民数据主权
原住民语言的伦理AI需解决数据采集、存储、建模、共享和部署的历史与政治条件。CARE原则强调集体利益、控制权、责任和伦理，将数据治理从个体访问转向集体权利。OCAP原则强调所有权、控制、访问和占有，适用于语料库创建、语音录制、标注、模型发布和数据许可。原住民数据主权指原住民对其语言、文化、领土和成员相关数据的治理权，意味着开放数据并非总是默认伦理选项。以社区为中心的AI和参与式AI要求原住民发言人、教师、翻译和机构参与整个研究周期，包括问题定义、数据集设计、标注指南、模型评估和部署规划，这能提高方法稳健性和可复现性。
3. 方法
3.1. 研究设计
本研究按照PRISMA 2020声明进行系统文献综述，整合了人工智能、计算语言学、数字语言保存和原住民语言研究等领域。研究问题为：美洲低资源原住民语言NLP中人工智能算法的现状、方法论方法和有效性证据如何？使用PICo框架构建综述范围，分析框架包含六个预定义维度：现状、AI方法论方法、NLP应用、低资源适配策略、评估与有效性、挑战与未来方向。为增强证据库的完整性、可靠性和可复现性，保留了原始框架并补充了来源验证和扩展检索过程。
3.2. 信息来源
证据库结合了经来源验证的原始语料库与刻意放宽的补充检索。补充检索使用更宽泛的原住民语言术语、语系/区域表达、正字法变体及额外NLP任务术语。Scopus和IEEE Xplore被直接检索，ACL组件则通过ACL Anthology记录重建和审计。补充审计识别出339条记录，去除重复后剩余255条唯一补充记录进入资格评估。
3.3. 检索策略
检索策略结合三个概念领域：AI与计算方法、NLP、美洲低资源原住民语言。初始检索于2026年6月17日进行，使用受限语言名和Transformer/LLM术语。由于初始策略依赖相对受限的命名语言、NLP应用和Transformer/LLM术语，于2026年10月1日进行了补充敏感性检索以增加召回率。补充策略大幅扩展了语言、NLP和方法论词汇。ACL Anthology补充检索通过Python程序化方式实现，使用边界感知短语匹配和模糊语言名的上下文控制，最终检索出190条记录。经过资格评估，补充检索纳入138项研究，与原始审计保留的145项研究交叉核对无重复，最终综述语料库包含283项研究。
3.4. 资格标准
研究资格标准包括：同行评审期刊文章、会议论文、书籍章节、数据集或计算资源论文、基准研究、共享任务论文和系统综述；发表于2022年1月1日至2026年6月30日；以英语、西班牙语或葡萄牙语撰写；聚焦美洲原住民语言；应用、开发、适配、评估或分析AI/ML/NLP方法或提供相关计算资源；提供足够的可提取证据；具备全文可用性。资格审计区分了术语出现与实际实施/评估的证据，模型、方法、策略或任务仅出现在标题、摘要、引言、相关工作、参考文献、基线描述或未来工作讨论中时，不被编码为研究层面已实施/评估证据。
3.5. 研究选择过程
原始检索识别出281条记录，补充检索识别出339条记录，共620条记录。去除84条重复后，536条记录进入标题和摘要筛选。排除227条后，309篇全文报告接受资格评估，其中26篇被排除，最终283项研究纳入综述语料库。补充证据流中146条候选记录由两名评审员进行独立预共识资格批准，精确一致率为86.3%，Cohen's κ = 0.455，Krippendorff's nominal α = 0.457。最终语料库包括155项主要实验/计算研究（54.8%）、112项数据集/资源/基准研究（39.6%）、13项共享任务/系统论文（4.6%）和3项综述/调查/背景次要证据（1.1%）。
3.6. 数据提取过程
数据提取按六个预定义分析维度进行结构化编码，结合研究层面编码与来源层面验证。提取过程明确区分每项检测条目的证据角色，包括已实施、已评估、基线、背景提及、未来工作、不确定和未报告。方法论和任务变量在补充证据流中由两名评审员独立重新评估。定量综合中，术语层面总编码存在与已核实实施/评估作为不同证据度量保留。语言名称被规范化以减少正字法和命名变体造成的碎片化。方法质量评估采用六领域框架，评分0-12分，作为解释辅助而非额外资格标准。由于语料库异质性大，未进行统计合并或元分析。有效性被操作化为每项研究实验条件下报告的性能证据，不进行跨研究直接排名。
3.7. 协议注册
本系统综述的方法文档和支持材料于2026年9月13日在开放科学框架（OSF）进行回溯性注册。注册不应被解释为前瞻性预注册。补充检索在注册后进行，作为审计和同行评审反馈后的方法论更新，未改变核心研究问题或六个预定义分析维度。
3.8. 生成式人工智能的使用
作者在稿件准备、修订和方法审计过程中使用了OpenAI ChatGPT和OpenAI Codex作为研究支持工具，协助语言润色、代码开发与审查、文献计量规范化与验证、一致性审计、候选证据检测等。生成式AI辅助程序未作为自主评审员，未独立决定研究资格、方法质量、证据分类或科学结论。所有资格决策、方法解释和最终科学判断均由作者执行或审查。
3.9. 社区参与与原住民数据治理
社区参与和原住民数据治理作为跨领域变量纳入提取框架，考察研究在问题定义、数据收集、标注、评估、解释、部署或治理及后续复用控制等阶段的社区参与报告情况。数据治理变量包括报告的同意、数据所有权或控制、访问条件、许可、利益共享、原住民数据主权考虑、CARE相关原则和社区对数据或模型复用的权威。未报告被解释为报告缺口而非社区参与或治理实践缺失的证据。
4. 结果
4.1. 所选研究概览
最终证据映射数据库包含283项2022至2026年间发表的独特研究。科学产出从2022年的44项研究（15.5%）增至2023年的64项（22.6%），2024年达到最高83项（29.3%），2025年保持高位70项（24.7%），2026年在预定义窗口内发表22项（7.8%）。此期间文献越来越多地报告多语言Transformer、基础模型和LLMs，但该趋势仅为描述性，不应被解释为方法论发展与产出增长之间的因果关系。
4.2. 低资源原住民语言AI的现状
机器翻译是最常出现的应用领域，出现在165项研究中（58.3%），其次是语言记录（145项，51.2%）、原住民语言教育（86项，30.4%）和语音技术（81项，28.6%）。内容审核与安全（13项，4.6%）和人机交互（5项，1.8%）代表性较低。结果表明研究相对集中于机器翻译和语言记录，其他应用领域代表性不足，提示AI/NLP研究可向更多元化方向拓展。
4.3. 人工智能方法论方法
Transformer相关架构在153项研究中被识别（54.1%），但仅50项研究提供已核实实施/评估证据，33项为背景提及，70项不确定。基于BERT的模型在98项研究中被识别（34.6%），其中37项提供实施/评估证据。T5在55项研究中被识别（19.4%），20项有评估证据；NLLB出现在54项研究中（19.1%），22项有评估证据。LLM相关方法在44项研究中被识别（15.5%），35项有实施/评估证据。模型频率计数不应被解释为等同于实验采用，证据角色审计区分了直接实施/评估与背景提及及证据不足的情况。
4.4. NLP应用与所研究语言
NLP任务审计显示术语层面检测与已核实实施/评估证据之间存在显著差异。机器翻译在167条记录中被识别（59.0%），77项研究有已核实实施/评估证据。形态分析/标注在93条记录中47项有已核实证据，ASR/语音识别在34条记录中18项有已核实证据。相反，NLI在108条记录中被识别（38.2%），但仅10项研究有已核实实施/评估证据。语言代表性方面，克丘亚语是最常出现的语言（111项，39.2%），其次是瓜拉尼语（95项，33.6%）和博拉语（50项，17.7%）。布里布里语（48项，17.0%）、艾马拉语和纳瓦特尔语（各45项，15.9%）及希皮博-科尼博语（36项，12.7%）也较突出。玛雅语伞形类别出现在33项研究中（11.7%），其次是阿尚宁卡语（29项，10.2%）、奥托米语和拉拉穆里语（各23项，8.1%）、因纽特语（21项，7.4%）、乔尔语（20项，7.1%）和维沙里卡语（13项，4.6%）。
4.5. 数据稀缺下的适配策略
证据角色审计识别出多语言训练是最常被核实的适配策略，77项研究有实施/评估证据，其次是微调（66项）、迁移学习（40项）、零样本学习（39项）、跨语言迁移（27项）、少样本学习和提示/上下文学习（各25项）、数据增强（17项）、合成数据（14项）以及反向翻译和LoRA（各3项）。审计还揭示了若干频繁检测策略的大量术语层面或不确定证据，总体术语层面频率不应被解释为等同于已核实的方法采用。
4.6. 评估与有效性指标
证据角色审计识别出准确率是最常被核实的评估指标，78项研究有实施/评估证据，其次是BLEU（59项）、chrF（59项）、F1（35项）、精确率（19项）、召回率（11项）、WER（8项）、CER（6项）以及相关性和MOS（各4项）。人工评估和社区评估作为验证方法而非标量指标，分别在44项和38项研究中被核实。
跨原住民语言的模型有效性比较综合
对所选主要研究中的定量结果进行了比较综合，涵盖自动语音识别、机器翻译和形态句法转换三个NLP任务。在自动语音识别中，XLSR-53 Wav2Vec2在布里布里语和卡贝卡尔语上均取得比Whisper更低的字符和词错误率，但改进幅度因语言而异。在机器翻译中，NLLB-1.3B与LoRA在西班牙语到克丘亚语翻译上超过Sheffield基线4.20 chrF++点，而NLLB-1.3B全微调在西班牙语到瓜拉尼语翻译上超过Helsinki基线1.91 chrF++点。基于语法的合成预训练未一致改善翻译质量。在从句级形态句法转换中，Claude 3 Opus和NLLB-200-3.3B的相对有效性因语言而异。总体而言，证据不支持模型架构的普遍排名，模型有效性取决于目标语言、NLP任务、数据集特征、适配策略和评估协议。
