基于多语言预训练模型的西班牙语环境证据文本分类研究：克服语言偏倚的新策略

《Environmental Evidence》：Spanish-language text classification for environmental evidence synthesis using multilingual pre-trained models

【编辑推荐】环境证据合成长期面临英语单语偏倚问题，导致证据不完整和政策决策偏差。本研究针对西班牙语生物多样性保护文献，开发基于多语言预训练模型（如mBERT、XLM-R）的文本分类器，结合类别权重处理极端不平衡数据（0.79%正样本）。最佳模型实现100%召回率，过滤70%无关文献，为多语言证据合成提供了高效筛查工具，显著提升非英语文献纳入效率。

　　

在全球化科学研究背景下，环境证据合成领域长期存在一个隐形壁垒：英语单语主义。尽管生物多样性保护是全球性议题，但相关科学证据却分散在不同语言的文献中。据统计，环境科学领域的系统综述和图谱中，超过60%仅检索英语证据，而政府间生物多样性和生态系统服务平台（IPBES）全球评估中仅4%证据来自非英语文献。这种语言偏倚不仅导致证据基础不完整，更可能造成统计结果系统性偏差，因为具有统计学显著性和积极结果的研究更倾向于以英语发表。

语言障碍带来的实践挑战同样不容小觑。完成一项环境科学系统图谱平均需要211个全职工作日，其中约91天专门用于文献筛选。若考虑多语言文献，所需时间和人力资源呈指数级增长。例如，一项涵盖生物多样性保护干预措施效果的综合研究需要17种语言、38名研究人员和两个机构超过两年的合作。这种资源需求使得大多数研究团队对非英语文献望而却步。

人工智能技术的快速发展为突破这一瓶颈提供了新的可能。传统机器学习分类器（如逻辑回归、支持向量机）和新兴神经网络模型已在证据合成筛查阶段展现出潜力，某些自动化分类器表现甚至优于人工筛查。特别是多语言预训练语言模型（如mBERT、XLM-R、mT5）的出现，覆盖100多种语言，为多语言文本分类奠定了技术基础。

在这项发表于《Environmental Evidence》的研究中，Berdejo-Espinola等人将目光投向了西班牙语科学文献——这一占保护科学文献13%的重要知识宝库。研究团队开发了一种基于监督机器学习（supervised machine learning）的西班牙语文本分类器，专门用于识别与生物多样性保护干预措施相关的科学文献。

关键技术方法

研究基于14种SciELO索引的西班牙语期刊（1992-2019年），获取5,550篇文献（44篇相关文献，0.79%正样本）。采用三种特征提取方法：词频（TF）、词频-逆文档频率（TF-IDF）和句子级嵌入（sentence-level embeddings）；使用三种分类器（逻辑回归LR、支持向量机SVM、多层感知器MLP）；测试四种不平衡数据处理策略（损失函数加权、随机过采样、ADASYN过采样、随机欠采样）。最佳模型采用多语言预训练模型（paraphrase-multilingual-mpnet-base-v2）生成句子嵌入，结合SVM分类器和类别权重。

研究结果

分类器性能

在测试的38个模型变体中，最佳性能模型结合了支持向量机（SVM）、多语言预训练模型的句子嵌入特征提取和类别权重平衡策略，在测试集上实现了100%的召回率（recall）和0.071的F1分数。

该分类器将系统合成中的手动标记工作量减少了78%以上，假阳性错误率低于22%。多层感知器（MLP）分类器使用TF-IDF特征和欠采样训练数据也实现了100%的召回率，但F1和精确度显著较低。消融研究表明，编码和加权方法两个组件对整体架构贡献均衡，移除或替换任一组件都会导致召回率降至0%。

多语言预训练模型作为编码器

研究表明，多语言预训练模型能够有效编码小规模西班牙语文本语料库，即使在仅0.79%文档与生物多样性保护相关的情况下，预训练模型（MPNet）仍能很好地捕捉每个类别的上下文信息。然而，句子嵌入单独使用无法实现高性能，需要与适当的加权和分类头结合。

处理不平衡数据

研究发现，对损失函数进行加权是解决极端类别不平衡的最有效策略。通过给予 underrepresented 类别更高重要性，该方法提高了模型对稀有但相关文档的敏感性，确保在不牺牲精确度的情况下获得更好的召回率。

预测解释

通过SHAP（SHapley Additive exPlanations）分析，研究人员揭示了每个词或词组对分类器预测的贡献程度。对正面预测影响最大的词汇包括"conservación"（保护）、"comunidades"（社区）、"restauración"（恢复）等，这些词汇与生物多样性保护行动领域高度相关。

有趣的是，对预测影响最大的词汇与真实正面和负面预测类别中最常用的词汇并不匹配。真实正面预测中最常用的五个词是"especie"（物种）、"fuego"（火）、"área"（区域）、"resultados"（结果）和"manejo"（管理），而正面预测中影响最大的词汇更多涉及具体的保护行动和干预措施。

错误分析

通过分析假阳性预测的SHAP值，研究发现多个与保护干预措施相关的词汇（如"estrategia"策略、"éxito"成功、"conservación"保护）会导致模型将负面文档错误分类为正面。这表明模型在学习负面类别特征时可能存在偏差，或者这些术语在负面文档中缺失、罕见或被具有强烈保护语义含义的词汇所包围。

研究结论与讨论

本研究成功开发了一种针对西班牙语文本的分类器，能够有效识别与生物多样性保护行动效果相关的科学文献。核心发现是结合基于Transformer的多语言模型表示语义句子级特征和加权损失函数处理高度不平衡数据集的模型架构具有强大鲁棒性。

句子嵌入模型很可能通过在大规模语料库上使用双向性预训练上下文表示，学习词汇的深层表征，而传统模型使用基于频率的特征提取器。编码器处理非英语语言结构复杂性的能力是多语言文本应用的优势。SHAP的使用通过提供对模型如何生成预测的洞察增强了可解释性，显示具有生物多样性保护干预深层语义含义的词汇具有最大重要性。

与仅基于英语生物多样性数据训练的分类算法相比，本研究提出的方法表现出色。类似地，测试英语文本的句子级表示与基于标记的表示的研究也显示了前者的鲁棒性。结合这些方法论的方法对于环境证据合成中的筛选阶段很有价值，在英语不广泛使用的生物多样性高度丰富地区，语言障碍常常限制获取当地产生的证据。

研究团队建议，未来工作可探索XLM-Roberta模型、虚拟代理和其他生成式或推理AI系统等替代分类方法，可能会产生类似的分类性能，并帮助证据合成中的筛选阶段。另一个未来探索方向是利用本研究中使用的多语言嵌入，并评估模型在其他非英语语言间的泛化能力。

这项研究展示了将多语言预训练模型用于文本编码、加权损失函数用于类别平衡以及支持向量机作为分类算法相结合，能够使分类器在西班牙语文本上有效执行。多语言文本嵌入使得无需大量非英语标记数据即可学习更准确的分类器，通过包含非英语语言证据扩展了证据合成中的知识覆盖范围。此外，非英语文本分类器可以简化标题和摘要的筛选，加速保护科学中相关文献的识别。使合成过程的这一步骤自动化和多语言化不仅提高了效率，还使研究人员能够专注于分析高相关性文档，确保环境证据合成中更广泛覆盖非英语语言证据。