《Big Data and Cognitive Computing》：A Three-Stage Cross-Lingual Knowledge Transfer Approach Based on the XLM-RoBERTa Model for Detecting Fake News in Ukrainian
编辑推荐：
本研究提出，媒体中的假新闻数量不断增多，因此事实核查（fact-checking）系统正日益受到重视，尤其是那些利用自然语言处理（NLP）快速识别和标记假新闻的系统。此类系统开发的主要局限之一在于包含已验证信息的数据集数量有限，而这类数据是模型开展有效训练所必
本研究提出，媒体中的假新闻数量不断增多，因此事实核查（fact-checking）系统正日益受到重视，尤其是那些利用自然语言处理（NLP）快速识别和标记假新闻的系统。此类系统开发的主要局限之一在于包含已验证信息的数据集数量有限，而这类数据是模型开展有效训练所必需的。该问题在非英语数据，尤其是乌克兰语数据上表现得相当突出。该研究提出一种用于识别乌克兰语假新闻的三阶段模型训练算法。该算法的核心是采用多语言Transformer模型XLM-RoBERTa，并通过从英语到乌克兰语的跨语言知识迁移（cross-lingual knowledge transfer）来解决数据短缺问题。这意味着不需要寻找大规模高质量的乌克兰语数据集；相反，可以使用规模显著较小的乌克兰语数据集完成模型最终校准。实验最终获得的模型在极端低资源场景下表现理想，仅用500条训练记录就获得90.7%的准确率，比基线模型提升9.7%。
**论文解读：基于XLM-RoBERTa的三阶段跨语言知识迁移用于乌克兰语假新闻检测**
**1. 研究背景与问题**
随着社交媒体的兴起，新闻媒体的获取方式和消费习惯正在发生变化。路透新闻研究所《2025年数字新闻报告》指出，全球范围内受众对电视、印刷刊物等传统媒体的接触持续递减，而对社交媒体的依赖快速增长，并且过半数（56%）受访者表示担心无法区分真实新闻与假新闻。世界经济论坛发布的《2025年全球风险报告》中，错误信息与虚假信息被视为未来两年最重大的全球风险。
社交平台缺乏编辑核实机制，使假新闻能够在倒卖环境中快速传播。传统人工事实核查服务具有较高准确率，如Snopes、美国非营利组织FactCheck.org以及乌克兰的Vox Check，但这些服务普遍依赖专家的人工审核，面对二十四小时海量新闻内容和不断新造的深度假信息，人工方式难以在速度和覆盖面无懈可击。因此，利用自然语言处理（NLP）自动构建假新闻检测模型成为应对该问题的重要方向。
基于Transformer架构的模型（如BERT）具有很强的左右上下文理解能力和自注意力机制，在检测假新闻方面，它们在“数据充足”时表现尤其突出。但另一个主要障碍是这类模型的有效训练依赖高质量标注数据集。英语范围和标数据集资源丰富，而乌克兰语等低资源语言几乎没有足够数量的标签化语料。人工创建此类数据集是非破坏性的且费时费力，因此该研究执行了任务：借助跨语言知识迁移，将英语中存在的丰富假新闻标注知识迁移到乌克兰语，从而解决数据稀缺下无法训练有效模型的困境。
论文发表在《Big Data and Cognitive Computing》期刊上。作者围绕英语?乌克兰语两阶段迁移进行了两个明确的研究问题：RQ1——跨语言知识迁移是否能够有效补足乌克兰语言假识训练数据的不足；RQ2——所提出的三阶段训练方式是否在单一阶段基线基准上，能获得更好的分类正确率与稳定性。研究的主要贡献包括：提出一套基于XLM-RoBERTa的三阶段乌克兰语假新闻识别算法；在ISOT英语数据集、“机器翻译”的乌克兰语数据以及真实乌克兰语Ukr Psyops新闻数据集上按阶段训练；最后通过实验证明该方法在极端低资源状态下比基线高9.7个百分点的正确率优势。
**研究方法**
研究人员采用多语言Transformer模型XLM-RoBERTa作为算法基础，实施三阶段交叉知识迁移训练。第一阶段在英语ISOT大样本语料（由加拿大维多利亚大学团队构建；真实新闻取自Reuters，最终选择7,500真+7,500假记录的均衡子集）上训练模型认识总体假新闻模式；第二阶段利用Helsing-NLP/opus-mt-en-uk（体系按MarianMT训练过后）对5,000条已知+5,000条未见英语新闻进行乌克兰语翻译并继续微调，使模型在语种层面获得语言适应能力；第三阶段再在公开的Ukr Psyops False News真实乌克兰语数据集上进行最终校准。训练前对所有集进行了清洗、符号噪声去除、重复文本删除、短文本过滤、语言限制（langdetect）和主题关键词过滤，还剔除了类间频率明显失衡（频比>3:1）的词汇，以避免类别伪特征。具体训练采用xlm-roberta-base配分词，最大序列长度设置为512；阶段1学习率2×10
-5，阶段2/3降低为1×10
-5，并以验证集F1为条件选择最优epoch；硬件上利用FP16混合精度在NVIDIA RTX 3050 GPU（4GB VRAM）上运营，最终评估采用Precision（精确率）、Recall（召回率）、F1?score（F1值）与Accuracy（准确率）。
**研究结果**
**第一阶段结果（英语训练基座）：** 在英语ISOT数据集训练完成后，验证阶段最优结果被记录在第一epoch（第二epoch准确率出现下降，故被选为中间模型）。在约2.3万条未参与训练的ISOT额外记录上，模型仅出现35个错误，准确率超过99%。可是将该阶段模型直接用于乌克兰语翻译的数据时，对假新闻识别准确度降至94%，且大量识别误差为假阳性，这说明语言差异会显著削弱直接迁移的效果，有必要继续训练。
**第二阶段结果（中间乌克兰语翻译数据）：** 基于10,000条翻译后的乌克兰语文本（一半是训练集中已出现过、一半是新记录）进行微调；模型以第二epoch为最优状态，获得了在对应验证集准确率97.7%，较第一阶段直接测试灵敏度提升约3.7%，说明翻译数据训练能够适当改善语言迁移后的分类质量。但将该模型进一步对抗真实的乌克兰语新闻测试时，准确率仅为66%，严格表明从翻译条件和真实社会语境之间的差异依然存在。该步骤证明了“语言层面的中间适应”只有充分满足最终真实语料校准的必要。
**第三阶段结果与基线比较：** 在真实乌克兰语语料上选取500条训练记录，采用第三阶段校准后，模型在测试集（500/1000划分中的1000条测试数据）获得了90.7%的准确率；而使用同样条件和单阶段乌克兰语直接微调的基线XLM-Roberta仅获得81.0%的效果，绝对提高了9.7%准确率。当训练数据增加到1500条时，两种模型的准确率均进步并收敛到95.6%。750、1000与1250条记录的中间方案也呈现稳定趋同轨迹，表明数据继续增加对性能增益逐渐收敛（收益递减），从而验证跨语言迁移方案相比传统的直微调在俄语确实受限低资源环境下明显更强。
**讨论与结论：** 论文的讨论指出，经典机器学习方法（如Naive Bayes、SVM等）即使在已有高质量数据集上也难以超过约93%的准确率，同时对复杂文本上下文的理解不够成熟，而本文提出的三阶段XLM-RoBERTa迁移模型，在数据极少时能超越这一限制；在乌克兰语数据资源至500条时可实现90.7%，并侧重于极低资源场景下的稳定性。该模型在完整ISOT英文语集仍保持约99%的识别准确率，说明迁移学习不同于“在本地小语种上过拟合”，而是使检测器在跨语言结构中获得了更强鲁棒性。
论文的重要性在于：它为不具备庞大翻译语料的低资源语言（如乌克兰语）提供了利用英语学习转移知识的一条可行路径，降低了对大规模本地标签语料的依赖。研究人员同时承认，该算法在很大程度上依赖于框架所用数据来源与机器翻译质量的特性：“频率比值>3:1移除偏置词”的启发式策略虽防止模型忠实模仿特定语料的相应伪影，但具体阈值和方式可能误删语境内容；真实实际运用中，模型的准确率可能因领域差异而产生波动。最后，研究人员提出未来的研究方向主要是扩大乌克兰语数据集，以提高灵活性；并着重引入可解释人工智能（explainable AI，XAI）方法（尤其是LIME可视化）解读模型隐藏的决策机制，以获得透明、可信的内容审查，使其能够面向真实应用落地。
