《Data and Information Management》：An Arabic Fake News Dataset with Fine-Tuned Language Models for Misinformation Detection
编辑推荐：
本研究介绍并发布了一个经过精心整理的多领域现代标准阿拉伯语（Modern Standard Arabic, MSA）假新闻数据集，并附带验证文本（verification text）。本研究为假新闻检测提供了AraBERT与阿拉伯语大语言模型（Large La
本研究介绍并发布了一个经过精心整理的多领域现代标准阿拉伯语（Modern Standard Arabic, MSA）假新闻数据集，并附带验证文本（verification text）。本研究为假新闻检测提供了AraBERT与阿拉伯语大语言模型（Large Language Models, LLMs）的综合基准（comprehensive benchmark）。本研究通过评估跨数据集泛化（cross-dataset generalization）能力，考察阿拉伯语虚假信息检测的鲁棒性（robustness）与可靠性（reliability）。
**研究背景**
虚假信息（misinformation）与错误信息（disinformation）对数字信息系统的可信度、内容验证及信任机制构成持久性挑战，其影响遍及公共健康、治理与政治传播等领域。尽管高资源语言的假新闻检测技术已取得实质性进展，阿拉伯语等语言的相关系统仍发展不均衡。现有阿拉伯语虚假信息检测研究多集中于狭窄领域或方言阿拉伯语，且常针对COVID-19等特定事件；现代标准阿拉伯语（MSA）相关研究相对有限，许多数据集为私有、受限制或缺乏解释声明为何为假的验证文本。阿拉伯语信息处理还面临形态学丰富、变音符号缺失、MSA与地区变体共存、权威事实核查来源稀缺及标注标准不一致等挑战。现有研究通常受限于小规模数据集、有限的领域覆盖、对大语言模型（LLMs）探索不足，且缺乏对模型泛化能力的系统评估，导致模型鲁棒性与迁移性尚未得到充分理解，这构成了开展本研究的直接动因。
**研究人员开展的研究、结论与意义**
为克服上述局限，研究人员引入并发布了ArabFactCheck——一个多领域阿拉伯语假新闻数据集，包含7691条经精心整理的MSA新闻实例（4025条真实新闻与3666条假新闻），每条假新闻均附有提供解释性证据的验证文本，并以知识共享署名4.0许可协议（CC BY 4.0）公开。研究人员对三种阿拉伯语预训练语言模型——AraBERT、ALLaM（7B参数规模）与Fanar（9B参数规模）——实施微调（fine-tuning）基准测试，并进一步通过跨数据集评估检验模型泛化能力。研究得出如下主要结论：在严格控制条件下，微调后的AraBERT取得最优综合性能（加权F1分数0.9829、宏平均F1分数0.9830）；Fanar经序列分类目标微调后性能接近（加权F1分数0.9717），二者无统计学显著差异；零样本（zero-shot）设置下LLMs性能明显偏低，凸显微调的必要性。然而，跨数据集泛化评估显示模型在外部数据集上性能显著下降，标注策略、任务定义与语言差异严重影响可靠性；基于时间的分割策略使AraBERT宏平均F1分数由0.9830骤降至0.3525，反映虚假新闻语言模式随时间演变。该研究的意义在于同时提供高质量数据集与系统性评估框架，揭示阿拉伯语信息验证中的核心可靠性挑战，为更可靠的多语种虚假信息检测系统建设提供实证依据。
**关键技术方法**
研究人员采用跨来源分割策略（cross-source splitting）：训练集涵盖Fatabyyano、Alhadath、Emaratalyoum、Al-Arabiya、Maharat与Sky News等来源，验证集含Saheeh样本，测试集则由训练与验证阶段均未出现的Tahaqaq、Okaz与Annir来源构成，以防来源泄漏（source leakage）。模型层面，AraBERT采用标准序列分类微调，ALLaM与Fanar分别采用序列分类（Classification）与基于因果语言模型（Causal Language Model, Causal）的指令微调（instruction fine-tuning）两种范式，后者借助量化低秩适配（Quantized Low-Rank Adaptation, QLoRA）将预训练权重量化为4-bit精度并冻结原始参数，在80GB显存的NVIDIA A100 GPU上完成训练。数据源自五家权威新闻机构与五家阿拉伯语事实核查平台。此外，研究采用BERTopic主题建模分析主题分布，并运用McNemar精确检验（McNemar's exact test）验证模型间差异的统计显著性。
**研究结果**
**AraBERT与LLMs性能比较。** 在跨来源分割的测试集上，AraBERT以加权精确率0.9833、加权F1分数0.9829及宏平均F1分数0.9830全面领先，且无任何未分类样本；Fanar经序列分类微调后加权F1分数达0.9717，与AraBERT接近，但指令微调后性能回落至0.7852并出现6个未分类样本；ALLaM表现分化，指令微调加权F1分数达0.9880而宏平均F1分数仅0.6583，直接分类任务性能降至0.6008；零样本Fanar（0.7817）优于ALLaM（0.5986）。
**模型泛化。** 在AraFacts等公开数据集上，模型在事实核查类数据集上取得较高加权F1分数（ALLaM分类实验达0.9315），但在立场检测（Stance）任务上性能显著下降，标注标准差异与文本长度限制是泛化失败的主因。
**与文献的比较。** 微调AraBERT（0.9829）与Fanar（0.9717）显著优于经典机器学习基线（SVM为0.9415）及LSTM（0.9744）、Bi-LSTM（0.9604）等深度架构；而去除停用词与词形还原（lemmatization）等预处理的AraBERT版本性能骤降至0.2467，印证语言保留（linguistic preservation）在阿拉伯语自然语言处理管线中的重要性。
**统计显著性检验。** McNemar精确检验表明，ALLaM（Causal）（准确率0.9867）与AraBERT（0.9830）构成统计上最强的模型组合且二者无显著差异，二者均显著优于其余模型（多数比较p值小于0.001），证实了Transformer类架构模型对本任务的持续优势。
**不同分割策略下的比较。** 基于来源分割的AraBERT宏平均F1分数为0.9830，而按时间分割（2016—2022年训练、2023年验证、2024—2025年测试）时宏平均F1分数降至0.3525，表明新闻的语言表达与主题分布随时间显著变化，模型需持续更新以应对演变中的虚假信息。
**讨论与结论**
讨论部分指出，Transformer类模型（尤其AraBERT与Fanar）凭借上下文表征学习擅长捕捉MSA的形态与语义特征；ALLaM在指令微调下更善于遵循提示产生结构化输出，而Fanar凭借更大的参数量在序列分类目标上表现更佳。跨数据集评估暴露的泛化鸿沟警示：单一数据集上的高准确率可能高估真实世界可靠性，部署前需跨多数据集与来源验证。时间分割实验凸显在数据集中纳入2016—2025年新闻模式的价值，持续更新的检测系统是必要方向。研究同时承认局限：数据集仅聚焦MSA，对社交媒体方言内容的适用性受限；基于来源的构建可能引入来源偏差（source bias）。未来工作将利用验证文本开展可解释虚假信息检测（explainable misinformation detection）、探索检索增强（retrieval-augmented）事实核查、纳入社交媒体内容与方言阿拉伯语，并引入主题感知标注以支持跨主题实验。
结论部分：本研究提出的多领域阿拉伯语假新闻数据集支持了低资源语言环境下虚假信息检测系统的可靠评估。通过对预训练语言模型与LLMs的系统性基准测试，研究表明上下文语言表征能在受控阿拉伯语验证任务中实现强劲性能，同时揭示了跨数据集泛化的重大局限。观测到的性能差异凸显标注策略、任务表述与语言多样性对模型可靠性的影响；高数据集内准确率并不必然转化为稳健的真实世界性能，基于来源的数据分割与跨数据集评估为阿拉伯语信息验证提供了更现实的系统行为评估，所得实证洞见可为多语种虚假信息检测系统的设计、评估与部署提供参考。
