一种基于自监督Transformer和可解释AI的新型混合方法，用于多语言虚假文本检测

《Expert Systems with Applications》：A novel hybrid approach based on self-supervised transformers and explainable AI for multilingual fake text detection

　　阿伊卡·博斯坦杰奥卢（Ayca Bostancioglu）| 比赫特尔·达斯（Bihter Das）| 穆罕默德·奥努尔·卡亚（Muhammed Onur Kaya）| 侯赛因·阿尔佩伦·达格多根（Huseyin Alperen Dagdogen）| 雷苏尔·达斯（Resul Das）
菲拉特大学（Firat University），技术学院，软件工程系，埃拉泽格（Elazig），23119，土耳其

**摘要**
随着人工智能的迅速发展和进步，语言结构和语法规则的相似性使得AI生成的文本越来越难以与人类撰写的文本区分开来。为了解决这个问题，本研究提出了一种基于自监督学习和可解释AI技术的新方法来检测多语言AI生成的文本。从无标签的数据集开始，通过自监督训练使模型能够深入了解语言的所有结构和语义特征。然后对这种稳健的语言表示进行有监督的微调，以定制模型检测合成文本的能力。经过多阶段训练后，该框架在三个精心编制的数据集上进行了评估，这些数据集包括来自论坛、学术出版物和社交媒体的英语、土耳其语和阿拉伯语文本。为了提高模型决策过程的透明度与可信度，我们整合了局部可解释模型不可知解释（Local Interpretable Model-agnostic Explanations, LIME）和Shapley加性解释（Shapley Additive Explanations, SHAP），为模型的预测提供了可解释的洞察。实验结果验证了所提出架构的稳健性，在英语上的准确率为99.9%，在土耳其语和阿拉伯语上分别为96.1%和96.6%。这项研究提出了一个关键的可解释AI框架，用于检测合成文本，同时对增强数字内容安全具有重要意义。

**引言**
近年来，人工智能经历了前所未有的变革，尤其是在自然语言处理领域。在这场变革中，GPT模型因其理解和生成人类语言的突破性能力而脱颖而出（Bhattacharya等人（2024））。训练这些模型需要大量数据集和高性能计算资源（Yenduri等人（2024））。GPT模型能够有效执行各种任务的主要原因是其广泛的语言知识。与基于词频的传统方法不同，GPT模型采用更先进的方法来理解语言上下文。这些模型可以根据上下文区分词的不同含义，并准确分析语法结构（Oralbekova, Mamyrbayev, Othman, Kassymova, & Mukhsina（2023））。鉴于这些发展，GPT模型的潜力不仅限于其语言理解和生成能力，还为质疑文本准确性和可靠性的时代铺平了道路。

人工智能系统已显示出生成流畅文本的强大能力，使得判断文本是由人类还是人工智能创作的变得困难（Gunser, Gottschling, Brucker, Richter, & Gerjets（2021））。最新版本的GPT进一步提高了这种能力，使得确定信息的真实性和原创性变得极其困难（Elkhatat（2023））。这些发展可能导致虚假信息和假内容的快速传播，对个人和机构产生负面影响。这类内容的准确性至关重要，尤其是在媒体、学术出版物和社交媒体等内容生产平台中（Sha, Li, Yu, & Zhang（2023）；Uzun（2023））。为了解决这个问题，需要开发能够通过语言和风格分析准确检测人工智能生成文本的方法。最近的研究表明，当NLP方法与机器学习算法结合使用时，在识别欺诈性文本方面效果显著。

**自监督学习**
与标准的有监督学习相比，自监督学习成本更低（Gui等人（2024）；Liu等人（2021））。模型在大量文本上进行训练，负责预测下一个单词或句子。通过这种方式，它在无需任何直接的人类解释的情况下，对语法、语言结构和语义有了深刻的理解。因此，它从数据中的模式和关系中学习自己的监督机制，从而获得强大且具有泛化能力的语言表示（Ericsson, Gouk, Loy, & Hospedales（2022））。此外，由于其对人类撰写文本的统计特性的内在理解，自监督学习最适合检测AI生成的内容。

**人工智能文本与人类文本的相似性**
人工智能生成的文本与人类生成的文本日益相似，对信息安全构成了重大威胁。这种相似性使得检测过程复杂化，难以区分内容的来源。虚假或误导性信息在网络环境中更容易迅速传播，进一步加剧了问题的严重性（Spitale, Biller-Andorno, & Germani（2023））。传统方法不仅过程缓慢，而且容易出错。因此，开发新的、更先进的方法以提供更准确和高效的结果变得不可避免。像ZeroGPT和Quillbot这样的工具在支持多种语言和准确捕捉意义方面可能存在不足（Kar, Bansal, Modi, & Singh（2024）；Malik & Amjad（2025））。为了解决这些问题，本研究介绍了一种用于检测AI生成文本的新自监督模型。在这里，“假文本”是指部分或完全由人工智能模型生成的文本，而不是由人类生成的文本。假文本并不一定包含虚假、误导性或恶意内容；这一术语应严格用于描述文本的来源。出于标记目的，由GPT等大语言模型（LLM）、开源生成模型和改写工具生成的文本被标记为AI生成的，而来源经过验证为人类编写的文本则被标记为人工写的。本研究提出的方法首先使用自监督学习方法在多语言文本数据上训练基于Transformer的语言模型，使模型深入掌握语言的结构和语义特征（Berend（2023）。然后，通过微调将该预训练模型适配到特定的分类任务中，例如检测人工智能生成的文本。此外，使用可解释AI技术提高模型决策过程的透明度，并确定模型更重视哪些词组或表达。这样，模型的结果更加易于理解，同时增强了可靠性和性能评估。

**主要贡献**
- 提出了一种紧凑的混合框架，首先通过掩码语言建模（Masked Language Modeling）学习深层语言表示，然后对轻量级Transformer进行微调以进行分类。该框架不同于直接微调预训练Transformer的传统方法，使模型能够学习针对目标语言的适当语言表示。
- 所提出的模型通过分析语言的语义和结构特征来区分AI生成文本和人类编写文本，无需大规模标注数据集，从而实现了稳健的泛化能力。
- 在英语、土耳其语和阿拉伯语等语言中达到了较高的准确率，显著减少了基于LLM的检测器在资源不足的语言中通常观察到的性能差距。
- 该方法通过利用自监督预训练阶段学习每种语言的语义和结构模式，实现了强大的多语言泛化能力，而无需依赖大规模标注数据集。这种无监督的多语言训练减少了手动标记的需求，同时使模型能够在多样化的语言环境中准确区分AI生成文本和人类编写的文本。
- 本研究通过整理三个新数据集，特别是为土耳其语和阿拉伯语等代表性不足的语言增强了语言资源，为多语言NLP研究做出了显著贡献。
- 整合了可解释AI技术（特别是LIME和SHAP），提高了模型的透明度，并为决策提供了有力的理由。虽然XAI在这里不是根本性的创新，但这些分析通过揭示现有模型的关键特征差异，支持了信心和故障模式评估。

**研究结构**
如图1所示，本研究包括五个主要部分：引言、相关研究回顾、材料与方法描述、实验结果与讨论以及结论。

**文献回顾**
检测假文本已成为数字信息安全领域的一个关键研究课题。信息污染的增加，特别是在社交媒体、网络新闻来源和学术出版物平台上，使得这一领域的研究更加重要。最近的研究表明，假文本不仅可以从内容层面进行评估，还可以从它们产生的上下文、使用的语言模式甚至用户行为来进行评估。

**材料与方法**
本节描述了基于自监督学习和变换模型的创新混合系统的集成，用于检测人工智能生成的文本。数据收集过程非常仔细地完成，因为数据来源对人工智能模型至关重要。在模型开发过程中，首先通过自监督学习了解语言的结构和含义。

**实验结果与讨论**
本节展示了评估模型性能的实验结果，并对这些结果进行了分析。实验研究得出的定量数据汇总在表4中。该模型将传统的有监督学习范式与掩码语言建模（Masked Language Modeling）相结合，后者是一种强大的学习语言语义结构的方法，从而实现了……