《Information Processing & Management》:Explaining deceptive language in topical discourse: Integrating transformer models and explainable AI using LIME and SHAP for transparent text-based deception detection
编辑推荐:
•比较针对欺骗检测的微调语言模型和基于提示的语言模型。•结合多样化主题的训练数据有利于欺骗检测。•可解释性人工智能能够识别真实文本和欺骗性文本的关键语言特征。•解释方法在不同模型预测中显示出一致的结果。•欺骗性语言在不同主题下呈现出相似的模式。引言在在线环境中,通过简短的书面陈述
- •
比较针对欺骗检测的微调语言模型和基于提示的语言模型。
- •
结合多样化主题的训练数据有利于欺骗检测。
- •
可解释性人工智能能够识别真实文本和欺骗性文本的关键语言特征。
- •
解释方法在不同模型预测中显示出一致的结果。
- •
欺骗性语言在不同主题下呈现出相似的模式。
引言
在在线环境中,通过简短的书面陈述(如社交媒体帖子、在线评论和讨论论坛)进行交流变得越来越普遍,因此检测文本中的欺骗性语言变得尤为重要(M. Kumar等人,2025年;Ott等人,2011年;Vosoughi等人,2018年)。自动化欺骗检测在缓解虚假信息、内容审核和用户生成内容分析等领域具有潜在应用价值(Anggrainingsih等人,2025年;Elbatanouny等人,2025年)。然而,区分真实陈述和欺骗性陈述仍然具有挑战性,因为欺骗往往依赖于微妙的语言线索而非明确的指标(Hancock等人,2005年;Hauch等人,2015年;Newman等人,2003年;Zhou等人,2004年)。
自然语言处理(NLP)的最新进展显著提高了机器学习模型捕捉复杂语言模式的能力(Devlin等人,2019年)。基于Transformer的架构和大型语言模型(LLMs)在各种文本分类任务中表现优异(Minaee等人,2021年),包括与虚假信息和欺骗性内容相关的任务(Chabukswar等人,2025年;Kaliyar等人,2021年;Villegas-Ch等人,2026年)。尽管这些模型具有很高的预测准确性,但其内部决策过程往往难以解释,这限制了其预测的透明度和可信度(Doshi-Velez & Kim,2017年;Lipton,2018年)。
本研究探讨了使用基于Transformer的模型和基于提示的LLM方法进行欺骗检测,并结合了可解释性人工智能(XAI)技术来解释模型行为。通过使用两个专注于气候变化和COVID-19的领域特定数据集,我们评估了微调后的BERT系列模型、集成配置以及基于提示的GPT模型的性能。除了预测性能外,该研究还通过分析单词级别的重要性、检查不同方法之间解释的一致性以及识别与欺骗相关的语言特征来强调可解释性。
本研究旨在实现以下研究目标:
•评估基于Transformer的模型在小型领域特定数据集上的文本欺骗检测性能。
•在数据有限的情况下,比较微调后的Transformer模型和基于提示的LLM的性能。
•利用XAI技术(如LIME和SHAP)分析单词级特征贡献,研究模型的可解释性。
•识别与欺骗性和真实陈述相关的语言模式,评估它们在不同领域中的一致性,并与以往的研究结果进行比较。
•通过分析XAI方法之间的一致性来检验模型解释的稳健性。
章节片段
相关工作
自动化欺骗检测一直是NLP和计算社会科学中的一个活跃研究领域。早期的心理语言学研究发现了与欺骗性交流相关的重复语言模式,包括代词使用、否定词、情绪词和其他风格特征方面的差异(Hancock等人,2005年;Newman等人,2003年;Zhou等人,2004年)。这些发现为自动化基于文本的欺骗分析提供了方法论基础。
背景
本节介绍了与本研究中方法选择相关的基础概念,包括本地模型和基于API的模型之间的区别、XAI方法的总体概述,以及LIME和SHAP的具体机制。
总体方法
本研究采用多阶段实验设计,整合了传统的机器学习基线、基于Transformer的模型、基于提示的LLM推理、集成学习和XAI技术。目标是探索和评估Transformer模型在小型领域特定欺骗数据集上的表现,并使用事后XAI方法评估其可解释性。在欺骗检测研究中,展示在小数据集上的强大性能尤为重要
定量结果
本节展示了我们实验的定量结果。首先总结了我们之前工作中的传统机器学习(ML)基线(Brzic等人,2023年),然后报告了微调后的BERT模型、集成配置和基于提示的GPT模型在所有数据集上的性能。
可解释性分析
本节探讨了微调后的DeBERTa模型如何通过事后解释方法区分真实语言和欺骗性语言。使用LIME和SHAP提取了单词级别的特征,以解释模型在气候变化和COVID-19数据集上的预测。目的是通过分析单词级别的重要性、跨方法的一致性以及欺骗的特征性语言特征来理解和评估模型的可解释性。
讨论
本研究使用了LLM和XAI技术来检测基于文本的欺骗行为。研究结果表明,LLM不仅在小型领域特定数据集上取得了良好的预测性能,而且还提供了对欺骗背后语言线索的可解释性见解。本节重点总结了关于模型性能、可解释性以及对未来研究影响的关键观察结果。
结论
本研究探讨了现代语言模型如何检测文本中的欺骗行为以及如何使用XAI技术解释它们的预测结果。结果表明,即使应用于相对较小的领域特定数据集,Transformer和LLM也能实现有竞争力的分类性能。同时,解释方法揭示了模型决策背后的有意义的语言模式,表明这些模型可以提供与欺骗相关的语言线索的洞察
CRediT作者贡献声明
Bjanka Vrlji?:撰写——审阅与编辑、撰写——初稿、可视化、软件、方法论、概念化。Ivica Boti?ki:撰写——审阅与编辑、监督、资源协调、方法论、资金获取、概念化。
Bjanka Vrlji?|Ivica Boti?ki