《Knowledge-Based Systems》：Enhancing disinformation detection with explainable AI and named entity replacement
编辑推荐：
自动虚假信息检测中存在模型过度依赖冗余特征的问题，本文采用SHAP解释方法识别URL、表情符号等非关键特征，并伪匿名化实体名称进行数据预处理。实验表明该方法在CTF和COVID-19数据集上使F1分数平均提升44%，验证了去伪存真对模型泛化能力的显著改善。
Santiago González Silot|Andrés Montoro-Montarroso|Eugenio Martínez Cámara|Juan Gómez-Romero
西班牙哈恩大学（Universidad de Jaén）信息通信技术高级研究中心（CEATIC）SINAI研究小组
摘要
自动检测虚假信息在自然语言处理领域是一个重大挑战。这一任务涉及多方面的社会和沟通问题，需要超越通过数据驱动算法识别一般语言模式的传统方法。在本研究中，我们假设文本分类方法无法捕捉到虚假信息的细微差别，且它们往往基于不必要的特征做出决策。因此，我们应用了一种事后可解释性方法（SHAP，即Shapley Additive Explanations）来识别对分类模型影响较大的虚假元素。我们的研究结果表明，应移除无信息量的元素（如URL和表情符号），并在训练前对命名实体（如“卢旺达”）进行伪匿名处理，以减轻模型的偏见并提高其泛化能力。我们在一个内部数据集以及应用了扩展数据预处理和命名实体替换后的外部数据集上评估了这种方法，结果显示，该方法平均提升了虚假信息分类方法的性能，外部测试数据的提升幅度超过了44%，同时内部测试性能没有显著下降。
引言
虚假信息是指故意制造和传播谎言、骗局和阴谋论，目的是造成伤害并操纵公众舆论[1]。这种现象并不新鲜；它与人类历史同步发展，并因互联网和社交网络的普及而加剧。关于人物和事件的假新闻的传播对民主社会产生了显著影响[2]，这凸显了迫切需要解决方案来对抗虚假信息，包括应用人工智能（AI）[3]。
自动检测虚假信息（ADD）主要在自然语言处理（NLP）领域通过机器学习（ML）技术来解决[4]，[5]，尽管多媒体格式（音频、图像、视频）的使用日益增加，但书面格式仍然占主导地位。然而，ADD面临几个挑战：
- •
数据：创建用于训练预测模型的标记数据集需要大量工作，并可能引入偏见。确定信息的真实性本质上具有挑战性且受文化影响。
- •
基于模式识别的机器学习模型倾向于识别普遍行为，但在处理较少见的情况时表现不佳，而这正是虚假内容的典型特征。这种行为可能会强化刻板印象，并导致对数据集中代表性不足的少数群体的歧视。
- •
神经网络的可解释性：深度神经网络（机器学习中的主流技术）的结果仅通过观察其参数难以理解。此外，ADD模型严重依赖于所分析的具体语言和现象，限制了其在其他情境中的适应性。
- •
评估指标：该领域的大多数研究仅关注准确性指标，忽视了关键因素，并强调虚假或无信息量的特征。这种关注方式可能会扭曲分类结果，使系统容易受到对抗性攻击。
本文探讨了可解释AI方法（XAI）[6]在基于NLP的ADD中的应用潜力，以识别那些影响预测模型输出但对问题领域无关紧要的虚假特征。我们的研究有两个主要目标：首先，减轻训练数据中的固有偏见；其次，提高ADD机器学习方法的泛化能力和鲁棒性。
为此，我们将SHAP（Shapley Additive Explanations）[7]——一种事后XAI方法——应用于一个典型的ADD分类模型示例，即使用Constraint AAAI数据集[9]训练的基于RoBERTa的神经网络[8]。结果表明，该模型过于关注数据集中的表面特征（如URL和表情符号）以及可能误导ADD过程的命名实体（如“卢旺达”或“Netflix”）。因此，我们提出在移除这些表面虚假特征并用实体类别替换命名实体后重新训练模型。我们的假设是，虽然新模型的分类指标可能会下降，但其泛化能力会得到提升。
外部验证的结果证实了这一假设。使用两个额外的ADD数据集（CTF[10]和COVID-19 Fake News[11]）对两个模型进行测试后，去偏模型的F1分数平均提高了39.32%。为了进一步验证这一假设，我们使用三个数据集的所有组合（一个用于训练、验证和内部测试；另外两个用于外部测试）重复了实验，结果发现平均提升幅度分别为94.70%（CTF作为内部数据集）和80.34%（COVID-19 Fake News作为内部数据集）。使用PHEME谣言数据集[12]、[13]中与伊斯兰恐怖主义相关的两个子集进行的额外实验显示，泛化能力有中等程度的提升。这可能是由于内部和外部数据集之间的相似性较高，从而减少了所提出的去偏方法的影响。
总之，本文的主要贡献如下：
- 1.
我们展示了如何使用事后XAI方法来识别文本分类中的虚假特征。
- 2.
我们提供了证据，表明仅通过数据集分割计算的性能指标并不能可靠地反映ADD模型的质量。
- 3.
我们通过应用扩展的数据预处理和命名实体替换，证明了模型在ADD场景中的泛化能力和偏见得到了改善。
本文的其余部分安排如下：第2节介绍了ADD与NLP和XAI方法的背景。第3节详细介绍了使用SHAP识别虚假特征的流程。第4节描述了比较模型的训练、验证和测试过程。第5节讨论了获得的结果。最后，第6节总结了主要结论并指出了未来工作的方向。
部分摘录
背景
本节阐述了使用可解释性方法来增强自动虚假信息检测系统泛化能力的方法。我们首先回顾了使用自然语言处理进行虚假信息检测的关键研究（第2.1节），接着介绍了XAI方法（第2.2节）及其在虚假信息检测中的应用（第2.3节）。
描述
图1展示了本文提出的方法论。该方法从一个经过精心微调以达到先进性能的自动虚假信息检测（ADD）模型开始，然后应用事后可解释性技术（如SHAP，即Shapley Additive Explanations）来分析模型的决策过程，识别潜在偏见并提高其可解释性。SHAP提供了关于模型优先考虑的具体特征的宝贵见解，具有双重作用：
实验配置
为了评估我们方法的影响，我们评估了其在ADD模型中的泛化效果。首先，我们在一个内部数据集（I）上训练模型，并比较应用该方法前后的性能。然后，我们在两个相似但不同的包含未见数据的外部数据集上重新评估模型。
具体来说，我们使用两组数据集：I（内部数据集）和, , …, （外部数据集）。模型首先在数据集I上进行训练，
结果与讨论
如表4所示，当使用Constraint AAAI作为内部数据集，另外两个数据集作为外部验证数据时，应用该方法后内部数据集的Macro-F1分数略有下降，但在外部数据集中有显著提升——CTF数据集提升了71.48%，COVID-19 Fake News数据集提升了7.16%，外部数据集的平均提升幅度为39.32%。
表5展示了相同的实验过程，但此时CTF数据集作为
结论
本研究从一个高准确率的虚假信息分类模型开始，该模型缺乏可解释性。通过利用SHAP可解释性技术，我们开发了一种旨在减少模型偏见和提高泛化能力的预处理方法。该方法的有效性通过多个数据集组合的评估得到了验证，平均泛化能力提升了超过44%。
与任何实证研究一样，研究结果应结合具体情况进行解读
CRediT作者贡献声明
Santiago González Silot：撰写——原始草稿、软件、方法论、研究、数据整理。Andrés Montoro-Montarroso：撰写——原始草稿、软件。Eugenio Martínez Cámara：撰写——审稿与编辑、监督、资金获取。Juan Gómez-Romero：撰写——审稿与编辑、监督、资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
致谢
本出版物是IBERIFIER Plus项目（项目编号：101158511）的一部分，该项目由欧盟委员会在DIGITAL-2023-DEPLOY-04计划下共同资助，该计划属于欧洲数字媒体观测站（EDMO）——国家和跨国枢纽；XAI-DISINFODEMICS项目（PLEC2021-007681）由MICIU/AEI/10.13039/501100011033和欧盟NextGenerationEU/PRTR资助；CONSENSO项目（PID2021-122263OB-C21）由MCIN/AEI/10.13039/501100011033和欧盟NextGenerationEU/PRTR资助；ROMANET项目
