在大语言模型时代，利用文本可信度信号进行自动可信度评估的调查研究

《ACM Transactions on Intelligent Systems and Technology》：A Survey on Automatic Credibility Assessment Using Textual Credibility Signals in the Era of Large Language Models

本文系统回顾175篇NLP论文，分析文本可信度信号（事实性、主观性、偏见、说服技巧等），提出整合检测方法，并探讨生成式AI带来的挑战与未来方向。

　　

摘要

在社交媒体和生成式人工智能的时代，自动评估在线内容可信度的能力变得越来越重要，这补充了传统的虚假信息检测方法。可信度评估依赖于将各种可信度信号（如内容的主观性、偏见或说服技巧的存在）汇总成一个最终的可信度标签/分数。然而，当前关于自动可信度评估和可信度信号检测的研究仍然非常分散，许多信号都是孤立研究的，缺乏整合。值得注意的是，同时检测和汇总多种可信度信号的方法很少。这些挑战还因缺乏一个全面且最新的研究综述而加剧，该综述能够将这些研究工作置于一个共同的框架下，并识别出共同的趋势、挑战和未解决的问题。在这项调查中，我们通过系统地回顾了175篇研究论文来填补这一空白，这些论文主要集中在自然语言处理（NLP）领域的文本可信度信号上，而NLP领域由于大型语言模型（LLMs）的进步而正在经历快速的发展。在将NLP研究置于更广泛的多学科背景中的同时，我们探讨了自动可信度评估方法以及九类可信度信号的检测方法。我们对三个关键类别进行了深入分析：1）事实性、主观性和偏见；2）说服技巧和逻辑谬误；3）需要核实和已经过事实核查的声明。除了总结现有的方法、数据集和工具外，我们还概述了未来的研究方向和新兴机遇，特别关注生成式人工智能带来的不断变化的挑战。