检测社交媒体上的假新闻：一种新型的基于不确定性意识的机器-群体混合智能方法

《Information & Management》：Detecting fake news on social media: a novel uncertainty-aware machine-crowd hybrid-intelligence-based method

　　**摘要**
社交媒体平台上的虚假新闻对社会系统构成了重大威胁，这凸显了开发先进检测方法的迫切需求。现有的检测方法可以分为基于机器智能的、基于众包智能的以及基于混合智能的方法。其中，基于混合智能的方法性能最佳，但未能充分考虑检测过程中的不确定性问题。针对这一问题，我们提出了一种新型的、具有不确定性意识的混合智能（UAHI）虚假新闻检测方法。该方法包含三个核心模块：第一个模块使用贝叶斯深度学习模型来捕捉机器智能中的固有不确定性；第二个模块利用基于项目反应理论的用户反馈来处理众包智能中的不确定性；第三个模块引入了一种新的分布融合机制，该机制以机器智能和众包智能生成的分布为输入，输出包含预测结果及其相关不确定性的融合分布。在两个数据集上的实验验证了该方法的优势。本研究对互联网用户、在线平台管理者及政府这三个关键利益相关者具有实际意义。

**引言**
像Twitter（现更名为X）和Weibo这样的社交媒体平台让用户能够从自己的视角和经验分享新闻[1]。随着每天数百万用户的参与，社交媒体上的新闻传播迅速扩散[2]，成为重要的信息传播渠道[3]。根据2021年皮尤研究中心的调查，48%的美国成年人经常依赖社交媒体获取新闻。然而，这种新闻分享的增加也导致了虚假新闻的泛滥[4]。更糟糕的是，虚假新闻的传播速度和范围往往远超过真实新闻[5]，对社会构成了严重威胁，并成为了一个紧迫的社会问题。例如，社交机器人会操纵和传播虚假新闻，从而扭曲在线讨论，影响公众舆论，并对总统选举等社会系统的完整性构成威胁[6]。这一实例凸显了虚假新闻在社交媒体上的严重后果以及开发先进检测方法的迫切性。

社交媒体公司和学术研究人员提出了许多虚假新闻检测方法[7]。鉴于社交媒体平台上内容量巨大，区分真假信息需要深入理解相关数据。这些检测方法可以根据所利用的智能类型分为三类[8]：第一类基于机器智能，称为基于机器智能的方法[9]；这些方法利用各种机器学习模型（如从新闻发布者[10]、文本内容[11]和图像[12]中提取有用特征）来评估新闻的真实性。然而，这些方法仅依赖历史数据，在面对新出现的信息时效果较差[13]。第二类方法利用用户群体的智慧，称为基于众包智能的方法[14]；用户对虚假和真实新闻的反应因其自身知识和经验而不同[15]；例如，当用户认为新闻是虚假的时，他们可能会撰写反驳意见或评论；而如果他们认为新闻真实，则可能给予正面反馈[16]。然而，由于存在不熟悉情况的用户，众包智能的不确定性可能受到影响，且用户反馈所需时间可能阻碍虚假新闻的早期发现[18]。第三类方法结合了机器智能和众包智能[19]；人类群体在理解虚假新闻的背景和细微差别方面表现出色[20]，而机器则提高了效率并能够在用户反馈较少时检测出虚假新闻[21]。基于这两种智能的优势，基于混合智能的方法在虚假新闻检测方面达到了最先进的水平[19,22,23]。

然而，基于混合智能的方法在检测虚假新闻时忽略了一个关键因素：不确定性。鉴于新闻在公共信息和问责制中的重要角色，将内容标记为虚假新闻需要谨慎处理，以保护言论自由。因此，检测系统不仅应提供真实性预测，还应提供不确定性估计。较高的不确定性表明信心较低，需要专家审核；较低的不确定性则表明信心较高，允许安全地做出自动化决策并减少人工成本。当前的基于混合智能的方法在两个方面忽略了不确定性：首先，它们未能对机器智能中的不确定性进行建模[24]；研究表明，机器学习模型本身存在不确定性，这受到建模不足和假设的影响。对于虚假新闻检测而言，不完美的结构和参数会导致不确定性问题。其次，尽管一些研究通过用户可信度来建模众包智能中的不确定性，但有限的社交媒体参与度和用户间的差异性会削弱这些指标的有效性[25]（例如Yang等人的研究基于历史用户表现来评估可信度，虽然提高了准确性，但忽略了新闻难度的差异，进一步影响了众包智能的效果）。

当前基于混合智能方法的局限性促使我们在本研究中提出三个问题：(1) 如何在虚假新闻检测中建模机器智能的不确定性？(2) 在建模众包智能的不确定性时，如何考虑任务的难度？(3) 如何有效结合机器智能和众包智能中的不确定性来进行虚假新闻检测？

为了解决上述研究问题，我们提出了一种新型的、具有不确定性意识的混合智能（UAHI）虚假新闻检测方法，该方法包含三个关键模块：第一个模块使用贝叶斯深度学习模型捕捉机器智能中的固有不确定性；第二个模块基于项目反应理论（IRT）量化众包智能的不确定性（新闻难度通过正确用户判断的比例来计算，用户可信度通过参与项目的难度单调函数得出，众包评估结果用Beta分布建模）；第三个模块是结合机器智能和众包智能评估的分布融合机制。为了解决高斯分布和Beta分布融合的问题，我们提出了一种基于似然最大化的融合机制（LMFM）。通过多层感知器（MLP），我们将预测分布合并生成融合分布，整合了机器智能和人类智能的不确定性。融合分布的均值用于确定社交媒体上虚假新闻的标签。我们在两个数据集上的实验验证了该方法的优势。

**本研究的主要贡献**：
(1) 提出了一种具有不确定性意识的虚假新闻检测框架：我们提出了一种新的、具有不确定性意识的混合框架，明确地模拟了来自机器智能和众包智能的不确定性。通过结合这两种来源的不确定性估计，该框架不仅提高了检测准确性，还使决策更加明智和审慎。该框架的代码可在以下链接获取：https://github.com/Kangwei-g/UAHI。
(2) 提出了一种新的用户可信度评估方法：我们引入了一种新的用户可信度评估方法，该方法考虑了不同新闻项目的难度差异，从而提高了众包反馈的聚合效果，使得可信度评估更加准确，众包不确定性的量化更加可靠。虽然该方法最初是为虚假新闻检测设计的，但也适用于需要准确用户可信度评估的各种众包任务。
(3) 基于神经网络的方法用于融合分布：我们提出了一种基于神经网络的方法，用于融合高斯分布（代表机器智能）和Beta分布（代表众包智能）等异构分布。这种方法解决了不同参数化分布融合的难题，这是机器学习和统计建模中长期存在的问题[27,28]。我们的方法提供了一种通用机制，可用于结合各种连续分布（如均匀分布、指数分布和Gamma分布）。

**文献综述：社交媒体中的虚假新闻检测**
虚假新闻是指故意编造的、旨在欺骗读者的新闻文章[29][30][31]。虚假新闻的内容模仿了真实新闻，但缺乏必要的新闻专业标准[32]。社交网络为信息传播提供了便利渠道，成为虚假新闻传播的温床[33]。鉴于社交媒体上虚假新闻的规模和严重性，已经提出了多种自动化检测方法来应对这一问题。

**提出的方法：具有不确定性意识的混合智能方法**
为了解决这三个研究问题，我们提出了一种新型的、具有不确定性意识的混合智能虚假新闻检测方法，该方法包含三个模块。我们在方法中采用了深度学习作为机器智能的形式。第一个模块模拟了基于深度学习的虚假新闻检测器的预测不确定性，并输出反映预测不确定性的高斯分布。第二个模块模拟了预测的不确定性。

**评估**
首先，我们描述了用于评估的数据集。接下来，我们概述了用于比较的基线算法和评估指标。然后，我们详细介绍了所进行的实验并展示了实验结果。

**管理意义**
本研究为互联网用户、在线平台管理者和政府机构提供了宝贵见解，提供了一种应对数字时代虚假新闻检测挑战的模型。随着社交媒体平台成为越来越重要的新闻来源，虚假新闻的泛滥对用户辨别真相的能力构成了重大风险。我们提出的模型通过提供一种动态的、具有不确定性意识的方法来增强用户参与度。

**结论**
社交媒体平台让用户能够从自己的视角和经验分享新闻。然而，社交媒体上虚假新闻的传播凸显了开发先进检测方法的迫切需求。目前已经提出了三种检测方法：基于机器智能的方法、基于众包智能的方法和基于混合智能的方法。其中，基于混合智能的方法性能最佳。

**作者贡献声明**
Kangwei Shi：撰写——原始草稿、可视化、验证、方法论、调查、形式分析。
Yidong Chai：撰写——审阅与编辑、撰写——原始草稿、监督、方法论、资金获取、概念化。
Lujuan Zhou：验证、调查、数据整理。
Jiaheng Xie：撰写——审阅与编辑、方法论、概念化。
Chunli Liu：撰写——审阅与编辑、方法论、形式分析。
Yuanchun Jiang：撰写——审阅与编辑。

Kangwei Shi是合肥工业大学管理学院的一名博士生，他的研究兴趣是商业智能领域的机器学习。