史蒂文斯团队教人工智能模型识别误导性科学报道

　　

人工智能并非总是可靠的信息来源：像Llama和ChatGPT这样的大型语言模型（LLM）很容易产生“幻觉”，捏造虚假事实。但如果人工智能可以用来 检测 错误或歪曲的言论，并帮助人们更自信地在网络和其他领域大量潜在的歪曲信息中找到方向，那会怎样？ 

正如在人工智能促进协会年会研讨会上所介绍的那样，史蒂文斯理工学院的研究人员 提出了一种旨在实现这一目标的人工智能架构 ，使用开源法学硕士和商业法学硕士的免费版本来识别科学发现新闻报道中潜在的误导性叙述。  

“信息不准确是个大问题，尤其是在科学内容方面——比如，我们经常听到医生担心他们的病人在网上读到不准确的信息，” 该论文的合著者、史蒂文斯大学电气与计算机工程系教授KP Subbalakshmi说道。“我们希望自动化标记误导性信息的过程，并利用人工智能帮助人们更好地理解背后的事实。”

为了实现这一目标，由苏巴拉克什米（Subbalakshmi）领导的团队由两名博士生和两名硕士生组成，首先创建了一个包含2400篇关于科学突破的新闻报道的数据集。该数据集既包括人工生成的报道（这些报道来自知名科学期刊或已知发布虚假新闻的低质量来源），也包括人工智能生成的报道（其中一半可靠，一半包含不实信息）。随后，团队将每份报道与该技术主题相关的原始研究摘要配对，以便检查每份报道的科学准确性。苏巴拉克什米表示，他们的工作是首次尝试系统地指导法学硕士（LLM）学生检测公共媒体中科学报道的不准确性。

Subbalakshmi 博士表示：“创建这个数据集本身就是一项重要的贡献，因为大多数现有数据集通常不包含可用于测试‘在野外’检测误差的系统的信息。这些课题的研究难度很大，所以我们希望这能成为其他研究人员的有用资源。”

接下来，团队创建了三个基于法学硕士 (LLM) 的架构，以指导法学硕士 (LLM) 完成新闻报道准确性的评估流程。其中一个架构包含三个步骤。首先，AI 模型总结每篇新闻报道并识别其显著特征。接下来，AI 模型对摘要中的论点与原始同行评审研究中包含的证据进行句子级比较。最后，法学硕士 (LLM) 确定该报道是否准确反映了原始研究。

该团队还定义了“效度维度”，并要求法学硕士思考这五个“效度维度”——即不准确新闻报道中常见的具体错误，例如过度简化或混淆因果关系和相关性。“我们发现，要求法学硕士使用这些效度维度对整体准确性产生了很大的影响，”Subbalakshmi博士说道，并补充说，如果需要，可以扩展这些效度维度，以便更好地捕捉特定领域的错误。

使用新的数据集，该团队的法学硕士 (LLM) 流程能够正确区分可靠和不可靠的新闻报道，准确率约为 75%——但在识别人工生成内容中的不准确之处方面，其表现明显优于人工智能生成的报道。造成这种情况的原因尚不清楚，但 Subbalakshmi 博士指出，非专业人士同样难以识别人工智能生成文本中的技术错误。“我们的架构肯定还有改进的空间，”Subbalakshmi 博士说。“下一步可能是为特定的研究主题创建定制的人工智能模型，使它们能够更像人类科学家一样‘思考’。”

从长远来看，该团队的研究或许能为开发浏览器插件打开大门，让用户在使用互联网时自动标记不准确的内容，或根据出版商报道科学发现的准确性对其进行排名。Subbalakshmi 博士表示，或许最重要的是，这项研究还能帮助创建更准确地描述科学信息的 LLM 模型，从而减少在描述科学研究时出现虚构内容的倾向。  

“人工智能已经到来——我们无法将精灵重新关回瓶子里，”Subbalakshmi 博士说道。“但通过研究人工智能如何‘思考’科学，我们可以开始构建更可靠的工具——或许还能帮助人类更容易地发现不科学的说法。”

CoSMis: A Hybrid Human-LLM COVID Related Scientific Misinformation Dataset and LLM pipelines for Detecting Scientific Misinformation in the Wild