结果
3.1. 研究选择
通过在五个数据库中的主要检索,共识别出7534条记录。删除了2675条重复文献。然后,通过补充检索(即手工检索参考文献列表、引文追踪和相关灰色文献)添加了78项潜在符合条件的研究。经过纳入和排除标准筛选,共有97项独立研究被认为符合纳入分析的条件。详细说明研究选择过程的流程图见图1。本综述的PRISMA-ScR清单见补充表S2。
3.2. 质量评估
在检查所有纳入的研究后,使用了来自美国国立卫生研究院(2021)的三个质量评估工具和来自批判性评估技能计划(2023)的一个工具进行评估:对照干预研究质量评估工具(k=30)、无对照组前后研究质量评估工具(k=46)、观察性队列和横断面研究质量评估工具(k=19),以及CASP定性研究检查清单(k=2)。这些评估的细节和所使用的标准分别在补充表S3–S6中呈现。
总体而言,研究方法学质量各异,但大多数被评为“良好”(k=59)或“一般”(k=35),是该新兴研究领域的相关贡献,主要问题是信息未报告或未考虑,特别是在评估潜在控制变量的效应时。这是相关的,因为大多数研究进行了某种实验方法或范式,无论是否使用对照组或条件。此外,这些研究使用的刺激选择并不总是遵循严格的标准或未明确说明,因此大多数情况下很难保证研究结果和评估条件的可重复性。
3.3. 基于人类检测的现状证据
对全部97项独立研究进行了详细检查,以综合当前关于人类检测自然与合成刺激的文献状态。表1总结了每项纳入的研究。接下来,呈现了三种主要方法(行为学、主观、生理学)中每一种的发现综合。
值得注意的是,从2020年开始(k=7),解决该主题的论文数量有了重要增长,吸引了研究人员在未来几年的极大兴趣,到2024年增长了585.71%(k=41)。这与首批公开可用的AI生成模型(如ChatGPT、StyleGAN或DALL-E)的发布相吻合。
3.3.1. 行为学方法
检查行为反应的研究在该领域非常普遍,高达94.85%的文献涉及此类测量(k=92)。在这方面,行为反应(如准确率、错误率和反应时)是最常报告的,主要关注参与者的正确分类自然和合成刺激的能力。除此之外,一些研究还检查了误分类率作为测量合成刺激被错误归类为自然等的指标。该领域的结果一致表明,参与者经常难以检测由GAN生成的合成人脸,同时在将其与自然刺激区分开来时也遇到问题,即使在不同分辨率下也是如此。在此背景下,“AI超现实”概念被用来描述合成人脸比自然人脸更常被判断为真实的现象。
对于涉及非人类表征的图像,准确率仅略高于随机水平。参与者能够正确分类约60%的合成场景和物体,但当合成物体和图像与人一起呈现时,误分类率很高。一些使用由不同生成模型产生的自然和合成人物、艺术品或风景描绘的更广泛集合的研究报告了比主要关注合成场景和物体的研究更高的检测准确率。然而,人类表现仍低于AI检测器。艺术风格也不是检测的良好线索,参与者在检测AI生成的绘画并将其与著名画家的真实作品区分开来时表现出低表现。在带有和不带参考图像的任务中,表现仍然一般,同时显示出高度的假阳性。这一趋势也在更专业的领域观察到,视网膜专家和核心脏病专家在检测自然与合成心肌灌注图像时接近随机水平。同样,专家医生也无法可靠地区分合成正电子发射断层扫描(PET)图像,准确率接近50%。
关于AI生成视频的研究显示了混合结果,天真的观察者能够根据任务难度、刺激质量和上下文检测约70%的自然视听内容,尽管对高质量合成视频的检测通常接近随机,总体表现水平在50%至60%之间。文献一致表明,人类检测能力有限,并且通常偏向于假设视频是真实的,即使被告知存在生产合成视频的技术。在政治和科学背景下,检测准确率一般,相当比例的参与者错误分类合成刺激,老年人和教育工作者通常表现出比学生更低的检测表现。听觉刺激的结果似乎相似,参与者往往认为自然声音更可爱和智能,但他们实际检测合成声音的能力仅为中等。在仅呈现一个刺激的条件下,人类检测准确率通常在60%至70%之间(通常与AI检测器相似),在强制选择实验中有所提高,听众选择两个刺激中哪一个是合成的。在这方面,有趣的是,母语者比非母语者更能检测某种语言的合成语音,盲人在检测合成声音方面表现优于视力正常者。
关于文本,迄今为止进行的研究表明,人类参与者不擅长检测由大语言模型(LLM)生成的内容,特别是新闻和科学写作的例子表明,区分人类与合成写作的准确率在大多数情况下接近随机水平。然而,存在例外情况,报道了对这类文本的显著更高检测率。也就是说,在新闻、散文、科学摘要或患者评论等文件中,存在很高的误分类率,即使是在教授、医学专家或编辑助理等专家中,总体准确率也在40%至65%左右。尽管如此,少数研究报告了在检测特定人类撰写的文件时准确率相对较高。对于其他类型的反应,如反应时,由于发现的有限性和变异性,很难建立一致的模式。一般而言,较长的反应时与较大的年龄相关,在判断刺激来源时较长的思考时间与准确率提高有微弱关联。
总体而言,在行为指标的文献中,几个因素似乎与检测表现相关。首先,刺激的真实感和生成模型的复杂程度是最一致的影响因素,其中更先进的模型似乎能够产生比旧算法更难检测的刺激。任务设计也很重要,强制选择范式(参与者需要区分两个刺激)通常比单刺激设计产生更高的准确率。与此同时,专业知识、先前对AI生成内容的熟悉度或训练等因素往往在一定程度上提高了表现,尽管这些效应通常不大且迄今并不一致。另一方面,背景信息和熟悉度等情境因素可以进一步塑造检测结果。
3.3.2. 主观方法
共有46项研究(47.42%)包含了用于检测自然和合成刺激的某种类型的主观反应。这些测量提供了关于参与者如何感知和评价合成媒体的重要信息。最常见的主观反应是信心评级,一致揭示了检测合成刺激能力的感知与实际能力之间的不一致。参与者普遍倾向于报告高水平的信心,而检测表现却接近随机水平。类似地,报告了过度自信偏差,人类倾向于采用一种现实主义启发式,导致他们系统性地将刺激错误分类为自然的。
可信度和可靠性也进行了评估,结果不一。在政治背景下,接触合成视频增加了不确定性,同时降低了对社交媒体和新闻的信任度。与此同时,政治兴趣和解析性思维与对来源的较低可信度相关,但也与检测显示合成内容的消息时有较高的准确率。然而,在其他背景下,参与者在判断自然和合成刺激的可信度时通常没有表现出差异。另一方面,其他研究报告参与者认为自然产生的文本在语气和内涵上更“情感化”,经常将其作为检测线索,而结果显示合成论文被认为具有更好的组成和更具说服力,这反过来也被用作学术背景下的检测线索。
其他主观反应,如对文本质量和连贯性的感知,一致地将合成文本评为较差,然而通常是由于风格而非真实性相关的原因。然而,这些发现似乎与La-Rosa和Sandoval-Martín(2024)的研究不同,他们报告称,当作者身份披露时,合成新闻文章比人类撰写的文章被评为更可信且偏见更少,从而表明在某些条件下,声明来源信息可能产生的影响会逆转有利于AI生成文本的可信度偏差。关于其他类型变量的情感和社交评估结果也很有趣,合成人声被认为不那么可爱和不自然,但合成人脸被认为比真实人脸更值得信赖。训练条件显示出提高准确率的良好效果,但这伴随着主观变量的减少,如信任AI降低、焦虑增加和自我效能降低。
总体而言,主观反应似乎受到超出刺激实际来源的因素的影响,包括对AI相关主题的先验态度、对合成内容的熟悉度以及关于刺激作者身份信息的可用性,后者在改变可信度判断方面显示出实质性影响。内容类型也影响了主观评价,声音和人类表征在可信度和可爱性判断中引起了对比模式。
3.3.3. 生理学方法
与行为和主观方法相比,检查生理适应的研究数量迄今相对有限,仅有八项(8.25%)。然而,它们为合成刺激检测的动力学提供了相关见解。这些方法迄今可与两种测量策略相关:眼动追踪相关变量(如眼球运动或注视)和神经生理学测量。关于眼动追踪测量的研究表明,扫描路径长度、注视熵或注视次数等变量在自然和合成刺激之间存在显著差异,合成内容往往产生更受限的注视模式和较少的视觉探索,而自然刺激则显示出更广泛的探索性注视行为。这些模式可能表明,即使观察者不知道刺激的来源,他们在观看合成刺激时也倾向于将注意力集中在特定区域,暗示潜在的隐含检测能力。值得注意的是,Huang等人(2024)发现,当参与者明确意识到检测任务时,注视持续时间在自然和合成刺激中同样高,这表明仅靠怀疑驱动的视觉努力增加并不一定转化为更高的准确率。这些发现表明,虽然行为或主观反应本身可能不可靠,但眼动模式可以提供相关信息,并可能捕捉到可能特定于合成刺激的微妙感知困难和适应策略。
另一方面,神经测量结果为检测任务中差异化的神经敏感性提供了证据,即使这种差异并不总是转化为外显的行为表现。合成刺激已显示出产生差异的神经相关物,如改变的潜伏期和错误相关负波,反映了特定的感知和认知处理。另一方面,自然刺激(特别是人脸)似乎与右半球更大范围的激活相关,与合成刺激相比具有更快的处理动态。不同研究之间的另一个有趣的发现是神经活动与检测任务准确率之间缺乏关联,表明意识判断与潜在检测机制之间存在脱节。
总体而言,生理反应似乎受到刺激真实程度和检测任务呈现明确程度的影响,注视模式和神经活动都对自然和合成刺激表现出差异敏感性。在这种背景下,内容和文化的熟悉度也成为相关因素,其中情绪表达和语言或种族熟悉度似乎有助于塑造神经和基于注视的反应。