情境变化与可信结论?对沈等人(2019年)关于在线图片可信度研究的直接与概念性复制
《Media Psychology》:Contextual Changes, Credible Conclusions? A Direct and Conceptual Replication of Shen et al.'s (2019) Study on Online Image Credibility
【字体:
大
中
小
】
时间:2025年12月06日
来源:Media Psychology 2.6
编辑推荐:
伪造新闻图像的可信度评估通过直接与概念重复实验验证。研究显示,在相同美国样本的直接重复中71%实证主张成立,而将刺激更新为AI生成图像并更换德国样本的概念重复成功率达86%。结果表明数字媒体素养与认知能力对信息可信度判断起关键作用,而社交媒体属性与议题参与度影响有限。研究强调开放科学和数据共享的重要性,建议建立专业数据编辑机制以提升可重复性。
本研究聚焦于社交媒体环境下虚假图像的可信度评估,通过直接复现和概念复现两种方式系统检验了既有研究结论的稳定性和可推广性。研究背景源于近年来社会科学领域复现率低引发的学术信任危机,特别在信息传播技术快速迭代的背景下,现有关于虚假图像可信度的研究结论面临新的检验需求。
直接复现采用与美国原研究完全一致的实验设计,通过改进样本筛选机制和激励机制(将报酬从0.25美元提升至1.25美元),最终获得634名美国成年参与者的有效数据。研究发现,尽管样本在年龄结构(中位数41.74岁,原研究34.71岁)、收入水平(中位数2.8万美元/年,原研究1.5万美元/年)和种族构成(非裔占比11.5%,原研究6.9%)等方面存在显著差异,但71%的实证结论(14项假设中的10项)得到支持。值得注意的是,原研究中的性别效应未出现,而新的性别变量(包含非二元选项)首次在样本中显现显著影响,这可能与样本代际差异有关。
概念复现则针对技术变革和跨文化差异展开系统性调整:采用Stable Diffusion和Adobe Firefly生成AI伪造图像替代手工修改;将议题调整为德国社会关注的转基因食品、土耳其裔政客选举等本土化场景;使用德国SoSci面板数据(样本量513人,中位数年龄49.71岁)。研究结果显示86%的假设(14项中的12项)获成功验证,特别在AI生成图像的情境下,发现数字媒体素养与AI图像生成经验的相关性(r=0.41)显著高于传统图像处理技能。
核心发现显示,个体认知特征(互联网技能、AI生成体验)对虚假图像可信度的影响具有跨文化稳定性,而社交媒体使用特征(Facebook活跃度)和议题态度(政治倾向)的效应存在显著情境依赖性。值得注意的是,尽管样本规模较原研究(3476人)有所缩减(634人直接复现,513人概念复现),但通过预分析确定的最小样本量(420人)仍能保证统计效力,这为小样本研究提供了方法论参考。
在方法论层面,研究创新性地构建了"深度复现"框架,整合预注册研究(Open Science Framework平台可查)、过程透明化(共享分析代码和原始数据)和元分析验证(对比R和SPSS处理结果)。特别在数据复现环节,通过反复沟通获得原始数据集,成功修正了原研究中表3的统计错误,验证了数据预处理流程的重要性。研究同时指出,复现过程中常见的三个障碍:变量操作定义不清晰(如原研究未明确区分"数字成像经验"与"AI图像生成经验")、样本同质性偏差(社交媒体使用模式存在国别差异)、技术迭代导致测量工具失效(传统图像处理技能无法准确反映AI技术认知)。
讨论部分强调,复现成功率(71%-86%)不应简单等同于学术结论的可靠性,而需结合具体研究情境解读。例如,性别变量在直接复现中未达显著水平,但在德国样本中呈现新效应(p<0.05),这可能与样本代际差异(美国样本平均年龄42岁,德国样本49岁)及社会文化规范有关。研究同时发现,技术迭代带来的测量工具变革(AI生成技术替代手工图像处理)可能影响变量效度,但核心认知机制(如数字素养对虚假信息识别的影响)仍保持跨时代稳定性。
开放科学实践方面,研究团队在复现过程中遇到关键数据缺失(如原始问卷的完整版和题项顺序),这凸显了建立学科专用数据托管平台(如欧盟ESSDA网络)的紧迫性。建议在实证研究中强制要求:1)预注册复现方案;2)共享原始数据与处理脚本(建议采用可复现分析报告格式);3)建立跨学科数据验证委员会,对样本代表性、测量工具效度进行第三方评估。研究特别提到,在沟通科学领域,概念复现的成功率(86%)显著高于直接复现(71%),这反映了该学科研究范式的特点——更注重理论框架的适应性调整而非简单重复实验条件。
研究对学科发展的启示包括:1)建立动态更新的测量工具库,特别需要开发针对AI生成内容的评估指标;2)构建跨国比较研究框架,通过系统比较不同文化和技术环境下的研究结果,揭示认知机制的可迁移边界;3)改革学术评价体系,将复现研究纳入学者成果考核指标,要求新研究必须包含预注册的复现验证计划。值得关注的是,在德国样本中,Facebook使用强度对虚假图像可信度的影响强度(R2=0.26)是原研究(R2=0.10)的两倍以上,这可能与德国社交媒体使用模式(更依赖Facebook)及本土政治生态有关。
当前研究仍存在若干局限:首先,样本规模虽经预分析优化,但较原研究存在15%-20%的缩减,可能影响统计效力;其次,概念复现中因技术故障导致3个实验组数据缺失,虽经事后修正,但仍可能引入偏差;最后,未充分探讨技术迭代对测量效度的影响,例如AI生成图像的逼真度可能超越传统手工伪造,这需要建立新的评估标准。未来研究可考虑:1)开发跨文化数据清洗工具包;2)建立AI生成内容评估基准;3)开展历时性追踪研究,观察认知机制随技术变革的演变。
该研究为社会科学复现提供了方法论范本,其核心启示在于:有效的复现研究不应局限于方法学层面的重复,而需构建包含文化适应、技术迭代和认知机制演进的动态评估体系。建议建立学科级的复现研究联盟,定期发布跨实验室复现结果数据库,并通过机器学习算法自动匹配不同语境下的复现方案,这将极大提升社会科学研究的可重复性和可推广性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号