《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:Understanding Older Adults’ Evaluation of AI-Generated Health Information
编辑推荐:
当老年人无法区分AI生成内容中的准确健康信息与错误信息时,他们可能误判信息的可信度并遵循错误建议。为探究信息特征如何塑造老年人对AI生成健康内容的评估,本研究采用2×2×2被试内设计,操纵情绪框架(恐惧vs.中性)、权威线索(高vs.低)和信息真实性(真vs.
当老年人无法区分AI生成内容中的准确健康信息与错误信息时,他们可能误判信息的可信度并遵循错误建议。为探究信息特征如何塑造老年人对AI生成健康内容的评估,本研究采用2×2×2被试内设计,操纵情绪框架(恐惧vs.中性)、权威线索(高vs.低)和信息真实性(真vs.假),并将个体差异作为探索性变量加以考察。七名老年人对AI生成信息的可信度和采纳意愿进行评分,并选择是否进行核实。选择核实的被试查看更正信息后对初始信息重新评分。结果表明,情绪框架和权威线索削弱了被试识别错误信息的能力。数字素养和认知能力较高的个体对情绪框架的依赖较少。研究发现提示,此类信息特征使错误信息更难被识别,而数字素养和认知能力可能通过减少对这些特征的依赖来缓冲该效应。
研究背景方面,以ChatGPT为代表的生成式人工智能(Generative AI)模型通过提升内容生成效率并产出自然、类人的文本,可能增强信息的感知可信度,从而改变了健康信息的创建方式。然而,其日益广泛的应用引发了人们对AI生成健康错误信息影响公共健康和个人福祉的担忧。已有研究发现,AI生成的错误信息比人类生成的内容被认为更具说服力和可信度。老年人群体尤为脆弱,与年龄相关的认知衰退(如推理能力受损)可能妨碍其识别虚假信息的能力,而有限的数字素养可能降低其核实内容的能力。随着生成式AI被广泛用于生成或润色健康新闻,理解老年人如何评估AI生成的健康信息至关重要。现有研究存在以下问题:信息的评估由信息特征和个体差异共同塑造,但大多数现有证据来自非AI信息环境,对这些线索在AI生成健康内容中如何发挥作用关注有限;近期一项定性研究考察了老年人检测深度伪造视频的策略,但未量化特定信息特征如何影响评估,也未涉及文本-图像形式的健康错误信息。为此,本研究采用实验设计考察信息特征如何塑造老年人对AI生成健康内容的评估,并以个体差异作为探索性因素。
研究人员开展了一项三因素被试内实验:信息真实性(真vs.假)、情绪框架(恐惧vs.中性)和权威线索(高vs.低),每个实验条件包含2个试次,共16个实验试次,每八个试次后提供短暂休息。研究招募了7名60岁以上的老年人(3名男性,4名女性;平均年龄=66.57岁,SD=3.91)。研究材料为简短的AI生成健康新闻,涵盖疫苗接种、慢性病、吸烟和癌症四个健康主题。文本内容基于新闻资源使用GPT-5.2生成,图像使用豆包生成。真实信息改编自政府新闻,虚假信息来源于中国国家互联网信息办公室。高权威线索通过政府机构、医生或教授等来源身份进行操作化,恐惧情绪框架通过强调潜在负面健康后果诱发。研究流程为:正式任务前,被试完成简短的健康知识评估以确保各主题基线熟悉度可比;练习试次后,被试阅读每条新闻并评估感知可信度和采纳意愿,同时表明是否愿意核实;每个试次中,反应时(RT)定义为新闻呈现至被试点击"继续"按钮之间的间隔;感知可信度和采纳意愿采用7点Likert量表评分(0=完全不同意,6=极度同意);负性情绪使用PANAS量表评估。当被试选择核实时,提供官方辟谣信息,随后被试对初始新闻重新评估可信度和采纳意愿。实验任务后,被试完成数字素养、医疗信任和健康焦虑问卷,认知能力使用画钟测验(CDT)和词语流畅性测验(VFT)评估,并填写人口学问卷。数据分析采用混合效应模型,包含被试水平随机截距和信息真实性的随机斜率,信息真实性、情绪框架和权威线索作为固定效应进入模型。反应时在分析前进行对数转换以减少偏态。探索性个体差异分析考察标准化的个体特征是否预测初始可信度评分、采纳意愿评分及核实后的信念更新。
研究结果显示:3个试次因被试被电话打断而排除;不同主题间健康知识无差异(p=.194);操纵检验确认高权威来源被感知为比低权威来源更具权威性,恐惧新闻比中性新闻诱发更高负性情绪(ps<.025)。在可信度方面,信息真实性主效应显著,真实健康信息被评为比虚假信息更可信(p<.001);恐惧框架信息也被判断为更可信(p=.012)。在采纳意愿方面,权威×情绪交互作用显著(p=.003),简单效应分析显示,中性框架下权威线索显著提高采纳意愿(p<.001),而恐惧框架下未观察到显著权威效应(p=.739);此外,信息真实性、权威和情绪对采纳意愿的主效应均显著(ps<.003),表明真实、高权威和恐惧框架信息各自提高了采纳意愿;其他主效应和交互效应不显著。在反应时方面,较长阅读时间显著增加核实可能性(p=.014)。在个体差异方面,健康焦虑与恐惧框架对可信度(b=0.027,p=.0028)和采纳意愿(b=0.042,p<.001)的更强效应相关;相反,较高数字素养减弱了这些效应对可信度的影响(b=?0.11,p=.021),认知能力减弱了这些效应对采纳意愿的影响(b=?0.12,p=.002)。对于对数转换反应时,健康焦虑负向调节信息真实性效应(b=?0.0096,p=.013),而数字素养和认知能力正向调节该效应(ps<.027);具体而言,较高健康焦虑与真实新闻相对于虚假新闻较小的反应时增加相关,而较高数字素养和认知能力与真实新闻相对于虚假新闻更长的反应时相关;认知能力还正向调节权威线索效应,表明认知能力较高的被试对高权威相对于低权威信息反应时更长(b=0.036,p<.001)。在信念更新方面,被试核实虚假新闻的频率高于真实新闻(68.42% vs. 45.45%试次);信念更新操作化为核实后评分减去初始评分;对于真实信息,健康焦虑与可信度更新正相关(b=0.235,p<.001),表明健康焦虑较高的被试可信度评分增幅更大;数字素养(b=0.332,p=.017)和信任(b=1.532,p<.001)也与采纳意愿更新正相关,导致数字素养和信任较高的被试采纳意愿增幅更大;对于虚假信息,未发现显著的个体特征效应。
讨论部分指出,从信息层面看,情绪框架显著增加感知可信度,恐惧框架内容无论真假均被判断为更可信,这与先前研究表明情绪框架错误信息显得更可信一致,可能的解释是风险感知机制——恐惧内容通过强调负面后果提高感知威胁,促发保护性反应,在健康情境中个体可能优先避免潜在健康风险而非准确区分真假信息;高权威线索也提升了采纳意愿,但该效应在恐惧框架下较弱,可能是因为权威健康信息旨在安抚和减少恐慌,恐惧框架可能与可信机构沟通的期望冲突,从而削弱权威线索对采纳的影响。从个体层面看,健康焦虑较高的老年人更依赖情绪信号而非进行完全分析性评估;认知能力较高的被试可能较少受情绪框架影响,对信息真实性更敏感,并花更多时间加工高权威信息;数字素养较高的老年人具备减少情绪框架对可信度判断影响的技能,可能是因为数字素养涉及分析性评估、相关先验知识和有效在线信息导航等技能。在核实后的信念更新方面,健康焦虑较高与真实信息核实后可信度评分增幅更大相关,可能的解释是核实信息可减少不确定性从而增强健康焦虑老年人的可信度更新;数字素养和信任与真实信息更新后采纳意愿正相关。研究局限性包括:作为探索性研究,小样本量被认为可接受,但需更大样本研究确定普适性;由于使用GPT生成的健康信息,未来研究应与医学专业模型比较,考察老年人策略是否在不同AI系统间存在差异。结论部分指出,本研究考察了信息特征如何塑造老年人对AI生成健康信息的评估,发现恐惧框架和高权威线索可能使老年人更难识别健康错误信息,个体差异进一步提示对评估的潜在影响,具体而言健康焦虑与对情绪框架的更高依赖相关,而认知能力和数字素养似乎减少了对这类情绪线索的依赖;这些发现推进了对老年人如何评估AI生成健康信息的理解,并为平台设计干预措施以应对AI生成健康错误信息提供了见解,对公共健康保护具有更广泛意义。