《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：Understanding User Perception of AI-Generated Dental Health Advice
编辑推荐：
生成式人工智能（Generative Artificial Intelligence, Generative AI）平台的日益普及，改变了个人在线获取和解读医疗健康信息的方式。然而，对人工智能的依赖也加剧了人们对医疗错误信息（medical misinform
生成式人工智能（Generative Artificial Intelligence, Generative AI）平台的日益普及，改变了个人在线获取和解读医疗健康信息的方式。然而，对人工智能的依赖也加剧了人们对医疗错误信息（medical misinformation）传播以及用户评估AI可信度能力的担忧。本研究探讨生成式人工智能如何影响用户在评估健康相关建议时的判断。本研究比较了用户对AI生成与专家提供的牙科信息的感知差异。参与者对分别标注为牙医来源或AI来源的准确与不准确回答进行评估，测量指标包括感知准确性（perceived accuracy）、信任度（trust）、遵循建议的可能性（likelihood of following advice）以及决策信心（confidence in decision-making）。结果显示，参与者普遍将AI视为有用的医疗信息来源，但信任度仍取决于信息来源和信息准确性。用户对标注为专家来源的回答表现出更高的信心，但当信息被感知为准确时，对AI的信任度有所提升。
论文解读文章
一、研究背景与问题提出
近年来，生成式人工智能（Generative AI）技术的快速发展深刻改变了公众获取和解读医疗健康信息的方式。以GPT-3为代表的大型语言模型基于海量人类生成的数据进行训练，其训练数据规模庞大且持续更新，例如GPT-3的训练数据约达45太字节（terabytes）文本，这使得对数据准确性的验证变得极为困难。生成式AI模型能够生成与人类创作内容难以区分的文本、音频和视觉输出，但其训练数据来源往往未经核实或对用户而言来源不明，因此模型可能产生事实性错误、不恰当甚至危险的建议、无意义内容、虚构来源以及算术错误等多种问题。
医疗错误信息的传播对个人护理和公共健康均可能造成严重的负面影响。例如，聊天机器人曾向已披露患有进食障碍的用户建议限制热量摄入和节食，这属于明显不恰当的建议。此外，AI生成内容可能存在过时问题，反映的是模型训练年份的知识状态，且同一问题在不同迭代中可能产生不同回答。因此，人类判断在评估生成式AI输出的准确性方面发挥着至关重要的作用，而人们普遍倾向于低估生成式AI模型中错误的频率。
然而，目前关于用户如何与AI生成的医疗信息互动并做出反应的研究十分有限。已有研究多聚焦于医疗服务提供者对AI生成医疗文本的反应，例如Nadarzynski等人（2019）通过半结构化访谈发现大多数患者愿意接受AI主导的健康聊天机器人提供的信息；而Shinners等人（2020）则发现医疗服务提供者通常对AI生成信息持谨慎态度，除非核实信息来源。Pan等人（2023）和Goodman等人（2023）的研究均发现提供者对AI生成回答总体满意，但认为内容对患者而言难以理解且往往不具备直接可操作性。针对患者对AI生成医疗信息反应的定性研究则更为稀缺。
基于上述研究空白，本研究旨在：（1）评估用户在牙科领域区分准确与不准确AI生成医疗建议的能力；（2）考察来源归属（牙医vs. AI）对用户信任度、感知准确性和遵循建议可能性的影响；（3）探索这些因素如何影响用户对医疗决策的信心。研究提出两个核心研究问题：RQ1：参与者能在多大程度上准确区分AI对常见牙科问题生成的正确与错误回答？RQ2：信息的报告来源（牙医vs. AI）如何影响信任度、感知准确性、遵循建议的可能性以及信心？研究假设参与者对标注为牙医来源的回答比标注为AI来源的回答表现出更高的信任度和信心，即使回答的准确性相同；同时预期参与者难以区分准确与不准确的AI生成建议。
二、研究方法概述
本研究采用2×2被试内实验设计（within-subjects experimental design），两个自变量为信息准确性（准确vs.不准确）和信息来源（牙医vs. AI），因变量为感知准确性、信任度、遵循建议的可能性和决策信心。研究首先由两名研究人员独立审查多个在线医疗论坛，识别牙科领域最常见的问题，最终筛选出九个高频问题。这九个问题被匿名提交至六个生成式AI平台：ChatGPT、Claude、Perplexity、Gemini、Microsoft Copilot和Meta AI，要求各模型为每个问题生成准确和不准确的回答。为验证AI生成回答的准确性，研究人员创建了Google Form，由一名牙医为每个问题从四个AI生成回答（两个准确、两个不准确）中选出最佳回答，并提供其专业回答。实验通过Typeform在线调查平台实施，经Mercer University机构审查委员会批准，参与者通过Typeform招募服务获得。最终样本包含81名参与者，其中男性30人、女性50人、非二元/第三性别1人，年龄范围18至79岁。约26%的参与者无AI使用经验，23%每日使用AI。每位参与者被要求想象自己患有九个选定问题之一所描述的牙科疾病，并同时咨询生成式AI和牙医获取建议。每个问题配四个回答，分别标注为牙医来源的准确和不准确回答各一个、AI来源的准确和不准确回答各一个。参与者使用1至5级Likert量表对四个陈述进行评分。
三、研究结果
感知准确性（Perceived Accuracy） ：双因素被试内方差分析（ANOVA）显示，准确性主效应显著，F(1, 80)=35.46, p<.001, η2?=0.307，参与者将准确信息（M=3.37, SD=1.34）评为比不准确信息（M=2.78, SD=1.36）更准确。来源主效应显著，F(1, 80)=39.19, p<.001, η2?=0.329，牙医提供的信息（M=3.29, SD=1.33）被认为比AI提供的信息（M=2.86, SD=1.36）更准确。来源与准确性的交互作用显著，F(1, 80)=28.78, p<.001, η2?=0.265，成对比较表明准确性对AI来源回答的影响（M准确=3.29, M不准确=2.42, MD=0.87）大于对牙医来源回答的影响（M准确=3.44, M不准确=3.13, MD=0.31）。
信任度（Trust） ：准确性主效应显著，F(1, 80)=36.01, p<.001, η2?=0.310，准确信息（M=3.65, SD=1.24）的信任评分高于不准确信息（M=3.01, SD=1.31）。来源主效应显著，F(1, 80)=40.22, p<.001, η2?=0.335，参与者对牙医（M=3.54, SD=1.24）的信任度高于对AI（M=3.12, SD=1.30）。来源与准确性交互作用显著，F(1, 80)=30.73, p<.001, η2?=0.278，准确性对AI来源信任的提升幅度（MD=0.86）大于对牙医来源的信任提升幅度（MD=0.29）。
遵循建议的可能性（Likelihood of Following Advice） ：准确性主效应显著，F(1, 80)=45.02, p<.001, η2?=0.36，参与者更可能遵循准确信息（M=3.70, SD=1.26）而非不准确信息（M=3.05, SD=1.31）。来源主效应显著，F(1, 80)=32.24, p<.001, η2?=0.287，牙医提供的信息（M=3.57, SD=1.25）比AI提供的信息（M=3.18, SD=1.32）获得更高的遵循可能性评分。交互作用显著，F(1, 80)=26.14, p<.001, η2?=0.246，准确性对AI来源的遵循可能性影响更大（MD=0.93）而非牙医来源（MD=0.39）。
信心（Confidence） ：准确性主效应显著，F(1, 80)=33.40, p<.001, η2?=0.294，准确信息（M=3.58, SD=1.25）比不准确信息（M=3.01, SD=1.30）引发更高的信心。来源主效应显著，F(1, 80)=21.19, p<.001, η2?=0.209，参与者对牙医提供的信息（M=3.51, SD=1.25）比对AI提供的信息（M=3.08, SD=1.31）更有信心。交互作用显著，F(1, 80)=22.84, p<.001, η2?=0.222，准确性对AI来源信心的增强作用（MD=0.75）大于对牙医来源信心的增强作用（MD=0.25）。
四、研究局限、结论与讨论
研究局限：研究未调查参与者的一般牙科健康知识水平，而先验知识会影响参与者区分准确与不准确信息的能力。
研究结论：本研究考察了个人如何评估AI生成的医疗保健建议与专业来源信息的比较，重点关注信任度、感知准确性、遵循建议的可能性和决策信心。结果显示，参与者在所有测量指标上对准确信息的评分始终高于不准确信息，确认准确性对用户感知的强烈影响。此外，标注为牙医来源的信息比AI生成回答获得更高的信任度和感知准确性，支持了来源可信度显著影响用户感知的假设。准确性对AI标注回答的影响更大，表明用户对源自AI系统的信息质量更为敏感。这些发现表明，虽然用户对AI提供的医疗保健建议保持谨慎，但其信任度和信心可随着准确性的提高而改善。
讨论与展望：未来研究应探讨如何通过设计辅助手段提高AI生成医疗保健建议的信任度和感知准确性。已有研究表明，纳入引用或建立关联关系可提高在线健康信息的感知可信度（Lucassen & Schraagen, 2013）；允许用户代理权和定制化可增强用户对系统的信任（Luger & Sellen, 2016）。本研究补充了公众对AI生成健康信息信任的日益增长的研究体系，探索了用户如何评估AI与专家生成的牙科建议。研究填补了文献空白，因为现有研究多聚焦于临床医生对AI的看法（Dong et al., 2025; Shinners et al., 2020; Smith et al., 2025），而较少研究人们如何与AI生成的医疗建议互动。研究结果表明，虽然许多参与者愿意将AI用于健康相关咨询，但信任并非自动获得。
