《BMC Health Services Research》：User evaluation of AI- and human-generated responses in digital health communication: a paired survey study
编辑推荐：
背景：随着医疗系统面临日益增长的需求和结构性约束，数字健康传播的重要性不断提升。生成式人工智能（artificial intelligence，AI）工具（如ChatGPT）越来越多地被用于健康信息寻求；然而，从用户视角对AI生成回应与人类回应进行直接比较的研
背景：随着医疗系统面临日益增长的需求和结构性约束，数字健康传播的重要性不断提升。生成式人工智能（artificial intelligence，AI）工具（如ChatGPT）越来越多地被用于健康信息寻求；然而，从用户视角对AI生成回应与人类回应进行直接比较的研究仍然有限。方法：本研究在德国开展了一项采用配对回应设计的定量探索性横断面在线调查。调查工具基于研究目标开发，并通过预测试加以完善。参与者对同一真实健康问题的两份回应进行评估：一份由物理治疗师撰写，另一份由ChatGPT-4生成。结局指标包括感知共情、可理解性、回应中感知到的歧视性内容以及专家评定的临床质量。配对比较采用Wilcoxon符号秩检验进行分析，并应用logistic回归模型探索参与者特征与偏好模式之间的关联。结果：分析样本共纳入224名参与者。在大多数条目上，AI生成回应的评分优于人类回应，尤其在可理解性和共情方面（所有p < .001）。AI生成回应在共情和可理解性条目上均获得更优评分，两个维度之间的偏好分布高度相似。对歧视性内容的感知较为罕见，且两类回应之间无显著差异。专家评估同样在临床准确性和完整性方面更青睐AI生成回应，但鉴于探索性设计，这些发现应谨慎解读。结论：研究结果表明，参与者感知到AI生成回应更贴近文本型健康信息的核心用户期望，特别是在清晰度和支持性语言方面，但鉴于两份回应在长度和结构上的显著差异以及探索性单案例设计，这些发现应谨慎解读。与此同时，这些感知还应与对AI生成健康信息在临床适宜性、安全性和公平性方面的持续关切一并考虑，而这些方面未在本研究中进行全面评估。因此，本研究主要提供关于用户感知沟通质量的证据，而非AI生成回应的临床有效性。据此，需要进一步研究来确定AI生成回应在医疗咨询中的临床适宜性、安全性、指南一致性及其潜在作用。
**数字健康传播中AI与人类回应比较研究：用户感知视角下的实证解读**
**一、研究背景与问题提出**
随着全球医疗系统普遍面临人力短缺、人口结构变化及护理需求持续攀升等多重压力，及时获取可靠健康建议变得日益困难。与此同时，健康传播正加速向数字环境迁移。2024年欧盟数据显示，16至74岁人群中93%使用互联网，其中63%的互联网用户曾在网上搜索疾病、营养或健康促进相关资讯。在传统搜索引擎、在线门户和论坛之外，生成式人工智能（AI）工具如ChatGPT正逐渐成为健康信息寻求的重要渠道，其即时性、匿名性和互动性可能降低获取建议的门槛。然而，数字咨询的接受度并非均匀一致，而是高度依赖情境因素：虚拟形式适用于界定清晰的问题，而面对面的直接人际沟通在初次接触、不确定性较高或健康情况复杂时更受青睐。定性研究还提示数字咨询可能带来沟通困难并加剧数字排斥群体的不利处境。尽管已有综述和元分析表明，在文本研究情境下AI聊天机器人的共情评分有时高于人类医疗专业人员，但直接比较同一真实用户问题下AI生成回应与人类回应、并从用户视角在多个沟通维度上进行系统评估的研究仍然缺乏。共情、可理解性和非歧视性构成了医疗沟通的核心维度，与患者满意度、信任及依据健康信息采取行动的能力密切相关。本研究旨在通过实证方法，比较ChatGPT-4生成的回应与物理治疗师对在线健康论坛真实问题的回应，在关键沟通维度上的用户评估差异。
**二、研究方法概述**
研究人员在德国开展了一项定量探索性横断面在线调查，采用配对回应评估设计。案例来源于公开访问的在线健康论坛中的真实帖文，物理治疗师的原始回应作为人类参考回应，ChatGPT-4生成回应时将该论坛问题逐字输入且未添加任何额外提示指令，以模拟普通用户直接查询AI系统的常见使用方式。数据收集于2025年1月26日至4月23日期间通过QUAMP?平台完成，采用开放式在线传播的便利抽样策略，最终纳入224名参与者。调查问卷基于医疗沟通质量的既有维度（共情、可理解性、非歧视性）演绎开发，经预测试完善。共情（5个条目）和可理解性（7个条目）为主要结局，感知歧视（1个全球筛查条目）和专家评定的临床质量为次要结局。所有条目采用1（完全不符合）至5（完全符合）的李克特量表。临床质量由三名执业物理治疗师通过独立在线问卷评估临床准确性、医学术语使用和内容全面性。统计分析采用Wilcoxon符号秩检验、相关分析及二元logistic回归，并使用G*Power进行事后敏感性分析。
**三、研究结果**
*AI生成回应的结构特征与专家评估*：AI生成回应约290词，分为三个编号章节、含八个要点，并提供详细的运动描述和个体化指导；人类回应约55词，仅含两段简短文字而无结构性标题。三名物理治疗师的独立评定显示，AI回应在临床准确性（中位数：人类=2（中等），LLM=3（高））、医学术语使用（人类=3（部分），LLM=4（较好））和内容全面性（人类=2（较不全面），LLM=5（高））方面均优于人类回应，评分者间信度可接受（平均测量ICC=0.826，p=.009）。
*参与者特征与总体偏好模式*：分析样本中参与者平均年龄37.0岁（标准差15.8），90.2%为德语母语者，48.2%拥有大学学位，37.1%具有健康相关领域学位。71.9%的参与者在任何条目上均未评定人类回应更优，仅6.3%未在至少一个条目上评定LLM回应更优。88.8%的参与者倾向于评定LLM生成回应优于人类回应。所有Cronbach's alpha均大于0.709，显示充分至较高的内部一致性。
*共情维度*：Wilcoxon符号秩检验显示，AI生成回应在共情所有子维度上均获得显著更高评分（所有p < .001）。二元logistic回归分析表明，教育程度较高与LLM主导的共情评分呈显著正相关（OR=1.86，95% CI [1.28–2.70]，p=.001），年龄增长与LLM主导可能性轻微降低相关（OR=0.97，95% CI [0.95–1.00]，p=.028），而性别、德语母语状态和健康相关专业背景无显著关联。
*可理解性维度*：AI生成回应在可理解性所有条目上均显著优于人类回应（所有p < .001）。偏好分布在共情与可理解性两个维度之间高度可比。回归分析显示年龄增长与LLM主导的可理解性评分降低相关（OR=0.97，95% CI [0.94–0.99]，p=.003），其他参与者特征无显著关联。
*感知歧视维度*：基于单一全球筛查条目，多数参与者评定两份回应在歧视性内容方面相等，仅少数参与者认为某一回应存在更多歧视。人类回应的歧视感知偶见于年龄相关假设（n=2）和性别相关措辞（n=2），AI回应则偶见于年龄（n=1）、性别（n=1）和出身或文化背景（n=1），这些感知主要反映对过度概括或宽泛表述的担忧，而非明确的歧视意图。
**四、讨论与结论**
研究人员指出，本研究发现AI生成回应在共情和可理解性方面获得一致性偏好，但需承认一个结构性混杂因素：AI回应显著更长且结构更精细（约290词对比55词），长度适宜性条目（Z=?12.27）对这一混杂尤为敏感。参与者可能将更长的篇幅、可见的结构和内容细节与更高质量相关联，而非基于实际沟通技巧做出判断。这一发现与既有文献一致：LLM被优化于支持性和验证性语言模式，可能系统性地增强共情感知，即使缺乏真实的情感理解。研究者强调，这凸显了感知共情与体验共情之间的概念区分。歧视感知虽然罕见且无显著差异，但鉴于单一筛查条目和极少数观察事件，不能据此推断无偏倚存在。专家评估虽倾向AI回应，但基于仅三名物理治疗师和单一案例，属于探索性结果，不能确立AI回应的广泛临床适宜性或指南一致性。研究的局限性包括单一案例设计、便利抽样偏倚风险、静态文本评估缺乏互动性、固定呈现顺序无随机化或平衡设计，以及AI回应本身对提示设计和模型配置的敏感性。未来研究应采用多个临床领域的多样案例、互动式对话格式、更大规模专家评审组、平衡设计以及多维验证的歧视评估框架。总之，本研究主要贡献在于用户感知沟通质量的证据，而非AI回应的临床有效性。随着AI工具在健康信息寻求中日益普及，其负责任地融入现有照护结构需要持续的实证评估、明确的质量标准以及用户和医疗专业人员双方数字能力的强化。
