宠物主人对ChatGPT与兽医医疗问答感知的比较研究

《Frontiers in Veterinary Science》：Perceptions of ChatGPT- and veterinarian-generated responses to pet owners’ medical questions

　　

背景： 人工智能（Artificial Intelligence, AI）在兽医学领域日益重要，尤其在回答宠物主人的医疗问题方面。AI的整合可能减轻兽医专业人员的工作负担，同时改善获取医疗建议的途径。然而，相较于兽医，AI生成回答的可靠性和质量仍未得到探索。本研究旨在确定AI生成的回答是否被认为可与兽医生成的回答相媲美。 方法： 这项横断面研究分析了宠物主人医疗问题的样本答案。一名兽医和ChatGPT（GPT-4o，2024年5月版本）分别提供了回答，这些回答经过匿名处理后，通过邮件列表和公共Facebook群组分发的调查问卷中呈现。参与者被要求基于结构、质量和共情三个维度，使用五点李克特量表评估每个回答。随后，他们需表明是否信任该回答，以及更偏好哪个回答。 结果： 在201名参与者中，超过三分之二（68%）更偏好ChatGPT生成的回答（p < 0.05），且其在结构、质量和共情方面的评分均更高。 局限性： 本研究存在若干局限性，包括样本量较小、仅依赖单一兽医、仅使用了两个源自Reddit的场景。未评估回答的准确性，且字数限制可能影响了感知的回答质量。此外，先前研究表明，不相关的患者细节会影响ChatGPT的准确性，这引发了关于若存在临床不准确性时用户信任度的问题。 结论： AI生成的回答在结构、质量和共情方面获得了参与者更高的评分，这表明在适当的专业监督下，AI可能增强兽医与客户的沟通。

论文解读：宠物主人对ChatGPT与兽医医疗问答感知的比较研究

1. 研究背景与现存问题

随着大型语言模型（Large Language Models, LLMs）如ChatGPT的快速发展，人工智能（Artificial Intelligence, AI）在兽医学领域的应用日益广泛，涵盖分诊、病史采集、临床记录总结以及SOAP（Subjective, Objective, Assessment, Plan）笔记生成等环节。AI还被用于开发自动转录和生成结构化临床文档的兽医智能助手，以及在教育领域作为虚拟导师（如VetClinPathGPT）。然而，尽管AI展现出巨大潜力，其可靠性仍存隐忧。例如，一项2024年的研究发现，ChatGPT仅正确回答了49%的Medscape临床问题。此外，“人工幻觉”（artificial hallucinations）——即AI生成看似合理但实际错误的信息——是公认的局限。在兽医学中，ChatGPT在诊断犬类阵发性运动障碍时表现不佳，且在临床推理方面存在局限，当遇到不相关信息时可能产生错误诊断或虚构的诊断建议。

尽管已有上述临床潜力和局限性的认识，但目前尚无研究直接比较宠物主人自身如何感知AI生成与兽医生成的、针对其真实世界医疗问题的回答，尤其是在沟通质量和共情方面。鉴于在线兽医论坛（如Reddit/AskVet）的广泛普及，以及人们日益依赖在线平台和AI获取兽医建议，填补这一空白至关重要。因此，本研究旨在评估ChatGPT对宠物主人医疗问题的回答，在与一名兽医的回答进行比较时，在质量、共情和结构方面是否具有可比性。

2. 研究方法

本研究采用横断面调查设计。研究人员从拥有31.8万名成员的公共论坛Reddit/AskVet中随机选取了两个宠物主人提出的医疗场景。为避免调查疲劳并提高完成率，仅选用两个场景。一名拥有25年临床经验、在英国从事混合动物诊疗并参与教学的持证兽医，在不知晓研究目的的情况下，被要求针对每个场景撰写150-250字的回答。同时，ChatGPT（GPT-4o，2024年5月版本）在一个全新的会话中被给予相同提示词，且无任何前文语境。设置字数限制是为了使回答更具可比性，减少两者在长度上的明显差异。

回答被匿名化为“回答1”和“回答2”，并在每个场景中随机排序。为防止偏见，调查标题被修改，移除了任何提及AI的字眼。调查通过皇家（迪克）兽医学院（RDSVS）的邮件列表和英国兽医Facebook群组分发。参与者需首先确认其职业或背景，然后使用五点李克特量表对每个回答的结构、质量和共情进行评分，并指明其偏好的回答。在最终页面，参与者需就AI在兽医学中的角色陈述进行评级。数据导出至Microsoft Office Excel 2025并使用Excel和Minitab 22进行分析。

3. 研究结果

3.1 偏好回答与信息信任度

总体而言，在两个场景中，68.1%（95%置信区间CI, 61.7–74.6%）的参与者更偏好由ChatGPT生成的回答（p < 0.05）。此外，88%（95% CI; 83.3–92.3%）的参与者信任ChatGPT的回答，而信任兽医回答的比例为80%（95% CI; 74.3–85.4）。

3.2 李克特量表分析

• •
  结构： 参与者对ChatGPT回答结构的评分显著高于兽医（t = 10.78; p < 0.05），平均得分为4.52（95% CI, 4.45–4.58），而兽医为4.03（95% CI, 3.94–4.11）。ChatGPT的回答被评为良好或非常好（>3分）的比例为94.3%，远高于兽医的74.4%。
• •
  质量： 在信息质量方面，ChatGPT的评分同样显著高于兽医（t = 4.64; p < 0.05），平均得分为4.28（95% CI, 4.19–4.37），兽医为4.03（95% CI, 3.93–4.12）。兽医的回答被评为“差”或“非常差”的次数是ChatGPT的3.6倍。
• •
  共情： 共情评分的差异最大（t = 20.12; p < 0.05）。ChatGPT回答的共情平均得分为4.53（95% CI, 4.46–4.60），而兽医的得分显著较低，仅为3.35（95% CI, 3.23–3.46）。ChatGPT在共情方面被评为良好或非常好的比例为93.6%，而兽医仅为45.8%。ChatGPT被评为“不共情”或“轻微共情”的比例仅为0.2%，而兽医的这一比例高达21.4%。

3.3 不同背景参与者的评分差异

普通公众对回答结构的评分显著高于具有兽医背景的参与者（F = 4.70; p < 0.05），对质量的评分也显著更高（F = 12.87, p < 0.05）。具体到ChatGPT的回答，公众对其结构和质量的评分均显著高于兽医专业人士。而对于兽医的回答，两组之间的评分无显著差异。

3.4 关于人工智能的一般性问题

65%的参与者同意AI可以帮助兽医做出诊断和治疗计划，但绝大多数（94%）不会信任在没有兽医协助的情况下由AI独立完成。63%的参与者认为AI在未来几年将在兽医学中发挥关键作用，但近五分之一的参与者不同意此观点。

4. 讨论与结论

本研究发现，参与者普遍认为ChatGPT的回答在结构、感知质量和感知共情方面优于研究中那位兽医的回答。ChatGPT的回答通常包含简短的引言和结论，并使用更具共情色彩的语言，而兽医的回答则更为事实性和直接。这种更清晰的组织和沟通风格可能导致了更高的评分。其中，共情方面的差异最为显著。然而，研究人员指出，书面场景无法完全模拟真实的兽医咨询，其中非语言交流至关重要。这一发现不应被解读为AI具备真正的共情能力，而是凸显了在书面互动中共情的表达方式。ChatGPT的风格包括明确承认主人的担忧、使用安慰性语言以及清晰结构化的信息呈现，这些特征与更高的感知共情评分相关。

具有兽医背景的参与者对ChatGPT的评价比普通公众更为挑剔，这可能是因为他们识别出了ChatGPT偶尔使用的医学术语不够精确。尽管超过三分之二的参与者偏好ChatGPT的回答，且对其信任度更高（88% vs. 80%），但大多数人表示不会仅依靠AI来制定诊断或治疗计划。这表明AI被视为一种辅助工具，而非自主决策者。

研究结论翻译：

总体而言，本研究突显了AI在支持兽医沟通方面的巨大潜力。参与者一致认为，在本研究中，AI生成的回答在结构、感知质量和感知共情方面比兽医的回答更受欢迎。在一个已知兽医团队工作负荷高的行业中，AI可以通过协助客户沟通、起草书面建议和支持临床文档来帮助减轻行政负担。然而，这些发现应结合不断发展的AI监管和专业框架（如英国皇家兽医学院指南和欧盟AI法案）来解读，这些框架都强调AI应支持而非取代兽医专业人员，临床医生仍需对所有临床决策负责。超越治理层面，本研究还指出了行业的一个即时机遇：ChatGPT的优势很大程度上不在于展示卓越的临床专业知识，而在于通过清晰的结构、明确承认主人担忧和使用安慰性语言来沟通信息。这些都是可传授的沟通技巧，而非AI独有的能力。将更多的书面共情沟通纳入兽医教育和持续专业发展中，有助于在维护专业临床判断核心地位的同时，提高客户满意度。最终，AI应被视为一种补充工具，可以在其产出得到批判性评估且兽医专业人员继续对患者护理负责的前提下，提升沟通效率和效果。