《International Journal of Eating Disorders》:A Comparative Evaluation of Three Large Language Models for Parent-Centered Questions About Anorexia Nervosa
编辑推荐:
为评估人工智能大语言模型(LLMs)在向父母提供儿童青少年神经性厌食症(AN)相关信息时的准确性与可靠性,研究人员开展了这项比较研究。研究针对20个典型问题,系统评估了ChatGPT(GPT-4o)、Google Gemini和DeepSeek三个模型在信息质量、有用性和可靠性维度的表现。结果显示,尽管模型整体准确性较高(≈86%-92%),但仍普遍存在临床相关信息遗漏的问题,且在诊断评估领域的准确性相对较低。该研究提示,LLM生成的信息可作为初步咨询的补充资源,但不应替代专业的临床指导。
在当今数字时代,当家长们担心孩子的健康,特别是心理健康时,越来越多的人会向互联网求助。其中,能够进行自然对话的人工智能聊天机器人,比如ChatGPT、Google Gemini和DeepSeek,因其便利性和即时性,正成为家长们快速获取信息的热门选择。然而,当问题涉及神经性厌食症(Anorexia Nervosa, AN)这类严重、复杂且风险极高的精神障碍时,信息的准确性就显得生死攸关。神经性厌食症是青少年时期最常见也是最危险的精神障碍之一,它以对体重和体形的极端恐惧、刻意限制进食导致体重显著下降为特征。如果未能得到早期识别和及时干预,可能导致严重的身体并发症,甚至危及生命。家长们常常是孩子行为变化的第一观察者,但在面对“孩子是不是吃得少了”、“体重下降是不是有问题”这样的疑问时,他们往往既焦虑又无助。在寻求专业帮助之前,上网搜索、甚至在聊天机器人里输入自己的担忧,成为许多人获取初步认知的途径。这便引出了一个至关重要的问题:这些被广泛使用的人工智能模型,是否能向心急如焚的父母们提供关于神经性厌食症的准确、可靠且有帮助的信息?还是它们会在无意中给出不完整甚至错误的指引,从而延误宝贵的治疗时机?
为了回答这个问题,一支由Serkan Turan、Caner Mutlu、Esra Rabia Ta?polat、Celal Ye?ilkaya和Hande K?r??man Kele?组成的研究团队开展了一项严谨的比较评估研究。他们想知道,当父母就青少年神经性厌食症提出一系列常见疑问时,当前主流的三大对话式人工智能模型表现如何。这项研究旨在为临床医生、健康信息传播者以及AI开发者提供实证依据,以明确这些工具在儿科精神健康这一高风险领域中的实际效用与局限性。这项研究最终发表在《International Journal of Eating Disorders》期刊上。
研究人员开展此项研究所用到的主要关键技术方法包括:首先,通过多平台(如搜索引擎、Google Trends、公共心理健康网站)内容探索和专家审查,识别并确定了20个最能代表神经性厌食症青少年父母所提疑问的典型问题,并将其归类为四个临床领域。其次,采用严格的标准化提示,在无对话历史的新会话中,将这20个问题分别提交给ChatGPT (GPT-4o)、Google Gemini (3.0) 和DeepSeek (3.2) 三个模型。然后,收集到的模型回复在匿名化后,由两位拥有超过十年儿童青少年精神病学临床经验的专家,独立地从质量、有用性和可靠性三个维度进行盲法评估。最后,通过随机抽取部分问题进行重复查询,来评估模型响应的可重复性,并使用描述性统计和单因素方差分析(ANOVA)等方法对评估数据进行分析,包括计算组内相关系数(Intraclass Correlation Coefficient, ICC)来验证评估者间信度。
研究结果
3.1 模型响应的整体复合表现(准确性)
在所有20个问题的回复中,三个大语言模型都表现出相对较高的整体准确性。ChatGPT的准确率最高,平均约为92%,其次是Gemini(约88%)和DeepSeek(约86%)。
3.2 评估者间信度
两位评估者的打分具有高度的内部一致性,组内相关系数(ICC)为0.88,表明评估者间具有良好的一致性。
3.3 响应的可重复性
可重复性分析显示,在重复提问中,模型响应的核心信息基本稳定,但也存在差异。ChatGPT的可重复率最高,约为90%,其次是Gemini(约85%)和DeepSeek(约83%)。
3.4 模型平均表现
综合考虑准确性与可重复性,ChatGPT显示出最高的平均表现,Gemini次之,DeepSeek略低。
3.5 领域层面的表现
领域层面的分析揭示了模型在不同临床主题上的表现差异。ChatGPT在治疗和长期结局领域得分最高,表明其回应与循证临床指南的契合度更好。Gemini在诊断相关问题上的表现相对稳定。DeepSeek则在“早期识别与症状”领域表现出相对最强的性能,但它在所有四个领域的得分均低于ChatGPT和Gemini。值得注意的是,所有模型在“诊断与临床评估”领域的准确性得分都是最低的。
3.6 错误分析
对模型回复错误的定性分析发现,最常见的缺陷是遗漏临床相关信息,特别是在涉及AN多学科综合治疗的复杂性方面。DeepSeek的回复出现了最高频次的事实性错误,而Gemini的回复则更常出现概括性或过于简化的建议。ChatGPT的总错误率最低,但也偶尔会简化复杂的临床信息。
研究结论与讨论
本研究的核心结论是,以ChatGPT、Google Gemini和DeepSeek为代表的大语言模型,在回答父母关于青少年神经性厌食症的常见问题时,能够提供大体准确的基础性信息。这意味着它们有潜力作为父母获取初步健康信息的便捷渠道。然而,这项研究也揭示了几个不容忽视的重要局限。
首先,模型在回答中“临床相关信息遗漏”是普遍且最突出的问题。例如,在涉及多学科治疗、医学监测必要性或家庭支持策略等问题上,模型可能会忽略一些关键细节。在神经性厌食症这种早期识别和家庭参与至关重要的疾病中,不完整的信息可能影响父母对疾病严重性的认知,甚至延迟其寻求专业帮助的决定。其次,模型的表现存在显著的领域差异。所有模型在“诊断与临床评估”相关问题的回答上准确性都相对较低。这尤其值得警惕,因为这些问题(如“何时该去看医生?”或“如何区分厌食症和其他导致体重减轻的疾病?”)直接关系到父母是否及何时采取行动。回答的模糊或不精确,可能对早期干预产生负面影响。最后,不同模型有各自的“失败模式”。DeepSeek更倾向于出现事实性错误,而Gemini则更多地提供过于笼统的指导。ChatGPT虽然在本次评估中表现最佳,但也并非完美,同样存在简化信息和遗漏的问题。这说明,父母从不同AI工具获得的信息,不仅准确性有高低,其缺陷的性质也可能不同。
这些发现具有重要的实践意义。对于临床医生而言,需要认识到家长们已经开始并会继续使用这些AI工具。因此,主动与家长沟通,了解他们从网上获取了哪些信息,并将其置于专业的循证框架下进行解读,变得愈发重要。对于AI开发者和健康信息传播者,研究指明了改进方向,例如需要增强模型在诊断标准和家庭支持等高风险领域的准确性与完整性,并减少信息遗漏。对于广大家长,最关键的启示是:大语言模型可以作为一个有用的、获取初步信息的补充工具,帮助你快速了解一些基本概念和可能的预警信号。但是,它们绝不能,也绝不应取代专业医生的临床评估和指导。 任何关于孩子可能患有进食障碍的疑虑,最终都必须与合格的精神科医生、心理治疗师或儿科医生进行面对面(或远程)的深入讨论。
总之,这项研究描绘了一幅审慎乐观的图景。人工智能正在改变我们获取健康信息的方式,并在儿科精神健康领域展现出潜力。然而,在面对像神经性厌食症这样复杂且高风险的情况时,我们必须清醒地认识到当前技术的局限性。将AI生成的信息定位为“辅助的”、“初步的”资源,同时坚定不移地坚持专业临床评估的“金标准”,才是确保儿童青少年获得安全、有效照护的正确路径。未来,如何通过技术优化和医患协作,让这些强大的工具更安全、更可靠地服务于家庭,将是研究者、临床工作者和开发者共同面临的挑战与机遇。