ChatGPT对重复经颅磁刺激常见患者问题的应答质量评估：人工智能能否辅助rTMS患者教育？

《Acta Neuropsychiatrica》：Evaluation of ChatGPT responses to common questions about rTMS: can ChatGPT support patient education about rTMS?

　　

目的：近年来，人工智能及其应用已成为精神病学领域引人注目的议题。本研究旨在通过评估人工智能聊天机器人ChatGPT对患者关于重复经颅磁刺激（rTMS）问题的应答质量、可靠性和可读性，探讨其是否有助于患者教育。 方法：研究人员将25个关于rTMS的常见问题分别提交给ChatGPT-4，不进行追问。三位精神科医生使用全球质量量表（GQS）、DISCERN工具和美国医学会杂志基准标准（JAMA Benchmark Criteria）对应答进行评审。可读性则通过Flesch-Kincaid年级水平、Gunning Fog指数、Coleman-Liau指数和SMOG指数进行评估。 结果：总体而言，ChatGPT应答质量为中等至良好，平均GQS得分为3.69。平均DISCERN得分为35.33，属于差等级，所有问题的JAMA基准标准得分均为0。平均可读性得分较高（平均年级水平为10.98）。 结论：研究结果显示，ChatGPT对患者关于rTMS问题的应答具有可接受的质量和实用性。然而，应答的可靠性和准确性有限，并且需要较高的阅读水平才能理解。尽管ChatGPT可以辅助rTMS的患者教育，但其使用应谨慎，并在医疗专业人员的指导下进行。

研究背景与问题

随着互联网的普及，大量精神疾病患者通过网络获取心理健康相关信息，包括疾病知识、药物信息和医疗服务搜索。然而，传统精神卫生服务面临专业人员短缺和治疗缺口大的困境，导致患者等待时间长、治疗不足。数字心理健康干预，尤其是基于大型语言模型的聊天机器人如ChatGPT，因其便捷性和实时可用性，成为弥补这一缺口的新兴手段。已有研究评估了ChatGPT在痴呆症、双相障碍、失眠、电抽搐治疗和自闭症谱系障碍等领域的应答质量，但尚未有针对重复经颅磁刺激（rTMS）的评估。rTMS是一种非侵入性脑刺激技术，已被美国食品药品监督管理局批准用于治疗重度抑郁障碍（MDD）、强迫症（OCD）和戒烟，德国指南也推荐将其用于特定精神症状。尽管rTMS认知度提高，患者仍普遍存在知识缺口和错误观念。因此，确保患者教育信息的准确性至关重要。本研究旨在评估ChatGPT对rTMS常见患者问题的应答质量、可靠性、准确性和可读性。

研究方法

研究人员首先从SCImago机构排名中精神医学领域知名医疗机构、医学协会网站、在线患者手册和指南中的患者信息页面，收集并筛选出25个最常见的rTMS相关问题。三位精神科专科医生（其中一位为rTMS专家）基于临床经验和知识达成共识，确定最终问题列表。这些问题于2025年6月23日单独提交给当时最新的免费版ChatGPT（GPT-4），每个问题使用新的会话窗口以避免先前提示的影响，不进行追问或多次提交。三位评审员独立使用全球质量量表（GQS，Likert 1-5分制）、DISCERN工具（16个问题，评分1-5，总分16-75分，分为极好/好/一般/差/极差五级）和美国医学会杂志基准标准（JAMA Benchmark Criteria，评估署名、归属、披露和时效性四项）对应答进行评估。可读性采用Flesch-Kincaid年级水平、Gunning Fog指数、Coleman-Liau指数和SMOG指数四种工具计算。组内相关系数（ICC）用于评估评审员间信度。

研究结果

1. 1.
   整体质量和可靠性：ChatGPT应答的平均GQS得分为3.69（ICC=0.17），表明质量为中等至良好，信息流清晰，对患者有一定实用性，但部分重要信息缺失或覆盖不全。平均DISCERN得分为35.33（ICC=0.29），属于差等级，表明应答的可靠性和准确性较低。JAMA基准标准得分为0，因所有应答均缺乏作者归属、参考文献、资金来源披露和时效性信息。
2. 2.
   单项问题表现：按GQS评分，1个应答被评为优秀（5分），16个为良好（4分），8个为中等（3分）。问题12（“rTMS有哪些副作用？”）获得最高平均分（4.67，优秀），而问题15和17（“rTMS疗程是否需要住院？”和“如果有效，rTMS效果能持续多久？”）得分最低（各2.67，中等）。按DISCERN评分，无应答达到好或极好等级，6项为一般，17项为差，1项为极差。问题20（“怀孕或哺乳期能否接受rTMS？”）得分最高（46.33，一般），问题6（“谁实施rTMS？”）得分最低（25.33，极差）。
3. 3.
   可读性：四种可读性指标的平均值为10.98年级水平，即需要约11年的教育程度才能理解ChatGPT的应答，远高于美国医学会推荐的5-6年级阅读水平。
4. 4.
   评审员间一致性：三位评审员的总体ICC较低（GQS为0.17，DISCERN为0.29），表明一致性较差。但两位非rTMS专家精神科医生与rTMS专家之间的ICC相对较高（GQS为0.46，DISCERN为0.42），提示专业背景差异影响评价。rTMS专家评审员给出的GQS中位数为4，平均分3.88；DISCERN中位数37，平均分36.56。
5. 5.
   具体内容缺陷：ChatGPT在回答“谁可以从rTMS中获益？”时未充分涵盖现有研究和循证指南中关于幻听和阴性症状的证据，也未提及θ爆发刺激（theta burst stimulation）这一广泛使用且耗时更短的rTMS方案。对于OCD和创伤后应激障碍（PTSD）的应答虽提及相关研究，但未反映指南推荐的不一致性和证据局限性。此外，ChatGPT倾向于对认知改善和焦虑改善等结局赋予过高的成功预期，可能使患者产生不切实际的期望。

讨论与结论

讨论部分指出，ChatGPT在rTMS患者教育方面具有辅助潜力，提供的应答整体质量可接受，对患者有用。但其可靠性、准确性和透明度有限，DISCERN低分部分源于缺乏参考文献和信息来源声明。不同领域问题得分差异显示，ChatGPT在临床主题（如副作用和安全）上表现较好，而在涉及预后和当地医疗后勤的问题上表现较差，这可能与大型语言模型的概率性本质有关。研究发现，ChatGPT未能提及多种rTMS协议（如间歇性θ爆发刺激或加速方案），且对某些疗效过于乐观，这些不足需要临床医生介入审核和补充。rTMS治疗的个体化决策需求、技术异质性以及指南推荐等级的差异，决定了ChatGPT不能替代专业医疗咨询。研究还强调了rTMS领域专业知识的重要性，低评审员间信度反映了该领域的专科性，并呼应了美国精神病学协会2024年立场声明中关于加强rTMS培训的建议。研究局限性包括：仅评估25个英语问题、单一ChatGPT版本、无追问或真实用户交互、评分依赖主观判断、评审员中仅一位rTMS专家等。

结论翻译：研究结果表明，ChatGPT对患者关于rTMS的常见问题提供了质量可接受的应答。应答信息流清晰，对患者教育似乎有用。然而，应答的可靠性和准确性有限，理解所提供的信息需要较高的阅读水平。因此，ChatGPT应仅作为辅助工具，并在医疗专业人员（就rTMS而言，在该领域专家的指导下）的指导下使用。虽然ChatGPT提供了有用的患者信息，但有时在TMS方案方面不完整，或鉴于不一致的证据而过于乐观，需要临床医生进行审查。随着患者越来越多地使用ChatGPT，考虑到当前研究的局限性以及较差的可靠性、准确性和可读性结果，有必要持续评估该技术的安全性和适当使用，尤其是在患者教育领域。