《PLOS Digital Health》：Large language models for thematic analysis in healthcare research: A blinded mixed-methods comparison with human analysts
编辑推荐：
大语言模型( Large Language Models, LLMs)正越来越多地被用于定性主题分析，但其在分析焦点小组( focus-group)数据方面的表现证据仍然有限。鉴于此类模型在主题分析中作用日益增强，亟需建立能够系统性地、基于指标地比较人类分析与
大语言模型( Large Language Models, LLMs)正越来越多地被用于定性主题分析，但其在分析焦点小组( focus-group)数据方面的表现证据仍然有限。鉴于此类模型在主题分析中作用日益增强，亟需建立能够系统性地、基于指标地比较人类分析与模型分析的方法学框架。研究人员对两种通用LLMs( ChatGPT-5 和 Claude 4 Sonnet)、一个基于LLM的定性编码应用( QualiGPT) 以及盲法人类分析师，针对一份旨在为人工智能( AI)赋能的数字健康提案提供信息的面对面焦点小组转录稿，进行了一项盲法混合方法比较。研究评估了基于专家共识裁决的演绎编码(使用包含10个编码、6个主题的编码本)；以及使用结构化李克特量表与专家共识生成的参考标准归纳主题集进行的归纳编码比较；并对LLM片段进行了手动引用验证，以定义LLM幻觉( hallucination) (证据缺失或不支持)和错误率(包括部分匹配和对研究者发言进行编码的片段)。在针对专家共识裁决的演绎编码中，LLMs与专家共识裁决的平均一致性( agreement)为93.5% (95% CI 92.5–94.5)，κ = 0.34 (95% CI 0.26–0.40)；盲法人类编码者实现了92.7% (95% CI 91.6–93.9)的一致性，κ = 0.34 (95% CI 0.26–0.41)。盲法人类分析的平均Gwet’s AC1为0.92 (95% CI 0.90–0.93)，LLM辅助演绎分析的为0.93 (95% CI 0.92–0.94)，这反映出尽管编码的整体流行率很低(7.8%, SD = 3.2%)，但两者具有高度一致性。在转录稿的归纳分析中，仅有一个模型达到了非劣效性( p = 0.043)。归纳分析的严格幻觉率为1.2% ( SD = 2.1%)。在焦点小组数据的演绎编码中，LLMs不劣于( non-inferior to)人类分析师，但在归纳分析中表现不一。较低的幻觉率但显著的综合错误率表明，LLMs可以辅助定性分析，但需要人工验证。
该研究在医疗健康焦点小组数据主题分析领域开展了首次混合方法比较。定性研究在数字健康领域扮演重要角色，有助于医疗技术与创新的实施。然而，分析以焦点小组形式呈现的定性数据耗时且需要人类专业知识。尽管大语言模型( Large Language Models, LLMs)在定性研究分析中的应用日益广泛，但其在分析焦点小组数据方面的表现证据尚有限。研究团队比较了LLMs与盲法人类分析师在分析一份关于医疗领域AI实施的焦点小组转录稿时的表现，采用了定性与定量指标相结合的方法评估其主题分析性能。结果显示，在应用预定义编码(演绎分析)时，LLMs与人类表现相似，幻觉率较低；然而，在开放式主题生成(归纳分析)中，其表现差异较大，尤其在需要解读语气、细微差别或对话上下文的领域。这些发现表明，LLMs可用于辅助定性数据的解读，而非替代人类分析师。本研究为评估LLMs在定性分析中的性能提供了一个可重复的框架。
为开展此研究，团队主要采用了以下关键技术方法：研究人员使用了两种通用LLMs（ChatGPT-5和Claude 4 Sonnet）以及一个基于角色的提示框架应用（QualiGPT）。研究设计采用盲法混合方法，比较对象为LLMs输出与盲法人类分析师的输出。参考标准由一个专家裁决小组(由具有定性方法背景和AI应用经验的研究人员组成)通过共识制定。分析任务包括使用统一编码本和规则进行的演绎分析，以及结构化的归纳分析。评估指标包括定量的一致性度量（如百分比一致性、Gwet’s AC1、Cohen’s κ）和定性解读，并进行了正式的非劣效性检验。研究样本来源于一个已有的焦点小组转录稿，该转录稿记录了七名具有长期健康状况生活经验的患者和公众贡献者，就一项旨在支持慢性病管理中体育活动的AI集成数字健康提案进行的讨论。
研究结果主要分为以下几个方面：首先，在演绎分析方面，与盲法人类分析师相比，所有被测LLMs均达到了预设的非劣效性阈值（p < 0.0001），其中ChatGPT-5和Claude 4 Sonnet甚至显示出统计学上的优效性（p分别为0.048和0.039）。整体一致性很高（LLMs为93.5%，人类为92.7%），特异性高（0.98），表明LLMs在分配编码时较为保守。但主题级别的分析显示，在需要人际关系或推断性推理的编码上（如“患者专业知识”、“患者协作参与设计”），一致性较低。其次，在归纳分析方面，仅有一个LLM（ChatGPT-5）达到了预设的非劣效性标准。人类分析师和LLMs在描述性主题（如个性化需求、数据安全怀疑）上表现出高度趋同。关键分歧在于主题的框架化方式：人类分析师倾向于关系性和情感性的解读（如“以人为本的方法”），而LLMs则更倾向于将其视为系统性的设计问题或流程改进机会。LLMs在推断性较强的潜在意义（如同伴支持、照护连续性）上表现较弱，但在将参与者言论转化为具体系统或技术要求方面表现出潜在优势。最后，在结果验证方面，对LLM输出的引用验证显示，严格的幻觉率（即引用证据完全不支持编码）较低，平均为1.2%。然而，扩展幻觉率（包括错误引用和编码研究者发言）和综合错误率（包括部分匹配）显著更高，分别为8.6%和12.4%。错误主要源于LLMs错误编码了焦点小组主持人（研究者）的发言，这反映了LLMs遵循预定义指令和区分发言者的局限性。
讨论部分总结指出，LLMs与盲法人类分析师在演绎编码中表现相当，但在需要解读人际关系细微差别和潜在意义的归纳分析中表现不一。研究结果支持一个新兴共识：LLMs在受限的、演绎性的编码任务中表现最佳，而在需要敏感性的归纳分析中效果较差。本研究引入了一种新颖的、可重复的盲法混合方法框架，用于比较LLMs与人类在主题分析中的性能，并包含了正式的非劣效性检验和错误审计。LLMs的高综合错误率（尤其是编码研究者发言）和在情感编码方面的较弱表现，支持其应作为人类定性分析师的辅助工具，而非替代品。研究团队提出一个实践决策框架：当目标是大量描述性编码或映射文本到预定义框架时，推荐使用LLM辅助；当分析目标或框架需要深度解读时，则倾向于人工解读；若在定性分析中使用LLMs，建议进行引用验证并报告错误率。未来研究应探索在临床数据集上微调LLMs，以提升其捕捉患者叙事中关系性和情感维度的能力。该研究最终结论是：LLMs在焦点小组转录稿的演绎分析中表现出非劣效性能，但其更高的综合错误率和在情感编码方面的较弱表现支持其作为辅助工具，而非人类定性分析师的替代品。
