大型语言模型在医疗健康定性研究中的主题归纳能力：模型与人类表现的对比分析

本研究针对医疗健康定性研究中人工主题归纳效率低下的问题，通过对比大型语言模型（LLM）与人类在护士论坛文本主题建模（LDA）中的表现，发现LLM与人类编码者达成79.7%的一致性，并能通过子主题提供深度分析。该成果为AI辅助定性研究提供了实证依据，推动LLM在医疗文本分析领域的应用。

　　

在医疗健康研究中，定性分析长期依赖人工编码解读访谈和文本数据，耗时耗力且难以规模化。尽管自然语言处理（NLP）技术如潜在狄利克雷分配（Latent Dirichlet Allocation, LDA）能自动聚类文本，但主题命名和解释仍需人工完成。随着大型语言模型（LLM）的崛起，研究者开始探索其能否替代人类完成这一“最后一公里”任务。

为验证这一可能性，研究人员开展了一项开创性研究。他们收集了2020年3月至2021年4月护士论坛的公开讨论帖，通过LDA生成310个初始主题后，分别由人类编码者和ChatGPT（GPT-3.5/GPT-4）独立进行主题归纳。研究团队创新性地设计了7级一致性量表和4项评估维度（对齐性、收敛性、连贯性、互补性），系统比较两者的表现。

关键技术方法包括：1）使用Python的Gensim和SpaCy库进行文本预处理（分词、去停用词、词形还原）；2）基于LDA构建主题模型并通过一致性评分优化；3）采用双盲人工编码与LLM并行主题标注；4）利用GPT-4 API实现自动化主题对比分析。

研究结果揭示：

1. 可靠性分析：LLM与人类在79.7%（247/310）的主题上达成实质性一致，其中30.6%主题完全匹配（如“PPE资源可用性”与“口罩使用”），32.6%在子主题层面互补（如“检测政策”主题下LLM补充了“检测系统缺陷”子主题）。

2. 对齐与收敛：对于人类判定高一致性的主题，LLM的匹配率达91%（86/95）；但在人类标注“低一致性”的主题中，LLM仍强制构建逻辑连贯的子主题（如将碎片化讨论归纳为“护士安全与福祉”），反映出过度拟合倾向。

3. 连贯性争议：LLM将96%（49/51）人类认为杂乱的主题标记为连贯，例如仅凭单条提及“危险津贴”的帖子就衍生出“防护与补偿需求”子主题，显示其依赖训练数据泛化而非局部模式。

4. 互补价值：87%的LLM子主题提供了新视角，如从“病毒知识”主题延伸出“HIPAA法规问题”等跨界关联，但部分关联被人类专家评价为“脱离上下文”。

讨论指出，LLM能显著提升主题解释效率，尤其擅长处理明确描述性内容（如防护装备短缺），但对需要领域深度的隐晦主题（如医疗文化差异）表现欠佳。研究建议采用“人类-AI协作”模式：用LLM完成初筛和扩展联想，人类专家负责验证和语境校准。该成果为医疗文本分析提供了可复现的评估框架，同时警示需防范LLM的泛化幻觉（hallucination）风险。论文发表于《JMIR AI》，为AI辅助定性研究树立了方法论标杆。